🤖 machine learning

Sparse Gaussian-Mixture-Model Q-Functions via Hadamard Overparametrization for Online Reinforcement Learning

이 논문은 하다마르 과매개변수화(Hadamard overparametrization)를 활용하여 희소하고 해석 가능한 가우시안 혼합 모델 Q-함수를 도출함으로써, 딥 강화 학습 방법론에 비해 우수한 매개변수 효율성과 일반화 성능을 달성하는 효율적인 리만 최적화를 가능하게 하는 온라인, 오프-폴리시 강화 학습 프레임워크를 소개한다.

원저자: Minh Vu, Konstantinos Slavakis

게시일 2026-07-28

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Minh Vu, Konstantinos Slavakis

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇이 단순히 경직된 지침서를 따르는 것이 아니라, 자전거 타기를 배우는 아이처럼 직접 해보며 배우는 세상을 상상해 보십시오. 이것이 바로 인공지능의 한 분야인 **강화 학습(Reinforcement Learning, RL)**의 영역입니다. 강화 학습은 에이전트가 환경과 상호작용하며 다양한 행동을 시도하고, 그 과정에서 받는 보상이나 처벌을 통해 배우는 방식입니다. 목표는 시간이 지남에 따라 행복(또는 점수)을 극대화할 수 있는 최선의 전략을 찾아내는 것입니다. 이를 위해 에이전트는 모든 가능한 상황에서 각 움직임이 얼마나 좋은지를 나타내는 "지도"가 필요합니다. AI의 세계에서 이 지도를 **Q-함수(Q-function)**라고 부릅니다.

오랫동안 이러한 지도를 만드는 일은 까다로웠습니다. 세상이 단순하다면 모든 가능성을 거대한 목록으로 작성하면 됩니다. 하지만 드론이 숲을 비행하거나 자동차가 고속도로를 달리는 것처럼 세상이 복잡하고 연속적이라면, 그 목록은 불가능할 정도로 방대해집니다. 그래서 과학자들은 이 지도를 추측하기 위해 **심층 신경망(Deep Neural Networks)**이라는 "블랙박스" 도구를 사용하기 시작했습니다. 이들은 강력하지만, 무겁고 컴퓨터 자원을 많이 소모하며 이해하기 어렵습니다. 즉, 네트워크가 왜 특정 움직임이 좋다고 결정했는지 그 이유를 쉽게 알 수 없습니다. 반면에 더 단순하고 투명한 모델들도 있지만, 실시간 학습의 속도와 혼란을 따라잡기에는 역부력이 부족한 경우가 많습니다. 여기서 큰 질문이 생깁니다. 지능을 희생하지 않으면서도 빠르고, 가볍고, 이해하기 쉬운 학습 에이전트를 만들 수 있을까요?

이 논문은 이러한 학습 지도를 구축하는 영리하고 새로운 방법인 **희소 가우시안 혼합 모델 Q-함수(Sparse Gaussian-Mixture-Model Q-Functions, S-GMM-QFs)**를 소개합니다. 에이전트의 마음을 "전문가"들의 집합이라고 생각해 보십시오. 여기서 각 전문가는 특정 부분의 세상을 다루는 법을 아는 단순한 종 모양의 곡선(가우시안)입니다. 저자들은 에이전트에게 사전에 정해진 수의 전문가를 강제로 할당하는 대신, 500개의 잠재적 전문가 풀을 제공하고 **하다마르 과매개변수화(Hadamard overparametrization)**라는 특별한 "마법 지우개"를 부여했습니다. 에이전트가 학습함에 따라, 이 마법 지우개는 유용하지 않은 전문가들을 자동으로 지워버려 정말로 중요한 소수의 전문가만을 남깁니다.

그 결과, 이 모델은 처음에는 거대하고 유연한 뇌로 시작하지만, 빠르게 스스로를 다듬어 날렵하고 효율적인 뇌로 변모합니다. 저자들은 이 방법을 우주선을 달에 착륙시키거나 새가 파이프 사이를 통과하는 것과 같은 비디오 게임 스타일의 도전 과제에서 테스트했습니다. 그들은 이 새로운 방법이 무거운 "블랙박스" 심층 학습 모델만큼 혹은 그보다 더 빠르게 학습하면서도, 훨씬 적은 컴퓨터 자원을 사용한다는 것을 발견했습니다. 무엇보다도, 남은 전문가들은 단순한 형태와 명확한 위치를 가진 모양이기에, 우리는 모델을 들여다보고 모델이 정확히 어디에 주의를 집중하고 있는지 알 수 있습니다. 이는 마치 신비롭고 설명 불가능한 슈퍼컴퓨터를, 우리가 실제로 대화할 수 있는 전문적이고 투명한 가이드 팀으로 교체하는 것과 같습니다.

핵심 아이디어: 전문가의 정원

이것이 어떻게 작동하는지 이해하기 위해, 에이전트가 새로운 비디오 게임을 배우려고 한다고 가정해 봅시다. 과거에 과학자들은 두 가지 주요 접근 방식을 시도했습니다. 첫 번째는 수백만 개의 연결을 가진 거대하고 조밀한 심층 신경망, 즉 "블랙박스"를 사용하는 것이었습니다. 이는 문제를 해결하기 위해 거대하고 익명의 군대를 고용하는 것과 같습니다. 효과는 있지만 비용이 많이 들고, 업데이트가 느리며, 어떤 병사가 실제로 핵심적인 역할을 하고 있는지 알 수 없습니다. 두 번째 접근 방식은 고정된 적은 수의 부분들로 구성된 단순한 모델을 사용하는 것이었습니다. 이는 작고 특화된 팀을 고용하는 것과 같습니다. 빠르고 저렴하지만, 팀이 너무 작으면 게임의 중요한 세부 사항을 놓칠 수 있습니다.

이 논문의 저자들은 세 번째 길을 시도하기로 했습니다: 크게 시작해서, 똑똑해져라.

그들은 500개의 "가우시안 전문가"로 구성된 거대한 풀로 시작하는 모델을 만들었습니다. 각 전문가는 게임 세계의 특정 영역을 나타내는 단순한 수학적 모양(종 모양 곡선)입니다. 예를 들어, 한 전문가는 "화면의 왼쪽 부분"을 다루는 법을 알고, 다른 전문가는 "빨리 떨어지는 상황"을 다 handling 하는 법을 알 수 있습니다. 처음에 모델은 이 500개의 전문가를 모두 활성화하여 도움을 줄 준비를 합니다.

여기서 마법이 일어납니다. 저자들은 하다마르 과매개변수화라는 기술을 사용했습니다. 쉬운 말로 설명하자면, 각 전문가에게 단 하나의 "중요도 점수"를 주는 대신, 그 점수를 세 개의 작은 숫자의 곱으로 나누었다는 뜻입니다. 각 전문가의 중요도가 세 명의 서로 다른 심판의 투표 결과라고 상상해 보십시오. 만약 심판 중 한 명이라도 "0"을 투표하면, 그 전문가의 전체 중요도는 0이 됩니다.

에이전트가 경험(달에 착륙하거나 파이프에 부딪히는 등)으로부터 학습함에 따라, 이 심판들의 투표를 조정합니다. "마법"은 이 설정이 쓸모없는 전문가들의 투표를 자연스럽게 0으로 밀어붙인다는 점에 있습니다. 이는 500개의 씨앗을 심는 정원과 같습니다. 계절이 변함에(에이전트가 학습함에) 토양에 맞지 않는 식물들은 자연스럽게 시들어 가고, 가장 강하고 관련성 높은 식물들만 남게 됩니다. 모델은 인간이 와서 수동으로 약한 가지를 쳐낼 필요가 없습니다. 학습 과정 자체가 스스로 가지를 치기 때문입니다.

왜 중요한가: 속도, 지능, 그리고 명확성

논문은 이 아이디어를 루나 랜더(우주선 착륙)와 플래피 버드(파이프 통과)라는 두 가지 유명한 도전 과제에서 테스트했습니다. 그들은 이 새로운 "가지치기" 방법을 현재 이 분야의 표준인 무거운 심층 신경망(DQN 및 PPO와 같은)과 비교했습니다.

결과는 놀랍고 유망했습니다. 이 시뮬레이션에서 새로운 방법은 거대한 심층 학습 모델과 대등하거나 오히려 능가하는 성능을 보여주었습니다. 하지만 진짜 승리는 효율성에 있었습니다. 심층 학습 모델은 학습하는 데 막대한 양의 컴퓨터 계산량(FLOPs로 측정)을 필요로 했지만, 새로운 방법은 훨씬 적은 자원을 사용하여 동일하게 잘 학습했습니다. 예를 들어, 플래피 버드 게임에서 새로운 방법은 게임의 지연된 보상 문제로 인해 어려움을 겪던 심층 학습 모델보다 훨씬 빠르게 높은 점수에 도달했습니다.

아마도 가장 흥 미로운 부분은 **해석 가능성(Interpretability)**일 것입니다. 심층 신경망을 사용할 경우, 에이전트가 실수를 하면 왜 그런지 알기 어렵습니다. 그것은 블랙박스이기 때문입니다. 하지만 이 새로운 방법은 모델이 스스로를 몇 개의 특정 "전문가"로 가지치기하기 때문에, 우리는 남은 전문가들을 보고 그들이 정확히 무엇을 하고 있는지 볼 수 있습니다. 논문은 살아남은 전문가들이 게임의 중요한 부분들과 완벽하게 일치함을 보여줍니다. 루나 랜더의 경우, 전문가들은 착륙 패드와 장애물 주변에 밀집되어 있습니다. 이는 마치 에이전트가 "나는 액션이 일어나는 이 특정 구역들에 집중하고 있다"라고 말하는 것과 같습니다. 이러한 투명성은 복잡한 추가 도구 없이는 심층 학습 모델이 제공할 수 없는 것입니다.

한계와 미래

물론, 마법에 완벽한 것은 없습니다. 저자들은 이 방법이 "세계"가 너무 크지 않을 때 가장 잘 작동한다는 점을 주의 깊게 언급했습니다. 만약 에이전트가 추적해야 할 상태 공간(state space)이 너무 커지면(예를 들어, 에이전트가 카메라로부터 들어오는 가공되지 않은 영상을 처리해야 하는 경우), 모델이 모양과 곡선을 처리하는 방식 때문에 수학적 계산이 너무 무거워집니다. 논문은 현재로서는 이 방법이 원본 고화이데피니션 영상이 아닌, 중간 정도의 복잡성을 가진 문제에 가장 적합하다고 제안합니다.

하지만 저자들은 이미 앞을 내다보고 있습니다. 그들은 이 접근 방식이 더 크고 무질서한 세상을 다루기 위해 다른 기술들과 결합될 수 있다고 제안합니다. 또한, 현재 테스트는 이산적 행동(예: "점프" 또는 "점프 안 함")을 가진 게임을 대상으로 했지만, 이 수학적 구조는 연속적 행동(예: "살짝 왼쪽으로 조향")을 위해서도 적응될 수 있다고 언급했습니다.

결국, 이 논문은 AI 분야의 "클수록 좋다"는 사고방식에 대한 신선한 대안을 제시합니다. 단순한 아이디어들의 크고 유연한 풀에서 시작하여 학습 과정이 자연스럽게 최선의 것을 선택하도록 함으로써, 우리는 강력하고 효율적일 뿐만 아니라 투명하고 이해 가능한 에이전트를 구축할 수 있다는 것을 보여줍니다. 이는 때때로 AI가 할 수 있는 가장 똑똑한 일은 무엇을 생각하지 말아야 할지 아는 것이라는 점을 상기시켜 줍니다.

기술 요약: 온라인 강화 학습을 위한 하다마르 과잉 매개변수화를 통한 희소 가우시안 혼합 모델 Q-함수

문제 정의

강화 학습(RL)은 온라인 오프-폴리시(off-policy) 환경에서 모델의 표현력, 계산 효율성, 그리고 해석 가능성 사이의 트레이드오프와 관련하여 상당한 어려움에 직면해 있습니다. 전통적인 테이블 방식은 연속적인 상태-행동 공간에서 실패하며, 비매개변수적 커널 기반 접근 방식은 데이터가 축적됨에 따라 모델 규모가 무한히 커지고 메모리 오버헤드가 높아지는 문제를 겪습니다. 반대로, 심층 Q-네트워크(DQN)와 같은 심층 강화 학습(Deep RL) 방법론은 강력한 표현력을 제공하지만, 수백만 개의 매개변수를 가진 거대한 "블랙박스" 아키텍처에 의존합니다. 이러한 심층 모델은 실시간 업데이트를 수행하기에 계산 비용이 많이 들고, 비정상적(non-stationary) 환경에서의 분포 변화(distributional shifts)에 취약하며, 내재적 해석력이 부족합니다. 또한, 기존의 심층 네트워크 희소화 기술(예: 프루닝 또는 희소 훈련)은 생존한 연결과 입력 공간의 기하학적 구조 사이의 명시적 연결을 구축하는 데 실패하여 투명성을 제한합니다.

본 논문은 스트리밍되는 비정상 데이터에 적응하면서도 기하학적 일관성과 저매개변수 영역에서의 일반화 성능을 유지할 수 있는 경량화되고 해석 가능하며 확장 가능한 Q-함수 근사기를 목표로 합니다.

방법론

제안된 프레임워크는 온라인 오프-폴리시 정책 반복(PI) 체계 내에서 **희소 가우시안 혼합 모델 Q-함수(S-GMM-QFs)**를 도입합니다. 이 방법론은 세 가지 핵심 구성 요소를 통합합니다:

GMM-QF 정식화:
Q-값의 확률 밀도를 모델링하는 대신(분포 강화 학습에서와 같이), Q-함수를 다음과 같이 다변량 가우시안 성분들의 가중 합으로 직접 근사합니다:
$Q(s, a) = \sum_{k=1}^K \xi_k(a) G(s | m_k, C_k)$
여기서 $\xi_k(a)$ 는 학습 가능한 가중치이며, $m_k$ 와 $C_k$ 는 $k$ 번째 가우시안 성분의 평균과 공분산입니다. 매개변수 공간은 유클리드 공간과 대칭 양의 정치행렬(SPD) 다양체의 데카르트 곱으로 구성되며, 자연스러운 **리만 다양체 구조(Riemannian manifold structure)**를 상속받습니다.
희소화를 위한 하다마르 과잉 매개변수화(Hadamard Overparametrization):
리만 최적화와 호환되지 않는 $\ell_p$ -노름의 비매끄러움과 성분 수 $K$ 를 미리 지정하기 어려운 문제를 해결하기 위해, 저자들은 하다마르 과잉 매개변수화를 채택합니다. 가중치 행렬 $\Xi$ 는 $J$ 개의 보조 행렬 $\Upsilon_j$ 의 곱으로 분해됩니다 ( $\Xi = \Upsilon_1 \odot \Upsilon_2 \odot \dots \odot \Upsilon_J$ ).
- 매끄러운 정규화: $\Upsilon_j$ 의 인자들에 대해 매끄러운 프로베니우스 노름 페널티를 적용합니다. 이는 비미분 가능한 임계값 없이도 $\Xi$ 의 곱에 대한 암묵적 희소성 편향을 유도합니다.
- 적응형 프루닝: 모델은 큰 성분 풀( $K$ )에서 시작하여 의미 있는 성분을 적응적으로 식별합니다. 유의미하지 않은 성분은 가중치가 미미한 수준으로 낮아지며, 결과적으로 훈련 중에 모델을 효과적으로 프루닝합니다.
리만 최적화 및 경험 재현(Experience Replay):
- 최적화: 정책 평가 단계는 리만 경사 하강법(구체적으로 리만 확장이 적용된 Adam 또는 RAdam)을 사용하여 벨만 잔차(Bellman-residual, BR) 손실을 최소화합니다. 이는 리트랙션 매핑(retraction mappings)을 통한 공분산 업데이트와 모멘텀을 위한 평행 이동(parallel transport)을 통해 SPD 다양체의 기하학적 제약 조건을 준수합니다.
- 경험 버퍼: 오프-폴리시 학습과 분포 불일치를 처리하기 위해 경험 버퍼를 활용합니다. 본 논문은 리만 업데이트와 구조적으로 호환되지 않는 표준 중요도 샘플링(IS) 가중치를 대체하기 위해 두 가지 새로운 샘采样 전략을 제안하고 평가합니다:
  - 빈도 기반 우선순위 감쇠(Frequency-based Priority Decay): 다양성을 확보하면서도 다양체의 기하학적 구조를 왜곡하지 않도록 과도하게 샘플링된 전이를 억제하는 메커니즘입니다.
  - 온라인 클러스터링(Online Clustering): 상태-행동 전이의 클러스터 전반에 걸쳐 균등한 샘플링 할당량을 강제하여 특징 공간의 광범위한 커버리지를 보장하는 다양성 기반 전략입니다.

주요 기여

본 논문은 네 가지 주요 기여를 명시합니다:

(C1) 온라인 오프-폴리시 프레임워크: GMM-QF를 오프라인 온-폴리시 설정에서 온라인 오프-폴리시 PI 프레임워크로 확장합니다. 이를 통해 스트리밍되는 비정상 데이터와 매개변수 공간의 리만 구조를 결리하며, 전용 경험 버퍼를 통해 분포 불일치를 능동적으로 완화합니다.
(C2) 하다마르 과잉 매개변수화를 통한 희소 GMM-QF: 매끄러운 정규화를 통해 해석 가능한 희소화를 가능하게 하는 S-GMM-QFs를 도입합니다. 심층 강화 학습의 희소화와 달리, 이 접근 방식은 성분이 작업 구조에 따라 진화할 수 있게 하여, 생존한 각 성분의 기하학적 역할(평균 및 공분산)이 명시적으로 인코딩된 희소 모델을 생성합니다.
리만 최적화: GMM-QF의 특정 다양체 구조에 대한 리만 경사 및 업데이트(평행 이동 및 리트랙션 포함)의 계산 과정을 상세히 설명하여 안정적인 온라인 학습을 가능하게 했습니다.
새로운 리플레이 전략: 표준 균등 및 우선순위 경험 재현(PER)을 대체하는 빈도 기반 우선순위 감쇠 및 클러스터링 버퍼를 제안하여, 리만 최적화와의 호환성 문제를 해결하고 탐색과 샘플 효율성을 모두 향상시켰습니다.

실험 결과

연속 제어 벤치마크인 Lunar Lander와 Flappy Bird에서 수치 실험을 수행했습니다.

Deep RL 대비 성능: S-GMM-QFs는 Deep RL 베이스라인(DQN, PPO) 및 그 희소화 변형들(Pruned, SET, RigL)과 대등하거나 더 나은 성능을 보였습니다. 특히, S-GMM-QFs는 관측된 전이당 개선 속도가 더 빨랐습니다.
매개변수 효율성: 희소화된 Deep RL 방법들이 성능이 크게 저하되는 저매개변수 영역에서도 S-GMM-QFs는 강력한 일반화 성능을 유지했습니다. 희소 모델은 유사한 성능 고점에 도달하기 위해 필요한 밀집형 Deep RL 모델보다 훨씬 적은 매개변수로 정점 성능을 달성했습니다.
계산 효율성: 누적 부동 소수점 연산(FLOPs) 기준으로 측정했을 때, S-GMM-QFs는 우수한 효율성을 보여주었습니다. 희소화 과정은 훈련 중 리만 리트랙션 및 경사 계산의 비용을 줄여, 밀집형 모델보다 수십 배 적은 FLOPs만으로 최적 성능에 도달할 수 있게 했습니다.
해석 가능성: 학습된 가우시안 성분의 시각화 결과, S-GMM-QFs는 최적 정책의 상태 방문 밀도와 일치하는 소수의 성분에 집중되었습니다. 사후 속성 도구(post-hoc attribution tools)가 필요한 블랙박스 신경망과 달리, S-GMM-QFs에서 생존한 가우시안 성분은 Q-함수의 구조에 대한 투명하고 기하학적인 해석을 제공합니다.
버퍼 전략: 제안된 "공정 감쇠(fair decay)" 및 "클러스터링" 버퍼는 특정 맥락에서 표준 균등 및 우선순위 경험 재현(PER)보다 뛰어난 성능을 보였습니다. 클러스터링은 지연된 보상이 특징인 Flappy Bird 작업에서 특히 효과적이었으며, 공정 감쇠는 밀집한 보상이 주어지는 Lunar Lander에서 우수한 성능을 보였습니다.

의의 및 주장

본 논문은 제안된 프레임-워크가 온라인 설정, 특히 해석 가능성과 계산 제약이 중요한 환경에서 Deep RL에 대한 원칙적인 대안을 제공한다고 주장합니다. 기하학적 매개변수 구조와 매끄러운 과잉 매개변수화를 활용함으로써, 이 방법은 매개변수 효율성과 해석 가능성이 결합되어 희소화된 Deep RL 접근 방식이 실패하는 영역에서도 강력한 일반화 성능을 유지하는 최적의 지점을 찾아냅니다.

저자들은 S-GMM-QFs가 단순히 훈련 후 적용되는 모델 압축 기술이 아니라, 훈련 초기 단계부터 표현적 중복성을 성능으로 전환하는 동적인 학습 메커 메커니즘임을 강조합니다. 모델의 기하학적 자기 문서화(geometric self-documentation)—즉, 생존한 성분이 상태 공간의 영역을 명시적으로 매핑하는 것—는 블랙박스 신경망에서는 달성할 수 없는 투명성을 제공합니다.

본 논문은 한계점도 인정하였는데, 리만 연산의 세제곱 복잡도( $O(D_s^3)$ )로 인해 현재는 중간 정도의 상태 차원에 제한되며, 상태 표현 학습 없이는 이미지와 같은 고차원 센서 입력에는 적합하지 않다는 점을 언급했습니다. 향-후 연구는 연속적인 행동을 위한 액터-크리틱 확장 및 온라인 상태 표현 학습으로 향하고 있습니다.