🤖 machine learning

Distributional Active Inference

본 논문은 능동 추론을 분포 강화 학습 프레임워크에 통합하는 공식적인 추상화를 제시하며, 이를 통해 명시적인 전이 역학 모델링 없이도 로봇 시스템을 위한 샘플 효율적인 최적 제어를 가능하게 한다.

원저자: Abdullah Akgül, Gulcin Baykal, Manuel Haußmann, Mustafa Mert Çelikok, Melih Kandemir

게시일 2026-08-06

📖 2 분 읽기☕ 가벼운 읽기

원저자: Abdullah Akgül, Gulcin Baykal, Manuel Haußmann, Mustafa Mert Çelikok, Melih Kandemir

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 혼란스럽고 예측 불가능한 세상을 항해하는 법을 가르치려 한다고 상상해 보십시오. 이를 잘 수행하기 위해 로봇에게는 두 가지 초능력이 필요합니다. 하나는 감각 데이터(보고 듣는 것 등)의 홍수를 유용한 정보로 조직화하는 능력이고, 다른 하나는 똑똑한 움직임을 만들기 위해 먼 미래까지 계획할 수 있는 능력입니다. 수십 년 동안 강화 학습(Reinforcement Learning, RL) 분야는 기계에게 계획하는 법을 가르치는 표준적인 방법이었습니다. 강화 학습을 최고의 보상을 이끌어내는 행동이 무엇인지 추측하며 시행착오를 통해 점수를 극대화하는 법을 배우는 학생이라고 생각해보십시오. 하지만 이 학생은 종종 비효율적입니다. 무언가를 배우기 위해 수백만 번의 시도가 필요하며, 머릿속에서 완벽하게 시뮬레이션할 수 없을 정도로 세상이 복잡해지면 어려움을 겪습니다.

여기에 생물학적 뇌가 작동하는 방식에서 영감을 얻은 이론인 **능동적 추론(Active Inference)**이 등장합니다. 단순히 추측하는 대신, 뇌는 자신이 경험하는 것에 대한 '놀라움(surprise)'을 최소화하려고 끊임없이 노력하는 예측 기계로 간주됩니다. 뇌는 다양한 미래를 상상하고, 그중 가장 '확실'하거나 놀라움이 적은 미래를 선택함으로써 계획을 세웁니다. 이것이 강력해 보이지만, 전통적인 능동적 추론은 한계에 부딪혀 있었습니다. 대개 로봇이 계획을 세우기 전에 세상이 어떻게 돌아가는지에 대한 완벽하고 상세한 지도(즉, '세계 모델')를 먼저 구축해야 하기 때문입니다. 이러한 지도를 만드는 것은 계산 비용이 많이 들며 복잡한 작업에서는 불가능한 경우가 많습니다. 과학자들이 던져온 핵심 질문은 이것입니다. "완벽한 세계 지도를 구축해야 하는 무거운 부담 없이도 능동적 추론의 스마트한 계획 능력을 얻을 수 있을까?"

이 논문은 "그렇다"라고 답하는 **분포적 능동적 추론(Distributional Active Inference, DAIF)**이라는 새로운 방법을 소개합니다. 연구진은 영리한 지름길을 제안합니다. 다음에 정확히 무엇이 일어날지(예: 특정 온도나 위치)를 예측하는 대신, DAIF는 가능한 모든 미래의 전체 범위와 그 확률에 집중합니다. 그들은 이를 "분포적(distributional)" 학습이라고 부릅니다. 내일 비가 올지 안 올지를 맞히는 대신, 비가 올 확률 20%, 맑을 확률 50%, 폭풍우가 칠 확률 30%와 같은 전체 기상 예보를 배우는 것을 상상해 보십시오. 이처럼 가능성의 전체 그림을 학습함으로써, 로봇은 비를 내리게 하는 물리 법칙을 정확히 알지 못하더라도 효과적으로 계획을 세울 수 있습니다.

이 논문은 분포적 학습의 "전체 그림" 접근 방식과 능동적 추론의 "놀라움 최소화" 논리를 결합함으로써, 로봇이 훨씬 더 빠르고 효율적으로 학습할 수 있다고 제안합니다. 저자들은 컴퓨터 시뮬레이션을 통해 이 아이디어를 테스트했습니다. 단순한 그리드 월드 게임에서, 그들은 새로운 방법인 DAIF가 다른 방법들이 해결하지 못한 문제들, 특히 문제가 더 어려워지고 더 멀리 내다봐야 하는 상황에서도 문제를 해결할 수 있음을 발견했습니다. 소프트 로봇 및 비디오 기반 제어를 포함한 더 복잡하고 현실 세계와 유사한 시뮬레이션에서도, DAIF는 기존의 최선책들을 일관되게 능가하며 더 적은 시도만으로도 이러한 시스템을 제어하는 법을 배웠습니다. 이 결과는 이 접근 방식이 마치 인간의 뇌처럼 현실을 무차별적으로 완벽하게 시뮬레이션하기보다는 정보를 효율적으로 조직함으로써, 제한된 컴퓨팅 자원으로도 복잡한 환경을 다룰 수 있게 해준다는 것을 시사합니다.

기술 요약: 분포적 능동 추론 (Distributional Active Inference)

문제 정의

복잡한 로봇 환경에서의 최적 제어는 두 가지 서로 얽힌 과제에 직면해 있습니다: 즉, 감각 상태 정보의 효율적인 조직화와 원거리 행동 계획입니다. 강화 학습(RL)은 계획 수립을 다루지만, 대개 후자(계획)에만 집중하기 때문에 샘플 효율성이 떨어지는 문제가 발생하곤 합니다. 능동 추론(Active Inference, AIF)은 생물학적 지능을 설명하는 과정 이론으로서, 기대 자유 에너지(Expected Free Energy, EFE)를 최소화함으로써 이 두 가지 문제를 모두 해결합니다. 그러나 기존의 AI 분야 내 AIF 적용 사례들은 명시적인 전이 역학(transition dynamics)을 학습해야 하는 모델 기반 방식에 주로 국한되어 있으며, 이는 계산 비용이 많이 들고 고충실도(high-fidelity) 순방향 시뮬레이션을 수행하기에는 불가능한 경우가 많습니다.

본 논문이 다루는 핵심 문제는, 명시적인 전이 모델을 학습할 필요 없이 능동 추론의 성능상 이점을 어떻게 통합할 것인가이며, 이를 통해 AIF를 모델 프리(model-free) 및 분포적(distributional) 환경에서도 접근 가능하게 만드는 것입니다.

방법론

저자들은 능동 추론과 분포적 강화 학습(Distributional RL)을 연결하는 3단계의 이론적 및 알고리즘적 프레임워크를 제안합니다.

1. 능동 추론의 엄밀한 정식화

저자들은 베이지안 및 인과 추론의 제1원칙으로부터 AIF 목적 함수를 재도출합니다. 표준 변분 추론 설정에 do-calculus를 적용함으로써, 그들은 표준 AIF 목적 함수가 더 단순한 등가 형태를 가짐을 입증합니다.

그들은 원하는 분포 $P_R(X)$ (보상 역할을 함)를 통해 관측 가능한 상태 $X$ 에 개입하는 것이 곱 법칙(product rule) 하에서 관측 가능한 상태를 잠재 변수 $(Y, S)$ 로부터 분리함을 보여줍니다.
이는 재구성 항(reconstruction term), 정책 엔트로피 항(policy entropy term), 그리고 예측된 궤적 하에서 원하는 상태 분포의 로그 확률을 최대화하는 항으로 구성된 단순화된 ELBO(Evidence Lower Bound)로 이어집니다.
결정적으로, 이 정식화는 AIF가 매 단계마다 복잡한 사후 잠재 변수 추론을 반드시 요구하지 않고도, 원하는 결과를 맞추기 위해 세계 모델을 최적화하는 예측 코딩(predictive coding)의 한 형태가 될 수 있음을 밝혀냅니다.

2. 푸시포워드 강화 학습 (Push-Forward Reinforcement Learning)

명시적인 전이 모델링 없이 AIF를 통합하기 위해, 저자들은 분포적 강화 학습을 일반화하는 이론적 프레임워크인 **푸시포워드 RL(Push-Forward RL)**을 도입합니다.

궤적 측도 (Trajectory Measures): 이들은 리턴 분포를 단순히 기댓값이 아니라, 정책에 의해 유도된 궤적 측도를 리턴 범함수(return functional)를 통해 "푸시포워드(push-forward)"한 것으로 정의합니다.
상태 추상화 (State Abstraction): 상태 추상화(잠재 공간)와 분포적 RL 사이의 관계를 정형화합니다. 인코더 $S$ 와 디코더 $P_D$ 를 정의함으로써, 잠재 공간에서 분포적 RL을 수행하는 것이 합성 커널 연산자(composite kernel operator)를 적용하는 것과 같음을 보여줍니다.
수축 계수 (Contraction Modulus): 핵심적인 이론적 결과(정리 3.5)는 잠재 공간에서의 분포적 벨만 연산자의 수축 계수가 인코더( $L_E$ )와 디코더( $L_D$ )의 립시츠 상수(Lipschitz constants)의 곱에 의해 스케일링됨을 확립합니다. 만약 잠재 공간이 효율적인 압축(작은 $L_E$ )을 제공하고 보상 관련 구조를 잘 포착한다면(작은 $L_D$ ), 벨만 백업(Bellman backups)의 수렴 속도가 가속화됩니다.
알고리즘 템플릿: 이들은 가공되지 않은 상태(raw states)가 아닌 인코딩 측도(encoding measures) 공간에서 벨만 잔차(Bellman residual)를 최소화하는 **푸시포워드 정책 반복(Push-Forward Policy Iteration, PPI)**을 제안하며, 이를 통해 모델 기반 뷰와 모델 프리 뷰를 효과적으로 통합합니다.

3. 분포적 능동 추론 (Distributional Active Inference, DAIF)

저자들은 위의 이론을 **분포적 능동 추론(DAIF)**이라는 실질적인 알고리즘으로 구현합니다.

메커니즘: DAIF는 관측값을 잠재 공간으로 매핑하는 상태-행동 아모티즈 파라미터 분포(state-action amortized parametric distribution, 즉 인코더)를 학습합니다. 그 후 이 잠재 공간에서 시간 차 분위수 매칭(temporal-difference quantile matching)을 수행합니다.
구현 세부 사항:
- 분위수 회귀 문제를 비대칭 라플라스 분포(Asymmetric Laplace Distribution, ALD)의 최대 우도 추정(Maximum Likelihood Estimation, MLE)으로 프레임화합니다.
- 분위수 추정치의 불확실성은 스케일 파라미터( $\sigma_\tau$ )에 대한 역감마 사전 분포(Inverse-Gamma prior)를 사용하여 모델링합니다. 이 사후 분산은 암묵적인 인식적 불확실성(epistemic uncertainty)으로 작용하여, 명시적인 탐사 보너스 없이도 톰슨 샘플링(Thompson sampling)과 유사한 탐사를 유도합니다.
- 알고리즘은 듀얼 크리틱(twin critics), 벨만 타겟을 위한 min-clipping, 지연된 액터 업데이트(TD3와 유사)를 사용하는 딥 액터-크리틱 구조를 활용하지만, 표준 가치 타겟을 AIF 목적 함수에서 유도된 분포적 리턴으로 대체합니다.
핵심 차이점: 전통적인 AIF와 달리, DAIF는 순방향 전이 모델( $P(X'|X, A)$ )을 학습하지 않습니다. 대신, 잠재 공간에서 샘플링된 전이를 통해 리턴 분포를 직접 학습하며, 이를 통해 전이 역학 모델링의 비용을 피하면서도 AIF의 상태 추상화 이점을 가져옵니다.

주요 기여

이론적 통합: 본 논문은 모델 기반, 분포적, 모델 프리 RL을 아우르는 공식적인 추상화를 제공하며, AIF가 어떻게 분포적 프레임워크에 매끄럽게 통합될 수 있는지를 입증합니다.
단순화된 AIF 목적 함수: do-calculus를 사용하여, 저자들은 표준 정식화에서 복잡한 사후 잠재 변수 추론의 필요성을 제거한 단순화된 AIF 목적 함수를 도출하였으며, 이는 현대 RL에서 사용되는 변분 추론 기법과 더 밀접하게 일치합니다.
푸시포워드 프레임워크: "푸시포워드 RL"의 도입은 상태 추상화와 분포적 벨만 연산자 사이의 엄밀한 수학적 연결을 제공하며, 잠재 공간의 압축이 수렴 속도에 미치는 영향을 보여줍니다.
DAIF 알고리즘: 명시적인 전이 모델을 학습하는 계산적 오버헤드 없이도 (효율적인 계획을 위한 상태 추상화라는) AIF의 성능 이점을 달-성하는 실질적인 알고리즘인 DAIF를 제안합니다.

실험 결과

저자들은 테이블형(tabular) 및 연속 제어(continuous control) 과제를 통해 DAIF를 평가합니다.

테이블형 실험 (Latent RiverSwim): 보상 관련 역학이 1D 잠재 매니폴드 상에 존재하는 그리드 월드에서, DAIF는 계획 호라이즌(planning horizon)이 길어짐에 따라 모델 기반(PSRL-PI) 및 분포적(IQQL) 베이스라인을 크게 상회하는 성능을 보였습니다. 상태 추상화의 이점이 없는 경우(Plain RiverSwim)에는 분포적 RL과 대등한 성능을 보였습니다.
연속 제어: DAIF는 세 가지 벤치마크 스위트에서 테스트되었습니다:
- EvoGym: 소프트 로봇 보행 및 조작.
- DeepMind Control Suite (DMC): 다양한 형태를 가진 연속 제어.
- DMC Vision: 원시 픽셀 관측으로부터의 제어.
성능: DAIF는 모든 스위트에서 일관되게 최첨단(SOTA) 성능을 달성했으며, 특히 복잡한 역학이나 고차원 상태 공간을 가진 환경(예: "Catcher-v0", "Dog Run", "Quadruped Run")에서 두드러졌습니다.
효율성: DAIF는 표준 분포적 액터-크리틱보다 약 12% 더 많은 실제 실행 시간(wall-clock time)이 소요되지만, 이 오버헤드는 다른 모델 기반 또는 탐사 중심 방법인 DSAC(26%) 및 DRND(37%)보다 낮습니다.

의의 및 주장

본 논문은 에이전트가 제한된 계산 능력을 갖추고 있을 때 능동 추론이 특히 강력하다고 주장하며, 이는 생물학적 뇌의 조건과 유사합니다. AIF를 분포적 RL의 단순한 확장으로 제시함으로써, 저자들은 (명시적인 순방향 모델을 학습하는 과도한 비용 없이도) AIF의 성능 이점(계획을 위한 감각 정보의 효율적 조직화)을 실현할 수 있다고 주장합니다.

이 연구는 감각 조직과 계획이라는 "이중 문제"를 해결하는 최선의 방법은 전체 전이 역학을 모델링하는 것이 아니라, 리턴 분포가 압축되고 구조화된 잠재 표현을 학습하는 것임을 시사합니다. 저자들은 DAIF를 모든 RL의 대체재가 아니라, 샘플 효율성과 계산적 제약이 중요한 도전적인 환경을 제어하기 위한 견고한 방법론으로 포지셔닝합니다. 또한, DAIF가 (명시적인 인식적/도구적 가치 항을 분리하는 대신 암묵적 불확실성에 의존하며) 잠재 병목(latent bottleneck) 크기가 현재 적응적으로 학습되기보다는 아키텍처에 의존한다는 점을 언급하며 한계를 인정합니다.