기술 요약: 제어 가능한 정보 생성을 통한 물리적 지능의 출현

문제 제기

로봇 학습에서의 내재적 동기 (Intrinsic Motivation, IM) 에 대한 기존 접근법은 세 가지 근본적인 구조적 결함을 안고 있습니다. 첫째, 이러한 접근법들은 주로 설계자가 선택한 확률 변수 간의 상호 정보에 의존하여, 복잡성이나 혼란과 같은 시스템 수준의 현상을 직접 측정하는 대신 그 현상들의 대리 지표로 활용합니다. 둘째, 이러한 변수들을 명시적으로 지정해야 하는 설계자의 필요성은 편향을 도입하여, 에이전트가 지각하고 행동하는 방식을 암묵적으로 제약합니다. 셋째, 제어 구동을 위해 사용되기는 하지만, 이러한 목적 함수들은 최적 제어 (Optimal Control, OC) 이론과 원칙적인 연결 고리가 부족하여 해석 가능성과 효율적인 제어 방법의 개발을 제한합니다. 그 결과, 기존 IM 방법들은 외부 보상 신호 없이도 자기 일어서기 (self-righting) 와 같은 진정으로 새로운 작업 관련 물리적 행동을 유도하는 데 종종 실패합니다.

방법론: 제어 가능한 정보 생성 (Controllable Information Production, CIP)

저자들은 동역학 시스템의 불변 속성과 최적 제어 이론에 직접적으로 기반한 새로운 IM 패러다임인 제어 가능한 정보 생성 (CIP) 을 제시합니다.

이론적 기반

CIP 는 제어된 시스템이 궤적을 따라 정보를 생성하는 속도로 정의되며, 에이전트의 행동에 의해 유도된 콜모고로프 - 시나이 엔트로피 (Kolmogorov-Sinai entropy, KSE) 로 공식적으로 식별됩니다.

• 개루프 vs 폐루프: 이 프레임워크는 피드백 제어 하의 정보 생성 속도 (폐루프 KSE, $h_{ks}(f^{cl})$) 와 교란이 규제되지 않은 상태의 속도 (개루프 KSE, $h_{ks}(f^{ol})$) 를 구분합니다.
• 최적 제어에서의 유도: 저자들은 CIP 가 최적 가치 함수의 헤시안 (Hessian) 에서 자연스럽게 출현함을 보여줍니다. 최적 정책을 외재적 (목표 지향적 표류) 과 내재적 (교란 조절 피드백) 구성 요소로 분해함으로써, 가치 헤시안이 무한소 교란의 성장을 인코딩함을 입증합니다.
• 핵심 통찰: 가치 헤시안에서 유도된 개루프 KSE($h_{ks}(f^{ol})$) 가 CIP 목적 함수로 작용합니다. 저자들은 CIP 가 폐루프 KSE 에 대한 상한을 제공함을 증명합니다 ($CIP \ge h_{ks}(f^{cl})$). 즉, CIP 를 최대화하는 것은 시스템을 "제어 가능한 혼란"이 높은 영역, 즉 개루프에서는 불안정하지만 피드백을 통해 안정화 가능한 상태로 이끕니다.

효율적 추정

고차원 시스템에서 KSE 를 계산하는 것은 역사적으로 어려웠습니다. 본 논문은 이산 대수적 리카티 방정식 (Discrete Algebraic Riccati Equation, DARE) 에서 유도된 수치적으로 안정적이고 확장 가능한 추정기를 제안합니다.

• 헤시안 행렬을 직접 전파하는 방식 (기하급수적으로 증가함) 대신, 이 방법은 로그 도메인 재귀를 통해 역헤시안의 로그 - 행렬식 (log-determinant) 을 전파합니다.
• 이 접근법은 고차원에서 계산 비용이 많이 들고 불안정한 표준적인 Lyapunov 스펙트럼 추정의 QR 분해 필요성을 우회합니다.
• 이 추정기는 로렌츠 어트랙터 (Lorenz attractors) 와 같은 혼란 시스템에서 알려진 KSE 값으로 기존 QR 방법보다 빠르게 수렴합니다.

구현

실험에서 CIP 는 랜덤 샘플링 기반 모델 예측 제어 (Model Predictive Control, MPC) 방식을 사용하여 구현되었습니다. 에이전트는 제어 페널티를 조건으로 하여 추정된 CIP 를 최대화하기 위해 유한 시간 범위 내의 제어 시퀀스를 최적화합니다. 외부 보상이나 시연은 사용되지 않았습니다.

주요 기여

1. 새로운 IM 패러다임: CIP 의 도입으로, 목적을 신기성/다양성 촉진에서 동역학적 불변성에 기반하여 상태 공간의 중요한 영역 (혼란의 가장자리) 을 식별하고 안정화하는 것으로 전환했습니다.
2. 이론적 기반: IM 과 최적 제어 간의 엄밀한 연결을 제시하여, CIP 가 최적 가치 지형의 곡률에 인코딩됨을 보였습니다. 이는 휴리스틱 공리에 의존하지 않는 IM 에 대한 원칙적인 정당성을 제공합니다.
3. 확장 가능한 추정기: 시스템의 야코비안 (Jacobian) 에 직접 작동하여 고차원 응용 분야의 이전 한계를 극복하는 효율적이고 수치적으로 안정적인 재귀적 KSE 추정기를 개발했습니다.
4. 실증적 검증: CIP 가 Empowerment, DIAYN, DADS, SMM, ICM 을 포함한 최첨단 IM 방법들보다 표준 벤치마크에서 우수하며, 외부 보상 없이도 인간형 로봇의 자기 일어서기와 같은 복잡한 물리적 기술을 독점적으로 가능하게 함을 입증했습니다.

실험 결과

저자들은 Mujoco-MJX 의 네 가지 벤치마크 시스템 (카트 폴, 더블 펜듈럼, 트리플 펜듈럼, 평면 인간형 로봇 Gibbon) 에서 CIP 를 평가했습니다.

• 자기 일어서기 성능: CIP 는 모든 환경에서 에이전트가 정규화된 높이 $\approx 0.93–0.99$인 완전한 수직 위치로 일관되게 이동하도록 유도했습니다.
• 베이스라인과의 비교:
  • 기술 기반 IM (DIAYN, DADS, SMM): 이러한 방법들은 수직 위치를 안정화하지 못했으며, 종종 진동하거나 하위 최적의 안정 자세로 수렴했습니다. 저자들은 상태 공간 다양성에 대한 "선택 압력"이 어려운 수직 구성보다 유지하기 쉬운 상태를 선호하기 때문이라고 분석했습니다.
  • 호기심 기반 IM (ICM): 이러한 방법들은 안정화에 실패했으며, 종종 예측 불가능한 고속 운동에 고정되거나 예측기가 개선됨에 따라 더 이상 "놀라지" 않게 되었습니다.
  • 권능 (Empowerment): 카트 폴에서는 성공적이었으나, 더블 펜듈럼에서는 부분적으로만 성공했고 트리플 펜듈럼이나 Gibbon 에서는 수직 위치를 안정화하지 못해 하위 최적 상태로 떨어졌습니다.
• 엔트로피 상관관계: 에이전트가 매달린 상태 (낮은 엔트로피) 에서 수직 상태 (높은 엔트로피) 로 이동함에 따라 추정된 CIP 값이 증가하여, 수직 상태가 높은 개루프 정보 생성에 해당함을 확인했습니다.

중요성과 주장

본 논문은 물리적 지능이 제어 가능한 혼란의 가장자리로 시스템을 구동함으로써 출현한다고 주장합니다. 에이전트가 제어할 수 있는 정보 생성을 최대화함으로써 CIP 는 인간의 편향 없이 유용한 행동을 발견하기 위한 원칙적인 메커니즘을 제공합니다.

• 이론적 영향: 이 연구는 IM 과 OC 를 통합하여 물리적 지능을 정보 생성의 제어로서 공식화했습니다. 가치 함수와 콜모고로프 - 시나이 엔트로피 간의 구조적 연결을 드러냈습니다.
• 실용적 영향: CIP 는 이전 IM 방법들이 자율적으로 달성하지 못했던 보행의 전제 조건인 복잡하고 에너지 효율적인 행동 (예: 자기 일어서기) 을 에이전트가 학습하도록 가능하게 합니다.
• 한계점: 저자들은 현재 구현이 야코비안에 접근하기 위해 미분 가능한 시뮬레이터에 의존하며 간단한 MPC 제어기를 사용하므로, 매우 고차원의 실제 세계 시스템으로의 확장성이 제한될 수 있음을 인정합니다. 향후 연구는 CIP 를 학습된 동역학 모델과 최첨단 RL 정책과 통합하는 것을 목표로 합니다.

저자들은 CIP 가 휴리스틱 목적을 넘어 제어 및 동역학 시스템의 근본적인 수학에서 도출된 프레임워크로 이동하는 물리적 지능을 위한 일반적인 조직 원리를 대표한다고 결론지었습니다.