Curiosity-Driven Development of Action and Language in Robots Through Self-Exploration

기술 요약: 자기 탐색을 통한 로봇의 행동 및 언어 발달에 대한 호기심 기반 개발

문제 제념
본 논문은 인공지능과 인지 과학 사이의 근본적인 불일치를 다룬다. 인간 영유아는 매우 적고 제한된 경험으로부터 놀라운 일반화 능력을 갖추며 언어와 행동 역량을 습득하는 반면, 대규모 인공 모델(LLM 등)은 유사한 능력을 갖추기 위해 수십억 개의 학습 토큰을 필요로 한다. 핵심 문제는 이러한 효율적인 발달적 학습을 가능하게 하는 메커즘을 식별하는 것이며, 특히 구성성(compositionality)(알려진 요소들을 새로운 구조로 체계적으로 재조합하는 능력), 최소한의 데이터로부터의 일반화, 그리고 예외 처리(파괴적 망각 없이 불규칙성을 관리하는 능력)에 초점을 맞춘다. 저자들은 호기심에 기반한 에이전트의 자기 탐색(self-exploration)이 인간 영유아에게서 관찰되는 발달 궤적, 즉 암기에서 체계적 일반화로의 전이와 예외 처리 시 나타나는 U자형 학습 곡선을 재현할 수 있는지 조사한다.

방법론
본 연구는 이동형 로봇, 매니퓰레이터 암, 시각 센서 및 분산 촉각 센서를 갖춘 시뮬레이션된 모바일 로봇을 사용한다. 로봇은 명령형 문장(예: "빨간 큐브를 밀어라")에 반응하여 운동 명령을 실행하는 법을 새로운 방식의 **능동적 추론(Active Inference)**과 **강화 학습(RL)**의 통합을 통해 학습한다.

• 모델 아키텍처: 시스템은 세 가지 주요 구성 요소로 이루어진 변분 순환 신경망(VRNN)을 활용한다:
  1. 순방향 모델(Forward Model): 현재의 감각($o_t$), 명령 음성($o_{cw}$), 그리고 운동 명령($a_t$)을 바탕으로 미래의 감각 관측($o_{t+1}$)을 예측한다. 이는 **증거 자유 에너지(Evidence Free-Energy, $F$)**를 최소화함으로써 학습하며, $F$는 정확도(재구성 오차)와 복잡성(사후 확률과 사전 확률 사이의 Kullback-Leibler 발산) 사이의 균형을 맞춘다.
  2. 액터(Actor): 미래 결과의 예측 가치를 극대화하기 위해 운동 명령을 생성한다.
  3. 크리틱(Critic): Soft Actor-Critic (SAC) 알고리즘을 사용하여 가치 함수($Q$)를 추정한다.
• 내재적 동기(호기심): 외적 보상(과업 성공)에만 의존하는 표준 RL과 달리, 이 프레임워크는 **기대 자유 에너지(Expected Free Energy, $G$)**로부터 유도된 내재적 보상을 포함한다. 에이전트는 $G$를 최소화하도록 동기 부여를 받으며, $G$에는 다음이 포함된다:
  • 호기심(인식적 가치): 예측 불가능한 감각적 결과(사전 확률과 사후 확률 사이의 KL 발산 극대화로 모델링됨)를 추구함으로써 정보 획득을 극대화한다.
  • 운동 엔트로피(Motor Entropy): 조기 수렴을 방지하기 위해 무작위적이고 탐색적인 움직임을 장려한다.
  • 외적 보상: 명령형 문장에 명시된 목표를 달성한다.
• 실험 설정: 로봇은 다양한 모양과 색상의 물체가 있는 물리 시뮬레이터(PyBullet)에서 작동한다. 명령형 문장은 동사, 형용사, 명사로 구성된다.
  • 실험 1: 호기심 수준(없음, 감각-운동, 전체)이 학습 속도와 일반화에 미치는 영향을 조사한다.
  • 실험 2: 구성적 규모(compositional scale)(어휘 크기 변화)가 일반화 성능에 미치는 영향을 테스트한다.
  • 실험 3: 특정 명령-행동 매핑을 교체하여 비단조적 학습 궤적을 유도함으로써 예외 처리를 조사한다.

주요 기여

1. 발달적 학습을 위한 아마티즈드 능동 추론(Amortized Active Inference): 본 논문은 기대 자유 에너지 최소화를 근사하기 위해 Q-러닝을 사용하는 '아마티즈드(amortize)' 추론 방식을 제안한다. 이를 통해 에이전트는 과업 성공과 함께 정보 획득을 얻는 것에 보상을 받으며, 호기심을 갖도록 학습할 수 있다.
2. 구성성의 조작적 정의: 본 연구는 구성성을 형식적인 의미 구조가 아니라, 체화된 환경 내에서 알려진 요소들(동사, 형용사, 명사)의 새로운 조합에 대해 체계적 일반화를 수행할 수 있는 능력으로 정의한다.
3. U자형 학습의 메커니즘적 설명: 모델은 암기, 과잉 일반화, 그리고 예외를 처리하기 위한 내부 표현의 재구성이 일어나는 과정 사이의 긴장 관계로부터 U자형 발달 성능이 어떻게 자연스럽게 발생하는지 보여준다.

결과

• 호기심은 학습을 가속화한다: "모든 호기심"(피드백 음성 포함)을 가진 에이전트는 60,000 에포크 후 학습되지 않은 문장에 대해 **85.1%**의 일반화 성공률을 달행한 반면, 호기심이 없는 에이전트는 동일 단계에서 41%에 그쳤다. 호기심이 없는 훈련을 120,000 에포크까지 연장했을 때 유사한 성능(80.8%)을 보였는데, 이는 호기심가 최종 능력 자체를 결정하기보다는 주로 샘플 효율성과 학습 속도를 향상시킨다는 것을 나타낸다.
• 규모 의존성: 일반화 성능은 구성 요소의 규모에 크게 의존한다. 어휘 크기가 커짐에 따라(작은 규모에서 큰 규모로), 학습되지 않은 목표에 대한 성공률이 급격히 개선되었다(~29%에서 85%로). 이는 더 큰 구성적 레퍼토리가 희소한 데이터로부터 더 나은 일반화를 촉진한다는 가설을 뒷받침한다.
• 암기에서 일반화로의 진행: 내부 표현 분석(PCA를 통해) 결과, 훈련 초기에는 로봇이 정확히 학습된 문장-행동 쌍에 대해서만 성공했다. 새로운 조합에 대한 일반화는 동사와 형용사의 내부 표현이 요인화(factorized)되고 정렬된 후에야 나타났다.
• 예외 처리 및 U자형 곡선: 실험 3에서, 명령-행동 매핑이 교체되었을 때 10대의 로봇 중 9대가 특징적인 U자형 학습 곡선을 보였다. 내부 분석 결과, 로봇은 처음에 과잉 일반화(예외에 일반적인 규칙을 적용함)를 하여 오류를 일으켰으나, 이후 예외를 올바르게 인코딩하도록 내부 표현을 재기술(redescribe)하였다.
• 정신적 계획(Mental Planning): 충분히 훈련된 로봇은 실제 감각 입력 없이도 미래의 감각 상태를 시뮬레이션하여 목표를 달성하는 정확한 "정신적 계획"을 생성할 수 있었던 반면, 부분적으로 훈련된 로봇은 부정확한 예측을 생성했다. 이는 개념화에 있어 강력한 순방향 모델의 역할을 강조한다.

의의 및 주장
본 논문은 자신의 결과가 내재적 동기(호기심)와 능동적 추론이 인공 에이전트에서 어떻게 확장 가능한 구성적 일반화와 예외 처리를 지원하는지에 대한 메커니즘적 설명을 제공한다고 주장한다. 연구 결과는 다음과 같은 점을 시사한다:

• 호기심 기반 탐색은 제한된 데이터로부터 구조화된 일반화를 학습할 수 있게 함으로써, 에이전트가 효율적인 샘플 복잡도를 달성하고 학습을 가속화하는 데 중요한 메커니즘이다. 이는 "자극의 빈곤" 문제를 해결한다.
• U자형 학습은 단순한 실패 모드가 아니라, 에이pt가 예외를 수용하기 위해 내부 지식을 재구성하는 **표현의 재기술(representational redescription)**의 징후이다. 이는 인간의 언어 습득에서 관찰되는 패턴을 반영한다.
• 규모가 중요하다: 체계적인 일반화 능력은 단순히 학습 알고리즘의 기능이 아니라, 구성적 환경의 풍부함(어휘 크기)에 의해 크게 영향을 받는다.

저자들은 자신의 주장에 대해 겸손함을 명시한다. 이 모델은 단순화된 테스트베드이며 인간 언어 발달의 포괄적인 모델은 아니다. 이 모델에는 인간 영유아에게 존재하는 사회적 스캐폴딩(scaffolding), 공동 주의(joint attention), 그리고 점진적인 발달 단계가 결-여되어 있다. 본 연구의 목적은 인간 인지 발달의 전체 복잡성을 복제하는 것이 아니라, 최소한의 가정 하에서 호기심 기반의 감각-운동 학습을 통해 어떻게 구조화된 일반화가 나타날 수 있는지를 입증하는 데 있다.