Inner Speech as Behavior Guides: Steerable Imitation of Diverse Behaviors for Human-AI coordination

1. 문제 정의 (Problem)

기존의 모방 학습 (Imitation Learning, IL) 및 행동 복제 (Behavior Cloning, BC) 접근법은 인간 행동의 복잡성을 충분히 포착하지 못한다는 한계가 있습니다.

• 직관적 매핑의 한계: 기존 모델은 환경 상태 ($s_t$) 를 직접 행동 ($a_t$) 으로 매핑하는 방식 ($s_t \to a_t$) 을 사용합니다. 이는 인간의 의사결정 과정에서 관찰되는 내적 동기, 전략적 사고, 그리고 상황적 맥락이 개입되는 과정을 무시합니다.
• 다양성 및 비마르코프성 부재: 인간 행동은 단일한 최적 경로가 아니라 다양한 동기 (motivations) 와 기술 수준에 따라 분산되어 있으며, 과거의 경험에 의존하는 비마르코프적 (non-Markovian) 특성을 가집니다.
• 추론 시 제어 불가능: 기존 방법들은 학습된 분포를 그대로 따를 뿐, 추론 시 (inference time) 설계자가 특정 행동을 지시하거나 행동을 세밀하게 조정 (steer) 하는 것이 어렵습니다.

2. 방법론: MIMIC 프레임워크

MIMIC 는 비고츠키 (Vygotsky) 의 내적 언어 이론과 소콜로프 (Sokolov) 의 관찰에 영감을 받아, 내적 언어를 행동과 지각 사이의 매개체 (mediator) 로 활용합니다.

2.1 이론적 기반

• 내적 언어 ($m$): 환경 지각 ($s$) 과 행동 선택 ($a$) 사이에서 작동하는 내부적 언어 표현입니다.
• 확률적 모델링: 인간의 행동 분포를 다음과 같이 내적 언어를 통해 분해하여 모델링합니다.
  $$p(a|s) = \int p(a|s, m)p(m|s)dm$$
  여기서 $p(m|s)$는 관찰로부터 내적 언어를 생성하는 과정이고, $p(a|s, m)$은 내적 언어에 조건부인 행동 정책입니다.
• 내적 언어의 특성:
  1. 서술성 (Predicativity): 사물이 아닌 관계와 행동을 강조 (예: "상자를 왼쪽으로 이동" vs "상자는 왼쪽에 있음").
  2. 의미 압축 (Semantic Condensation): 복잡한 전략을 간결한 언어로 압축.
  3. 규제 역동성 (Regulatory Dynamics): 시간적 맥락과 행동 역사를 기반으로 주기적으로 생성됨.

2.2 아키텍처 구성

MIMIC 는 세 가지 핵심 구성 요소로 이루어져 있습니다.

1. 내적 언어 생성기 (Behavior-Conditioned Inner Speech Generator):

   • 구조: 조건부 변이 오토인코더 (CVAE) 를 사용합니다.
   • 학습: 시각 - 언어 모델 (VLM, 예: GPT-4o) 을 사용하여 인간 데모의 GIF 를 분석하고, 이를 설명하는 텍스트 (외부 언어) 를 생성합니다. 이를 '스캐폴딩 (Scaffolding)'으로 활용하여 CVAE 를 훈련시킵니다.
   • 역할: 과거의 상태와 행동 히스토리 ($H_t$) 를 입력받아 잠재 공간의 내적 언어 ($m$) 를 확률적으로 생성합니다. 이는 정보 병목 (Information Bottleneck) 원리를 통해 복잡한 전략을 압축된 표현으로 만듭니다.

2. 내적 언어 조건부 행동 복제기 (Inner Speech-conditioned Behavior Cloner):

   • 구조: 트랜스포머 아키텍처를 가진 조건부 확산 모델 (DDPM-T, Denoising Diffusion Probabilistic Model with Transformer).
   • 역할: 현재 상태 ($s$) 와 생성된 내적 언어 ($m$) 를 조건으로 하여 행동을 생성합니다.
   • 학습: 인간 데모 데이터에 내적 언어를 추가하여 훈련하며, 분류기 없는 가이드 (Classifier-free Guidance) 를 통해 내적 언어 유무에 따라 유연하게 작동하도록 합니다.

3. 시각 - 언어 모델 (VLM) 스캐폴딩:

   • 데모 데이터에 명시적인 인간 사고 (Thought) 라벨이 없더라도, VLM 이 시각적 입력을 바탕으로 행동의 특징을 설명하는 텍스트를 생성하여 CVAE 의 훈련 타겟으로 사용합니다. 이는 데이터 주석 (Annotation) 비용을 크게 줄여줍니다.

2.3 추론 과정 (Simulation)

• 에이전트는 주기적으로 (예: $W$ 스텝마다) 과거 행동 히스토리를 바탕으로 새로운 내적 언어를 생성합니다.
• 생성된 내적 언어는 행동 정책의 조건부 입력으로 작용하여 다음 행동을 결정합니다.
• 제어 가능성: 설계자가 원하는 행동에 대한 텍스트 설명을 초기 내적 언어로 입력하면, 에이전트는 해당 설명에 맞춰 행동을 생성하고 주기적으로 업데이트하며 유지합니다.

3. 주요 기여 (Key Contributions)

1. 인지 과학과 모방 학습의 통합: 내적 언어를 계산적 매개체로 공식화하여, 인간 행동의 다양성과 비마르코프적 특성을 효과적으로 모델링하는 새로운 패러다임을 제시했습니다.
2. 스캐폴딩을 통한 데이터 효율성: 인간이 매 단계의 사고 과정을 직접 라벨링할 필요 없이, VLM 을 활용하여 자동으로 내적 언어 훈련 데이터를 생성하는 방법을 제안했습니다.
3. 추론 시 세밀한 행동 제어 (Steerable Imitation): 추가적인 데모 데이터 없이도 자연어 프롬프트를 통해 에이전트의 행동 스타일이나 전략을 실시간으로 변경하고 제어할 수 있습니다.
4. 성능 입증: 로봇 조작 및 인간-AI 협업 게임에서 기존 최첨단 (SOTA) 방법론보다 뛰어난 성능을 보임.

4. 실험 결과 (Results)

실험은 D3IL 벤치마크 (로봇 조작: Aligning, Sorting, Stacking) 와 Overcooked (2 인 협업 게임) 환경에서 수행되었습니다.

• 다양한 행동의 모방 (D3IL):

  • MIMIC 는 기존 BC (DDPM-T 기반) 보다 성공률 (Success Rate) 과 행동 엔트로피 (Entropy, 다양성) 를 모두 향상시켰습니다.
  • 특히 'Aligning' 작업에서 성공률이 크게 개선되었으며, 'Stacking' 과 같은 복잡한 작업에서도 다양한 행동 패턴을 성공적으로 복제했습니다.
  • 생성된 행동과 인간 데모 간의 Wasserstein 거리가 더 낮아, 인간 행동에 대한 충실도 (Fidelity) 가 높음을 입증했습니다.

• 인간-AI 협업 (Overcooked):

  • 인간 프록시 모델 (Human Proxy) 과 협업 시, MIMIC 에이전트가 다른 BC 방법론들보다 집단 보상 (Collective Reward) 을 훨씬 높게 달성했습니다.
  • 이는 내적 언어를 모델링함으로써 인간 파트너의 다양한 행동 패턴을 더 잘 예측하고 적응할 수 있음을 의미합니다.

• 제어 가능성 및 추론:

  • 설계자가 특정 행동 설명 (예: "상자를 오른쪽에서 회전하며 정렬") 을 입력하면, 에이전트가 해당 설명에 부합하는 행동을 성공적으로 생성했습니다.
  • VLM 과 임베딩 모델 (CLIP 등) 에 대한 민감도 분석을 통해, GPT-4o 와 CLIP 조합이 가장 효과적임을 확인했습니다.

5. 의의 및 결론 (Significance)

• 안전한 AI 배포: MIMIC 는 인간과 유사한 행동을 하는 AI 대리인 (Surrogate) 을 생성할 수 있게 하여, 실제 인간과 협업하기 전에 다양한 시나리오에서 AI 의 안전성과 정렬 (Alignment) 을 검증하는 데 기여합니다.
• 해석 가능성과 투명성: 내적 언어라는 중간 표현을 통해 에이전트가 왜 그런 행동을 선택했는지에 대한 추론 과정을 언어적으로 추적할 수 있어, 블랙박스 모델의 투명성을 높입니다.
• 미래 연구 방향: 이 연구는 다중 에이전트 협업에서 내적 언어가 어떻게 상호작용을 매개하는지, 그리고 복잡한 사회적 규범을 학습하는 데 어떻게 활용될 수 있는지에 대한 새로운 연구 방향을 제시합니다.

요약하자면, MIMIC 는 단순히 행동을 모방하는 것을 넘어, 행동을 유도하는 '내적 사고'를 모델링함으로써 더 유연하고 다양하며 제어 가능한 인간형 AI 에이전트를 구현하는 획기적인 접근법입니다.