Language and Experience: A Computational Model of Social Learning in Complex Tasks

이 논문은 **"Language and Experience: A Computational Model of Social Learning in Complex Tasks (언어와 경험: 복잡한 작업에서의 사회적 학습에 대한 계산 모델)"**로, ICLR 2026 에서 발표된 연구입니다. 이 연구는 인간이 언어적 지도 (타인의 조언) 와 직접적인 경험 (시행착오) 을 어떻게 통합하여 복잡한 환경에서 학습하는지를 계산적으로 모델링하고, 이를 인공지능 시스템에 적용하는 방법을 제시합니다.

다음은 논문의 주요 내용을 기술적으로 요약한 것입니다.

1. 연구 문제 (Problem)

• 배경: 인간의 학습 능력은 직접적인 경험 (시행착오) 과 타인의 언어적 조언을 결합하여 새로운 환경에서 안전하고 빠르게 학습하는 데 있습니다.
• 현황:
  • 기존 강화학습 (RL) 은 복잡한 작업을 마스터할 수 있지만, 수백만 번의 시행착오가 필요하여 비효율적입니다.
  • 이론 기반 RL 은 구조화된 세계 모델을 사용하여 효율성을 높였지만, 사회적 학습 (언어적 지도 통합) 을 지원하지 못합니다.
  • 대규모 언어 모델 (LLM) 은 언어 처리에 뛰어나지만, 상호작용적 계획 수립과 구체적 (embodied) 학습에는 한계가 있습니다.
• 목표: 언어적 지도와 직접 경험을 통합하여 복잡한 작업 (비디오 게임) 에서 효율적으로 학습하고, 세계 모델을 추론하며, 타인에게 조언을 생성할 수 있는 계산 프레임워크를 개발하는 것.

2. 방법론 (Methodology)

저자들은 **구조화된 실행 가능한 세계 모델 (Structured, Executable World Models)**에 대한 결합 확률 추론 (Joint Probabilistic Inference) 프레임워크를 제안했습니다.

A. 핵심 구성 요소

1. 세계 모델 표현 (VGDL):

   • 게임의 규칙, 객체 유형, 상호작용 (충돌 시 효과), 보상, 승리/패배 조건을 VGDL (Video Game Description Language) 프로그램으로 표현합니다.
   • 에이전트는 가능한 세계 이론 (Theory, $T$) 의 확률 분포를 유지하며, 이를 통해 게임의 동역학을 추론합니다.

2. 베이지안 추론 (Bayesian Inference):

   • 에이전트는 경험 ($E$) 과 언어적 지도 ($L$) 를 모두 증거로 사용하여 세계 이론 $T$의 사후 확률 $P(T|E, L)$을 업데이트합니다.
   • 공식: $P(T | E, L) \propto P(E | T) \times P(L | T) \times P(T)$
     • $P(E|T)$: 경험 데이터와 이론의 일치도 (시뮬레이션 기반).
     • $P(L|T)$: 언어적 조언과 이론의 일치도 (화자 모델 기반).

3. 언어 모델 (LLM) 의 이중 역할:

   • 화자 모델 (Speaker Model): 특정 세계 이론을 가진 인간이 어떤 조언을 할 확률을 근사화합니다. 이를 통해 수신된 조언이 특정 이론을 지지하는지 평가합니다.
   • 제안 분포 생성기 (Proposal Generator): 수신된 조언을 바탕으로 베이지안 추론의 후보 규칙 (예: "노란색은 죽인다") 을 제안하여 추론 공간을 효율적으로 탐색하게 합니다.

4. 학습 루프:

   • 추론: 파티클 필터 (Particle Filter) 와 메트로폴리스-헤이스팅스 (Metropolis-Hastings) 알고리즘을 사용하여 세계 모델의 사후 분포를 근사합니다.
   • 계획: 최대 사후 확률 (MAP) 이론을 기반으로 목표 지향적 계획 (Goal-directed planning) 을 수립하고, 탐색 (Exploration) 과 활용 (Exploitation) 을 균형 있게 수행합니다.
   • 조언 생성: 학습된 MAP 이론을 바탕으로 다음 플레이어를 위한 자연어 조언을 생성합니다.

3. 주요 기여 (Key Contributions)

1. LLM 을 활용한 화자 모델링: 사전 훈련된 LLM 을 사용하여 인간의 신념이 언어적 조언으로 어떻게 표현되는지 확률적으로 모델링했습니다.
2. 언어 증거에서의 추론: 수신된 언어적 조언을 베이지안 추론의 증거로 활용하여, 세계 모델 추론을 가속화하고 탐색 전략을 형성합니다.
3. LLM 가속 추론: 언어 모델을 사용하여 추론 과정의 제안 분포 (Proposal Distribution) 를 편향시켜, 가장 유망한 가설 공간으로 빠르게 수렴하도록 유도합니다.
4. 양방향 인간 - 모델 학습: 모델이 인간으로부터 배우고, 생성한 조언이 다시 인간의 학습을 돕는 상호작용을 구현했습니다.

4. 실험 및 결과 (Results)

10 가지 VGDL 비디오 게임을 대상으로 인간 실험 (120 명) 과 시뮬레이션을 수행했습니다.

• 경험만 통한 학습:

  • 인간과 제안된 모델은 모두 높은 샘플 효율성을 보였으나, Deep RL 이나 순수 LLM 은 게임을 해결하지 못했습니다. 이는 구조화된 세계 모델의 중요성을 입증합니다.
  • 인간은 체계적인 실험이 필요한 게임에서는 편차가 크지만, 모델은 일관된 성능을 보였습니다.

• 언어적 지도의 효과:

  • 학습 가속: 인간과 모델 모두 이전 플레이어의 조언을 받으면 학습 속도가 크게 향상되었습니다 (중위수 시도 횟수 감소).
  • 탐색 변화: 위험 경고는 치명적인 실수를 줄였고, 핵심 메커니즘에 대한 조언은 필수 조합의 발견을 가속화했습니다.
  • 오류의 영향: 잘못된 조언은 학습을 방해하거나 탐색을 제한할 수 있음을 확인했습니다.

• 인간 - 모델 간 지식 전이:

  • 모델이 생성한 조언은 인간 학습자의 성능을 유의미하게 향상시켰습니다.
  • 모델은 인간이 생성한 조언보다 모델이 생성한 조언에서 더 잘 학습했습니다 (모델의 조언이 더 체계적이고 포괄적이었기 때문).
  • 인간은 모델의 조언보다 인간의 메타인지적 전략이나 비유가 포함된 조언에 더 잘 반응하는 경향이 있었습니다.

• 세대 간 학습 (Iterated Learning):

  • 10 세대에 걸쳐 조언을 전달하는 실험에서, 모델은 부분적인 지식을 축적하여 점차 게임을 마스터하는 능력을 보여주었습니다. 이는 인간 문화적 학습의 특성을 모방한 결과입니다.

5. 의의 및 결론 (Significance)

• 인지과학적 통찰: 인간이 언어와 경험을 통합하여 복잡한 세계 모델을 구축하는 메커니즘에 대한 계산적 설명을 제공했습니다.
• AI 협업 학습: AI 가 인간으로부터 배우고, 다시 인간을 가르치는 양방향 협업 학습 시스템의 가능성을 입증했습니다.
• 미래 방향:
  • 더 복잡한 실제 환경으로의 확장 (코드 기반 세계 모델링 등).
  • 조언의 신뢰성을 평가하는 메타인지 메커니즘 도입.
  • 다양한 LLM 패밀리가 화자 및 화자 모델로서 어떻게 다른지 연구.

이 연구는 단순한 언어 지시 따르기를 넘어, 구조화된 세계 모델 추론을 통해 언어와 경험을 통합하는 새로운 AI 학습 패러다임을 제시하며, 인간과 AI 의 상호 보완적 학습을 위한 중요한 기반을 마련했습니다.