기술 요약: 초기 경험을 통한 에이전트 학습

1. 문제 제기

언어 에이전트의 장기적 목표는 복잡하고 실제적인 과제에서 자신의 경험을 통해 학습하고 개선하는 것입니다. 그러나 현재 훈련 패러다임은 다음과 같은 중대한 한계에 직면해 있습니다:

• 강화 학습 (RL): 검증 가능한 보상이 있는 도메인 (예: 게임) 에서 성공적이지만, RL 을 실제 세계의 언어 에이전트에 적용하는 것은 어렵습니다. 많은 환경 (예: 웹사이트, 다중 턴 도구 사용) 은 검증 가능하거나 밀집된 보상 신호가 없거나, 신용 할당이 불안정해지는 비효율적인 장기 할당 (long-horizon rollouts) 을 요구합니다.
• 지도 미세 조정 (SFT/모방 학습): 현재 대부분의 에이전트는 전문가가 선별한 데이터를 사용한 SFT 에 의존합니다. 효율적이기는 하지만, 이 접근법은 본질적인 한계를 지닙니다:
  • 분포 이동 (Distribution Shift): 에이전트는 훈련 중 환경과 상호작용하지 않으므로, 비전문가 행동의 결과를 결코 관찰하지 못합니다. 이는 에이전트가 훈련 분포에서 벗어날 때 오류가 누적되게 만듭니다.
  • 제한된 일반화: 전문가 시연은 좁은 범위의 시나리오만 포착하여 에이전트가 보지 못한 상황에 일반화하거나 실패에서 회복하는 능력을 제한합니다.
  • 확장성: 고품질 전문가 시연은 확장하는 데 비용이 많이 듭니다.

핵심적인 과제는 외부 보상 신호에 의존하거나 인간 시연의 범위에만 엄격하게 묶이지 않고, 에이전트가 자신의 경험에서 성장하도록 훈련하는 방법입니다.

2. 방법론: 초기 경험 패러다임

저자들은 모방 학습과 강화 학습 사이의 중간 지대인 초기 경험 (Early Experience) 패러다임을 제안합니다. 이 설정에서 에이전트는 인간이 선별한 데이터뿐만 아니라 환경에서 자신의 제안한 행동에 의해 유도된 미래 상태에서도 학습합니다. 이러한 미래 상태는 외부 보상을 요구하지 않는 감독 신호로 작용합니다.

이 패러다임은 전문가 궤적의 데이터셋 $D_{expert} = \{(s_i, a_i)\}$을 활용하고, 에이전트 정책에서 샘플링된 대체 행동 $a^j_i$와 환경에서 관찰된 결과 다음 상태 $s^j_i$로 구성된 할당 (rollout) 데이터셋 $D_{rollout} = \{(s_i, a^j_i, s^j_i)\}$으로 이를 보강합니다.

이 패러다임 하에서 두 가지 구체적인 훈련 전략이 연구되었습니다:

A. 암시적 세계 모델링 (Implicit World Modeling, IWM)

• 개념: 에이전트는 관찰된 미래 상태의 집합을 환경 역학을 내면화하기 위한 보조 예측 작업으로 간주합니다.
• 메커니즘: 할당 데이터셋의 각 상태 - 행동 쌍 $(s_i, a^j_i)$에 대해, 모델은 결과 다음 상태 $s^j_i$를 예측하도록 훈련됩니다.
• 목적: 훈련 목적은 다음 토큰 예측 손실입니다: $L_{IWM} = -\sum \log p_\theta(s^j_i | s_i, a^j_i)$.
• 이점: 이를 통해 정책은 별도의 시뮬레이터 모듈 없이 환경 행동의 규칙성 (전이, 부작용, 무효 결과) 을 직접 학습하여 에이전트를 작동 맥락에 기반하게 합니다.

B. 자기 성찰 (Self-Reflection, SR)

• 개념: 에이전트는 자신의 비최적 행동과 전문가 행동을 비교하고 전문가 선택이 왜 우월한지에 대한 자연어 설명을 생성함으로써 학습합니다.
• 메커니즘: 각 전문가 상태 $s_i$에 대해, 에이전트는 전문가 행동 $a_i$를 실행하여 $s_{i+1}$을 얻고, 대체 행동 $a^j_i$를 실행하여 $s^j_i$를 얻습니다. 그런 다음 모델은 결과의 차이 based on $a_i$가 $a^j_i$보다 선호되는 이유를 정당화하는 사고의 사슬 (chain-of-thought) 설명 $c^j_i$를 생성하도록 프롬프트됩니다.
• 목적: 모델은 상태 $s_i$가 주어졌을 때 추론 $c^j_i$와 전문가 행동 $a_i$를 공동으로 예측하도록 훈련됩니다: $L_{SR} = -\sum \log p_\theta(c^j_i, a_i | s_i)$.
• 이점: 이는 에이전트 자신의 탐색적 실패에서 세밀하고 전이 가능한 의사결정 원칙 (예: 제약 조건 충족) 을 추출하여 단순 암기를 넘어섭니다.

3. 주요 기여

1. 초기 경험의 형식화: 이 논문은 모방 학습과 RL 사이의 확장 가능하고 보상 없는 가교로서 초기 경험을 옹호하고 형식화합니다. 이는 에이전트가 외부 보상 없이 자신의 상호작용을 학습 신호로 변환할 수 있게 합니다.
2. 두 가지 훈련 전략: 저자들은 암시적 세계 모델링(상태 예측을 통한 역학 내면화) 과 자기 성찰(비최적 행동에 대한 추론을 통한 의사결정 원칙 정제) 을 제안하고 체계적으로 연구합니다.
3. 종합적 평가: 이 방법들은 여덟 가지 다양한 환경 (구체적 내비게이션, 웹 내비게이션, 다중 턴 도구 사용, 과학 시뮬레이션, 계획) 과 여러 모델 계열 (Llama-3.2-3B, Qwen-2.5-7B, Llama-3.1-8B) 에서 평가되었습니다.

4. 실험 결과

평가 결과, 순수 모방 학습 베이스라인에 비해 일관된 개선이 입증되었습니다:

• 효과성: 여덟 가지 모든 벤치마크와 모델 크기에 걸쳐 IWM 과 SR 모두 표준 SFT 보다 우수했습니다.
  • IWM은 예측 가능한 역학을 가진 구조화된 환경 (예: ALFWorld, ScienceWorld, WebShop) 에서 꾸준한 향상을 보였습니다.
  • SR은 다단계 추론과 제약 조건 충족이 필요한 작업 (예: TravelPlanner, BFCLv3) 에서 상당한 개선을 이루었습니다.
  • 특히 WebShop 에서 IWM 은 모방 학습 대비 성공률을 최대 18.4% 까지 향상시켰습니다.
• 분포 외 (OOD) 일반화: 초기 경험 방법은 OOD 분할에서 성능 격차의 상당 부분을 지속적으로 회복합니다. 일부 경우 (예: SearchQA) 에서는 분포 내 설정보다 OOD 설정에서의 상대적 이득이 더 커서, 자신의 할당에서 학습하는 것이 시연에서 다루지 않은 상태에 에이전트를 준비시킨다는 것을 나타냅니다.
• 데이터 효율성: 초기 경험은 전문가 시연을 훨씬 적게 사용하더라도 (예: WebShop 에서 데이터의 1/8) 모방 학습보다 우위를 유지합니다.
• 모델 확장: 모델 크기가 70B 파라미터 (Llama-3.3-70B) 까지 확장됨에 따라 이점도 지속되었으며, 초기 경험 체크포인트는 일관되게 최상위 성능 곡선을 차지했습니다.
• RL 의 기초: 초기 경험으로 훈련된 체크포인트에 후속 RL(GRPO 사용) 을 적용하면, 순수 모방 학습 체크포인트에서 시작하는 경우보다 최종 성능 상한이 훨씬 높아집니다. 이는 초기 경험이 "경험의 시대"를 위한 견고한 초기화를 제공함을 시사합니다.

5. 중요성과 주장

이 논문은 초기 경험을 자율적 언어 에이전트 개발을 위한 필수적인 디딤돌로 위치시킵니다. 그 중요성은 다음과 같습니다:

• 격차 해소: 보상이 없거나 신뢰할 수 없는 환경에 대한 실용적인 해결책을 제공하여, 에이전트가 정적 시연뿐만 아니라 결과에서 학습할 수 있게 합니다.
• 확장성: 에이전트 자신의 행동을 활용하여 감독을 생성함으로써 비용이 많이 들고 고품질인 인간 시연에 대한 의존도를 줄입니다.
• 미래 대비: 새로운 환경에서 검증 가능한 보상이 사용 가능해지면 완전히 경험 기반 학습 (RL) 을 준비하는 "중간 훈련" 가교 역할을 하여, 처음부터 재훈련 없이 추가적인 이득을 실현합니다.

저자들은 초기 경험이 에이전트가 현재 자신의 상호작용에서 성장할 수 있게 하여, 현재 모방 기반 접근법의 한계를 해결하면서도 미래의 경험 기반 에이전트 시대를 위한 토대를 마련한다고 결론지었습니다.