기술 요약: 경험을 통해 학습하는 언어 에이전트 훈련

문제 정의

현재 대규모 언어 모델 (LLM) 에이전트를 위한 반사 (reflection) 기반 방법들은 주로 단일 작업 인스턴스 내에서의 자기 수정에 초점을 맞추고 있습니다. 반복적인 시도를 통해 특정 문제에 대한 행동을 정제하는 데는 효과적이지만, 이러한 방법들은 경험을 재사용 가능한 교훈으로 정제하여 미래의 보지 못한 작업에서 성능을 향상시키는 데는 실패합니다. 이 한계는 작업이 반복될 수 없는 현실 세계 시나리오 (예: 체스 게임이나 요리) 에서 특히 중요하며, 한 작업 인스턴스에서의 통찰력이 유사한 보지 못한 작업으로 이상적으로 일반화되어야 합니다. 다루어진 핵심 연구 질문은 LLM 이 **작업 간 자기 개선 (cross-task self-improvement)**을 촉진하는 자기 반사를 생성하도록 훈련될 수 있는지, 그리고 가능하다면 인간이 제공한 예시에 의존하지 않고 이를 어떻게 달성할 수 있는지입니다.

방법론

인-컨텍스트 훈련 (ICT) 작업

저자들은 LLM 이 경험을 통해 학습하여 작업 간 자기 개선을 수행할 수 있는 능력을 평가하기 위해 설계된 프레임워크인 인-컨텍스트 훈련 (In-context Training, ICT) 작업을 소개합니다. 이 프레임워크는 이중 LLM 아키텍처를 사용합니다:

1. 액터 ($LLM_{act}$): 시스템 프롬프트에 기반하여 환경과 상호작용하는 운영 에이전트입니다. ICT 작업의 각 턴에서 액터는 새롭고 보지 못한 작업 배치에 직면하며, 각 작업에 대해 단 한 번의 시도만 허용됩니다.
2. 리플렉터 ($LLM_{refl}$): 액터가 수집한 궤적을 관찰하고 다음 배치의 보지 못한 작업에서 액터의 성능을 향상시키기 위한 개선된 시스템 프롬프트 ($sp_i$) 를 생성하는 메타 에이전트입니다.

목표는 리플렉터가 훈련 세트 ($E_{train}$) 의 에피소드를 분석하고, 보지 못한 작업 유형의 홀드아웃 검증 세트 ($E_{val}$) 에서 액터의 누적 보상을 최대화하는 시스템 프롬프트를 생성하는 것입니다.

훈련 파이프라인

리플렉터가 이러한 능력을 학습할 수 있도록 하기 위해, 저자들은 강화 학습 (RL) 기반 미세 조정 파이프라인을 제안합니다:

• 데이터셋 생성: ICT 루프를 기본 모델을 사용하여 여러 번 실행하여 튜플 $(sp_i, obs_i, \text{task batch})$의 데이터셋을 생성합니다. 이는 다양한 시스템 프롬프트와 해당 메타 관찰 (상호작용 궤적) 을 포착합니다.
• 보상 신호: 훈련 보상은 경험에서 직접 도출됩니다. 리플렉터가 생성한 후보 시스템 프롬프트에 대해, 새로운 프롬프트 하에서 액터 모델을 사용하여 이전 작업 배치를 재생함으로써 보상을 계산합니다. 이는 리플렉터가 이전 배치의 성능 문제를 식별하고 즉각적인 배치에 과적합하는 대신 일반화되는 수정안을 제안하도록 장려합니다.
• 최적화: 리플렉터는 GRPO(Group Relative Policy Optimization) 알고리즘을 사용하여 미세 조정됩니다. 훈련 중 리플렉터는 여러 후보 프롬프트를 샘플링하며, 이는 고정된 액터로 작업을 재생하여 점수를 매깁니다. 이러한 점수는 이점 추정 및 매개변수 업데이트를 주도합니다.

인프라: MetaGym

저자들은 기존 Gym 스타일 환경에서 메타 환경을 구축하기 위한 범용 Python 라이브러리인 MetaGym을 소개합니다. 이 도구는 ICT 에 필요한 이중 LLM 설정 생성, 작업 인스턴스화, 병렬 실행, 그리고 액터와 리플렉터 간의 상호작용을 관리합니다.

주요 기여

1. 작업 간 자기 개선을 위한 훈련 파이프라인: 인간이 제공한 레이블이나 예시에 의존하지 않고 보지 못한 작업 인스턴스 전반의 성능을 향상시키는 반사를 생성하도록 LLM 을 미세 조정하는 방법.
2. 인-컨텍스트 훈련 (ICT) 작업: 작업이 반복 불가능한 상황에서 온라인 자기 개선 능력을 측정하는 새로운 평가 프레임워크로, 모델이 특정 솔루션을 암기하는 대신 전이 가능한 전략을 학습하도록 강제합니다.
3. MetaGym: 자기 개선 언어 에이전트 연구용 메타 환경 구축을 가능하게 하는 오픈소스 라이브러리.

실험 결과

이 접근법은 두 가지 벤치마크인 ALFWorld(텍스트 기반 가정 작업) 와 MiniHack(2D 그리드 월드 작업) 에서 평가되었습니다. 두 경우 모두 작업 유형은 메타-훈련 및 메타-테스트 세트로 분할되어 리플렉터가 특정 작업 인스턴스를 암기하는 대신 일반화 가능한 전략을 학습하도록 보장했습니다.

• 작업 간 개선: 훈련된 리플렉터는 거의 모든 홀드아웃 작업 유형에서 두 벤치마크 모두에 걸쳐 훈련되지 않은 베이스라인 (Qwen2.5-7B-Instruct) 및 초기 프롬프트보다 일관되게 우수한 성과를 거두었습니다. 이는 경험으로부터 학습하는 능력 자체가 학습 가능한 메타 기술임을 보여줍니다.
• 훈련 이상의 일반화: 일부 경우, MiniHack 에서 훈련된 리플렉터가 ALFWorld 작업에서 성공적으로 성능을 향상시켰고 (그 반대의 경우도 마찬가지), 이는 근본적으로 다른 환경 간의 전이 가능성을 나타냅니다.
• 메타 턴 및 지평: 훈련 중 관찰된 메타 턴 수 (4 턴) 를 넘어 성능이 계속 향상되었으며, 이는 모델이 생성한 프롬프트를 재귀적으로 정제할 수 있음을 시사합니다.
• 배치 크기 영향: 더 큰 배치 크기 ($k=5$) 는 일반적으로 더 다양한 경험을 제공하고 보상 신호의 희소성을 줄여 MiniHack 에서 특히 더 좋은 결과를 산출했습니다. 그러나 ALFWorld 에서는 더 작은 배치 ($k=3$) 가 때로는 충분하여 환경에 따라 더 큰 배치로 인한 체감 수익이 감소할 수 있음을 시사합니다.

중요성 및 주장

이 논문은 경험으로부터 학습하는 것이 학습 가능한 능력이라고 주장합니다. 단일 작업 내의 자기 수정에서 작업 군집 간의 자기 개선으로 초점을 이동시킴으로써, 저자들은 오픈 엔디드 환경에 적응할 수 있는 범용 에이전트 개발을 위한 경로를 제시합니다.

이 연구는 다음을 강조합니다:

• 반사 메커니즘은 재사용 가능한 교훈을 추출하도록 훈련될 수 있으며, 에이전트가 모든 새로운 작업마다 교훈을 "다시 학습"해야 하는 현재 패러다임을 넘어설 수 있습니다.
• 이 능력은 에이전트 자신의 상호작용 데이터에만 의존하여 인간 감독 없이 획득될 수 있습니다.
• 제안된 프레임워크 (ICT) 와 도구 (MetaGym) 는 자기 개선 에이전트를 평가하고 연구하는 표준화된 방법을 제공하여, 해당 분야의 관심을 작업 간 일반화로 전환시킬 수 있습니다.

저자들은 한계에 대해 겸손하게 언급하며, 별도의 액터 및 리플렉터 모델을 유지하는 것은 계산적으로 비용이 많이 들고, 현재 평가에 사용되는 고정된 홀드아웃 세트에 대한 의존성은 그러한 세트가 존재하지 않는 현실 세계 시나리오를 완벽하게 반영하지 못할 수 있음을 지적합니다. 그들은 향후 연구가 고정된 중단 기준 없이 평생 학습을 탐구할 수 있음을 제안합니다.