기술 요약: 테스트 시간 심층 사고를 통한 암시적 규칙 탐색

1. 문제 정의

대형 언어 모델 (LLM) 기반 에이전트는 GUI 탐색 및 신체화 AI 와 같은 분야에서 상당한 능력을 입증해 왔습니다. 그러나 이러한 에이전트는 암시적 규칙으로 지배되는 환경에서 자주 실패합니다. 이는 환경의 관찰 사항에 명시적으로 명시되지 않았지만 상호작용을 통해 추론해야 하는 숨겨진 제약 조건들 (예: "에이전트가 객체와 상호작용하려면 그 앞에 있어야 한다" 또는 "에이전트는 동시에 두 개의 객체를 들 수 없다") 입니다.

ReAct 및 Reflexion 과 같은 기존 방법들은 일반적인 세계 역학과 일치하는 사전 훈련된 지식에 의존합니다. 에이전트가 관찰 불가능한 제약 조건이 있는 환경에 직면하면, 종종 정보 제공이 부족한 피드백 (예: "아무 일도 일어나지 않음") 을 받으며 반복적인 시행착오 루프나 지역 탐색 함정에 빠집니다. 핵심적인 과제는 에이전트가 테스트 시간에 시스템 2 스타일의 추론을 수행하여 내부 세계 모델을 업데이트하고 환경의 실제 잠재 역학과 정렬되도록 하는 것입니다.

2. 방법론: 테스트 시간 탐색 (TTExplore)

저자들은 저수준 행동 실행과 고수준 전략적 추론을 분리하는 TTExplore라는 프레임워크를 제안합니다. 이 프레임워크는 두 가지 명확한 역할을 통해 작동합니다.

A. 프레임워크 아키텍처

1. 액터 ($\pi_{actor}$): 궤적 이력을 기반으로 각 단계에서 ReAct 스타일 출력 (사고 + 행동) 을 생성하는 표준 에이전트입니다.
2. 생각하는 자 (Thinker, $\pi_{thinker}$): 고정된 빈도 (예: $n$단계마다) 로 호출되는 메타 수준 추론 에이전트입니다. 생각하는 자는 전체 상호작용 이력을 분석하며, 특히 실패한 행동과 환경 피드백에 중점을 둡니다.
   • 출력: 생각하는 자는 다음을 포함하는 "심층 사고"($d_i$) 를 생성합니다.
     • 현재 진행 상황에 대한 요약.
     • 최근 실패를 초래한 잠재적 환경 규칙에 대한 가설.
     • 향후 행동을 위한 수정된 계획.
   • 통합: 이 심층 사고는 액터의 컨텍스트 앞에 추가되어 후속 행동을 안내하고 반복적인 실수를 방지합니다.

B. 생각하는 자 훈련: 안정적인 RL 파이프라인

중간 사고의 질에 대한 직접적인 보상 신호가 부족하기 때문에 생각하는 자를 훈련시키는 것은 어렵습니다. 저자들은 보상 희소성과 불안정한 신용 할당이라는 두 가지 주요 문제를 해결하기 위해 특수한 7B 모델을 훈련시키기 위한 새로운 강화 학습 (RL) 파이프라인을 도입합니다.

1. 간접 보상을 통한 작업 수행: 중간 추론을 직접 평가하는 대신, 파이프라인은 최종 작업 완료 성과 (성공 또는 과정 점수 향상) 를 간접 보상으로 사용합니다. 생각하는 자의 가설이 개선된 성능을 보이는 액터 궤적으로 이어지면, 그 사고는 보상을 받습니다.
2. 궤적당 단일 사고 노드: 여러 추론 노드 간에 단일 희소 보상을 공유함으로써 발생하는 신용 할당 문제와 훈련 불안정성을 완화하기 위해, 훈련 전략은 궤적당 단 하나의 사고 노드만 유지합니다.
3. 훈련 파이프라인 단계:
   • 서브 작업 분할: 강력한 모델로부터의 성공적인 궤적은 과정 점수에 따라 서브 작업으로 분할됩니다.
   • 서브 작업 필터링: 약한 모델을 사용하여 서브 작업을 난이도 (쉬움, 중간, 어려움) 로 분류합니다. 생각하는 자가 비자명한 솔루션을 학습하도록 하기 위해 "중간" 및 "어려움" 서브 작업만 훈련을 위해 유지됩니다.
   • 롤아웃 및 보상 계산: 고정된 액터가 샘플링된 심층 사고를 기반으로 궤적을 실행합니다. 과정 점수가 기준 궤적 대비 향상되면 1.0 의 보상이 할당되고, 그렇지 않으면 0.0 이 할당됩니다.

3. 주요 기여

1. TTExplore 프레임워크: 행동 실행과 암시적 규칙 추론을 명시적으로 분리하여 에이전트가 테스트 시간 상호작용 중에 세계 모델을 동적으로 업데이트할 수 있게 하는 새로운 아키텍처.
2. 안정적인 RL 훈련 파이프라인: 궤적당 단일 사고 노드를 격리함으로써 희소하고 작업 수준의 보상을 사용하여 심층 추론 모델을 훈련시키는 방법. 이는 7B 파라미터 모델 (Exp-Thinker) 을 희소 보상 RL 의 전형적인 불안정성 없이 성공적으로 훈련시켰습니다.
3. Exp-Thinker 모델: 암시적 규칙을 추론하도록 훈련된 특수 모델로, 다양한 신체화 작업에서 에이전트 성능을 크게 향상시킵니다.

4. 실험 결과

저자들은 Alfworld, Sciworld, BabyAI, Jericho, PDDL이라는 다섯 가지 텍스트 기반 신체화 작업에 TTExplore 와 Exp-Thinker 를 평가했습니다.

• 성능 향상:
  • 기본 모델 (Qwen2.5-7B 및 LLaMA3-8B) 과 짝을 이룰 때, TTExplore 는 생각하는 자가 없는 기준선 대비 평균 성능을 14~19 점 향상시켰습니다.
  • 도메인 내 작업에서 LLaMA3-8B 의 경우, 성능이 약 32/20 에서 약 63/55 (과정 점수) 로 급증하여 여러 파인튜닝된 에이전트 기준선을 능가했습니다.
  • 이 프레임워크는 도메인 외 작업에서도 잘 훈련된 에이전트 (예: Qwen2.5-Actor) 의 성능을 향상시켜, 테스트 시간 탐색이 오프라인 훈련 방법을 보완한다는 것을 입증했습니다.
• 탐색 행동: 정량적 분석은 Exp-Thinker 를 사용하는 에이전트가 더 높은 행동 및 관찰 다양성을 보이고 반복률이 낮음을 보여주어, 이 프레임워크가 지역 탐색 루프를 깨는 능력을 입증했습니다.
• 다른 방법론과의 비교:
  • 대규모 모델 대비: 특수화된 7B Exp-Thinker(SFT + RL) 는 72B Qwen2.5 모델을 생각하는 자로 사용할 때보다 성능이 우수하거나 동등했으며, 규모만으로는 타겟팅된 훈련이 더 효과적임을 입증했습니다.
  • 테스트 시간 확장 대비: TTExplore 는 Reflexion(4.7 배) 또는 Best-of-N(5.0 배) 에 비해 중간 정도의 계산 오버헤드 (1.4 배 ReAct) 를 발생시켰으며, 추가 향상을 위해 Best-of-N 과 호환 가능합니다.
  • 오프라인 유도 방법 대비: TTExplore 는 사전 수집된 오프라인 지식 베이스에 의존하지 않고도 경쟁력 있거나 최첨단 결과를 달성했습니다 (Alfworld 에서 97.76% 성공).

5. 중요성 및 주장

이 논문은 복잡한 환경에서 현재 에이전트의 실패는 종종 능력 부족이 아니라 잠재 역학에 대한 정렬되지 않은 내부 세계 모델에서 비롯된다고 주장합니다.

• 핵심 논점: 에이전트는 사전 훈련된 지식이나 오프라인 메모리에만 의존하는 대신, 경험을 정제하고 잠재 규칙을 자율적으로 추론하기 위해 환경과 지속적으로 상호작용하는 테스트 시간 탐색에 참여함으로써 인간과 유사한 행동을 모방해야 합니다.
• 겸손함: 저자들은 방법이 성능을 크게 향상시키지만, 최적의 사고 빈도는 작업에 따라 다를 수 있으며 현재 고정 빈도 접근법은 시작점일 뿐임을 인정합니다. 그들은 TTExplore 를 기존 훈련 방법 (SFT/RL) 을 대체하는 것이 아니라, 알려지지 않은 환경에서의 일반화 및 적응력을 향상시키는 강력한 보완재로 위치시킵니다.
• 영향: 이 연구는 전담하는 생각하는 자 역할을 통해 암시적 규칙에 대해 명시적으로 추론하는 것이 표면적 정보가 불충분한 작업을 해결하기 위한 실현 가능하고 효과적인 전략임을 입증합니다.