ToolAnchor: Anchoring Counterfactual Context to Boost Agentic Tool-use Capability

기술 요약: ToolAnchor

문제 정의

도구 증강 대규모 언어 모델(LLM) 에이전트는 ReAct 및 에이전틱 강화 학습(RL)과 같은 패러다임을 통해 장기적 과업(long-horizon tasks)에서 강력한 능력을 입증해 왔습니다. 그러나 이러한 에이전트들은 일반적으로 고정되고 사전 정의된 도구 세트(toolsets)에 대해 사후 학습(post-trained)됩니다. 새로운 도구(예: 텍스트 중심 에이전트를 위한 시각적 탐색 도구)의 통합이 필요한 경우, 기존 에이전트들은 적응하는 데 어려움을 겪습니다. 본 논문은 이 핵심적인 장애물을 **행동 관성(behavioral inertia)**으로 식선별합니다. 이는 사후 학습된 에이전트가 새로운 도구를 사용할 수 있음에도 불구하고, 익숙한 추론 패턴과 기존의 도구 세트에 의존하려는 경향을 의미합니다. 이는 확장된 도구 세트에 표준적인 에이전틱 RL을 적용할 때 희소한 보상(sparse rewards)과 비효율적인 탐색을 초래하는데, 이는 에이전트의 정책이 이미 원래의 역량 주변으로 수렴했기 때문입니다. 나아가, 에이전트의 일반화 능력에만 의존하는 것은 이러한 관성을 극복하기에 불충분합니다.

방법론: ToolAnchor

저자들은 결정적인 결정 지점(critical decision points)에 반사실적 문맥(counterfactual contexts)을 고정(anchoring)함으로써 새로운 도구 사용 능력을 부트스트랩하도록 설계된 프레임워크인 ToolAnchor를 제안합니다. 이 프레임워크는 세 가지 뚜렷한 단계로 작동합니다:

1. 반사실적 앵커 가설 (Counterfactual Anchor Hypothesis):

   • 교사 모델(예: Gemini-2.5-Pro, GPT-5)이 확장된 도구 세트 하에서 학생 에이전트가 생성한 실패한 궤적(trajectories)을 감사(audit)합니다.
   • 단순히 임의의 오류 지점을 선택하는 대신, 교사는 반사실적 앵커 라운드(counterfactual anchor round), 즉 대안적인 로컬 사고-행동 쌍(thought-action pair)이 궤적을 성공으로 유도할 수 있는 특정 결정 지점을 식별합니다.
   • 선택 기준은 높은 다운스트림 영향력, 경로 재지정 잠재력, 전략적 레버리지(예: 도구 선택, 쿼리 구성) 및 반사실적 잠재력을 우선시합니다.
   • 교사는 해당 라운드까지 가용한 이력(history)만을 기반으로 대안적인 사고-행동 쌍을 생성하여, 문맥이 미래의 정답 정보를 인코딩하지 않도록 보장합니다.

2. 반사실적 앵커 검증 (Counterfactual Anchor Verification):

   • 교사의 가설은 검증되지 않은 제안으로 취급됩니다. 학생 에이전트는 가설화된 반사실적 문맥으로부터 생성을 재개합니다.
   • 데이터를 필터링하기 위해 이중 수준의 검증 프로세스가 수행됩니다:
     • 과업 수준 검증 (Task-level verification): 학생은 앵커로부터 재개된 후 과업을 성공적으로 해결해야 합니다.
     • 앵커 수준 검증 (Anchor-level verification): 판사(judge) 모델은 성공이 학생의 자발적인 회복이 아니라, 앵커의 개입에 실질적으로 기인했는지 검증합니다.
   • 두 가지 검사를 모두 통과한 문맥만이 유지되어, 노이즈가 있거나 효과적이지 않은 감독(supervision)이 주입되는 것을 방지합니다.

3. 반사실적 앵커 내재화 (Counterfactual Anchor Internalization):

   • 앵커 전용 에이전틱 SFT (Anchor-only Agentic SFT): 에이전트는 검증된 반사실적 문맥을 사용하여 지도 미세 조정(SFT)을 수행합니다. 손실(loss)은 원래의 이력을 조건으로 하여 앵커 라운드의 대안적인 사고-행동 쌍에 대해서만 계산됩니다. 이는 전체 교사 궤적에 과적합되지 않으면서도 높은 레버리지의 행동 재지정을 주입합니다.
   • 에이전틱 RL (Agentic RL): SFT 이후, 에이전트는 확장된 도구 세트에서 (GRPO를 사용하는) 에이전틱 RL을 거칩니다. 이 단계는 내재화된 앵커 행동을 에이전트의 기존 정책과 재정렬하여, 새로운 도구 세트의 자율적 탐색을 지원하는 동시에 기존 역량의 파괴적 망각(catastrophic forgetting)을 방지하고 견고성을 확보합니다.

주요 기여

1. 행동 관성의 공식화: 본 논문은 사후 학습된 에이전트의 도구 세트 확장의 과제를 공식화하고, 행동 관성을 주요 병목 현상으로 식별했습니다. 저자들은 실패가 단순히 도구 사용 능력의 결여가 아니라, 결정적인 결정 지점에서 문맥적 앵커가 누락되었기 때문에 발생함을 입증했습니다.
2. ToolAnchor 프레임워크: 다양한 교사 모델을 통해 반사실적 앵커 라운드를 자동 발견하고, 학생 롤아웃(rollout)을 통해 그 효과를 엄격히 검증하며, 검증된 행동을 에이전틱 SFT와 RL의 조합을 통해 내재화하는 확장 가능한 3단계 프레임워크를 제안합니다.
3. 경험적 검증: GAIA, BrowseComp, VDR-Bench에 걸친 광범위한 평가를 통해 ToolAnchor가 텍스트 중심 에이전트가 새로운 시각적 도구를 원활하게 통합할 수 있음을 입증했습니다.

결과

• 시각적 탐색 (VDR-Bench): ToolAnchor는 **28.8%**의 성공률을 달 기록하여, 기본 Tongyi DeepResearch 에이전트(7.5%)와 GPT-5(20.4%), Gemini-2.5-Pro(18.8%)와 같은 경쟁력 있는 독점 모델들을 크게 앞질렀습니다. 또한, 텍스트 전용 백본을 사용했음에도 불구하고 처음부터 훈련된 네이티브 시각-언어 모델(Vision-DeepResearch, 37.8%)과의 격차를 좁혔습니다.
• 일반 보조 (GAIA): 이 방법은 기본 모델의 성능을 70.9%에서 **74.5%**로 향상시켜, GPT-5(67.4%)와 OpenAI DeepResearch(67.4%)를 능가했습니다.
• 텍스트 탐색 (BrowseComp): 성능이 43.4%에서 **45.0%**로 향상되었습니다.
• 절제 연구 (Ablation Studies):
  • 검증의 필요성: 검증되지 않은 교사 문맥을 사용했을 때 특히 BrowseComp에서 낮은 성능을 보여, 학생 측 검증의 필요성을 강조했습니다.
  • SFT + RL 시너지: 에이전틱 SFT만으로는 도구 사용 정책을 완전히 회복하기에 불충분했습니다. 검증된 SFT 이후 에이전틱 RL을 결래하는 것이 최선의 결과를 냈으며, 이는 내재화된 행동을 더 넓은 정책과 재정렬하기 위해 RL이 필요함을 나타냅니다.
  • 앵커 선택: 기준 기반 앵커 선택(전략적 피벗 식별)은 첫 번째 또는 마지막 오류 라운드를 선택하는 휴리스틱 베이스라인보다 성능이 월등히 높았습니다.

의의 및 주장

본 논문은 ToolAnchor가 정적 사후 학습과 동적 적응 사이의 간극을 메운다고 주장합니다. 반사실적 문맥을 결정적인 결정 지점에 고정함으로써, 이 프레임워크는 처음부터 다시 훈련하거나 대규모 멀티모달 정렬을 수행하는 과도한 비용 없이도 에이전트가 기존의 추론 패턴에서 벗어날 수 있게 합니다. 이 연구는 에이전트가 기존의 도구 숙련도와 추론 정책을 강화하는 동시에 새로운 도구 역량(예: 시각적 도구)을 습득할 수 있는 지속적인 에이전틱 진화의 실질적인 경로를 제시합니다. 저자들은 이 접근 방식이 멀티모달 작업을 위해 네이티브 VLM 에이전트를 처음부터 훈련시키는 것에 비해 파라미터 및 컴퓨팅 효율적인 대안을 제공한다고 강조합니다.