기술 요약: TOOLSELF

문제 정의

현재의 대규모 언어 모델(LLM) 기반 에이전트 시스템은 도메인 특화 성능과 교차 작업 일반화 사이의 근본적인 긴장 상태에 직면해 있습니다. 기존 시스템은 일반적으로 에이전트의 전략, 도구함(toolbox), 컨텍스트 관리 및 추론 스타일을 정의하는 정적 구성(static configurations)(실행 전 고정됨)에 의존합니다.

• 특화 vs. 일반화: 강력한 도메인 사전 지식과 압축된 도구 공간은 특정 작업의 성능을 높이지만 전이 가능성을 약화시킵니다. 반대로, 광범위한 도구 공간과 작업 불가지론적 워크플로우를 가진 범용 에이전트는 커버리지는 넓히지만, 가이드의 희석과 장기 실행 성능 저하를 겪는 경우가 많습니다.
• 기존 솔루션의 한계: 기존 방식은 다음과 같은 방법으로 이를 해결하려 시도했습니다:
  • 실행 전 최적화: 오프라인에서 특화된 구성을 도출하지만 실행 중에는 적응할 수 없습니다.
  • 플래너-워커 오케스트레이션: 계획과 실행을 분리하여 정보 손실과 파편화된 신용 할당(credit assignment)을 초래합니다.
  • 구성 패칭(Configuration patching): 외부 모듈을 통해 격리된 차원(예: 컨텍스트 또는 도구)을 수정하며, 이는 시스템 수준의 변화를 조율하지 못하는 파편화된 최적화를 초래합니다.
• 핵심 과제: 이러한 방법들은 적응(adaptation)과 실행(execution)을 분리함으로써, 에이전트가 실시간 작업 진행 상황 및 피드백을 바탕으로 자신의 구성을 선제적으로 업데이트하는 것을 방해합니다.

방법론: TOOLSELF

저자들은 작업 실행과 런타임 자기 재구성(self-reconfiguration)을 하나의 최적화 가능한 정책 내로 통합하는 패러다임인 TOOLSELF(Tool-driven Self-reconfiguration)를 제안합니다.

1. 핵심 메커니즘: 통합 액션 공간

TOOLSELF는 구성을 고정된 상수가 아니라 동적이고 도구로 업데이트 가능한 상태로 취급합니다. 실행 에이전트 $\pi_i$는 다음과 같은 구성 $C_i = (q_i, \sigma_i, T_i, K_i, m_i)$ 하에서 작동합니다:

• $q_i$: 현재 하위 목표(sub-goal).
• $\sigma_i$: 실행 전략.
• $T_i$: 단계별 도구함 (전체 풀의 부분 집합).
• $K_i$: 로컬 지식 및 제약 조건.
• $m_i$: 컨텍스트 관리 모드.

에이전트는 표준화된 재구성 도구($T_{reconfig}$)를 갖추고 있습니다. 에이전트가 현재 구성이 작업 요구 사항과 일치하지 않는다고 판단할 때(예: 전략 실패, 지식 부족 또는 하위 목표 완료), $T_{reconfig}$를 호출합니다. 이 도구는 다음을 수행합니다:

1. 현재 단계의 요약을 글로벌 히스토리 풀에 아카이브합니다.
2. 동일한 정책이 다음 구성 $C_{i+1}$을 합성하도록 유도하는 구성 생성 명세(configuration-generation specification, $z_i$)를 반환합니다.

이 설계는 구성 업데이트가 에이전트 액션 공간 내의 네이티브 액션이 되도록 보장하며, 이를 통해 하위 목표, 전략, 도구 및 컨텍스트 관리에 대한 홀리스틱한(holistic) 업데이트를 동시에 수행할 수 있게 합니다.

2. 훈련 프레임워크: 구성 인식 2단계 훈련 (CAT)

자기 재구성을 메타 능력으로 내재화하기 위해, 저자들은 CAT라는 엔드 투 엔드 훈련 프레임을 도입합니다:

• 단계 I: 콜드 스타트 초기화 (RFT): 교사 모델(Qwen3-235B)이 생성한 성공적인 궤적(trajectory)에 대해 거부 샘플링 미세 조정(Rejection Sampling Fine-tuning, RFT)을 수행합니다. 정책은 성공적인 결과에 조건화된 유효한 단계 궤적 및 구성 업데이트를 생성하는 법을 배웁니다.
• 단계 II: 강화 학습 정교화 (KTO): 궤적 수준의 이진 피드백을 사용하는 칸네만-트버스키 최적화(Kahneman-Tversky Optimization, KTO)를 채택합니다. 자기 재구성의 품질은 다운스트림 작업의 성공을 통해서만 관찰 가능하므로, 최종 작업 결과(성공/실패)에 따라 궤적 내의 모든 결정(실행 및 재구성)에 신용 할당이 전파됩니다.

주요 기여

1. TOOLSELF 패러다임: 구성 업데이트를 표준화된 도구 인터페이스로 추상화하여, 실행과 적응을 단일 정책의 액션 공간 내로 통합하는 새로운 아키텍처입니다. 이를 통해 수동으로 주입된 가이드 없이도 공동 최적화와 창발적 적응성을 가능하게 합니다.
2. CAT 프레임워크: 에이전트가 교차 단계 자기 재구성을 수행하도록 가르치는 2단계 훈련 방식(RFT + KTO)으로, 다운스트림 작업 성공을 위해 구성 결정을 명시적으로 최적화합니다.
3. 통합 최적화: 적응과 실행을 병치함으로써, 모듈 간 전달 과정에서의 정보 손실을 제거하고 엔드 투 엔드 신용 할당을 가능하게 하여 장기 계획 및 자기 수정과 같은 능력을 배양합니다.

실험 결과

저자들은 Qwen3-8B 및 Qwen3-14B 모델을 사용하여 심층 연구(FRAMES, xbench), 일반 AI 어시스턴트(GAIA, GAIA(WS)), 소프트웨어 엔지니어링(SWE-Lite)의 5개 데이터셋에서 TOOLSELF를 평가했습니다.

• 제로샷 성능: CAT 훈련 없이도, 제로샷 TOOLSELF는 강력한 교차 작업 일반성을 유지하면서도 작업 특화 에이전트(예: WebSailor, SWE-Agent)와 대등한 성능을 보였습니다.
• 훈련 이득: CAT 훈련 후, TOOLSELF는 정적 구성 베이스라인 대비 평균 28.8 포인트의 향상을 달야했습니다.
  • Qwen3-8B의 경우, 평균 정확도가 16.5%(Vanilla Agent)에서 45.3%(TOOLSELF + RFT + KTO)로 상승했습니다.
  • FRAMES (Qwen3-14B)에서는 61.5%에 도달하여, WebSailor(42.0%) 및 Co-Sight(46.0%)와 같은 특화 베이스라인을 능가했습니다.
• 절제 연구(Ablation Studies):
  • 통합형 vs. 분리형: 통합 설계(단일 정책)가 별도의 LLM이 구성을 생성하는 분리형 변체보다 크게 우수한 성능을 보였으며, 이는 미세한 실행 컨텍스트가 효과적인 재구성에 결정적임을 확인시켜 줍니다.
  • 구성 요소 분석: 지식 전이와 하위 목표 계획이 장기 추론을 위한 가장 중요한 구성 차원으로 식별되었습니다.
  • 효율성: TOOLSELF는 더 깊은 탐색에도 불구하고 Co-Sight와 같은 특화 에이전트에 비해 더 높은 토큰 효율성을 보여주었습니다.

의의 및 주장

이 논문은 TOOLSELF가 에이전트 시스템의 **창발적 적응성(emergent adaptivity)**을 향한 길을 밝혀준다고 주장합니다. 수동으로 주입된 가이드를 학습 가능한 런타임 자기 재구성으로 대체함으로써, 시스템은 다음과 같은 기능을 수행할 수 있습니다:

• 다양한 작업 및 실행 단계에 맞춰 동적으로 특화되는 동시에 일반론적인 유연성을 유지합니다.
• 장기 계획, 자기 정교화, 자기 수정과 같은 고급 능력을 내재화합니다.
• 작업별 정적 구성이나 외부 오케스트레이터 없이도 복잡한 벤치마크에서 최첨단(SOTA) 성능을 달성합니다.

저자들은 이 접근 방식이 구성을 정적 제약이 아닌 학습 가능한 동적 변수로 만듦으로써 전문화-일반화 트레이드오프를 해결하고, 에이전트가 궤적 수준의 피드백을 통해 "적응하는 법을 배우도록" 한다고 강조합니다.