기술 요약: 경험 기반 적응형 가이드(ExpG)를 통한 에이전트의 견고한 도구 사용을 향하여

1. 문제 정의

AI 에이전트의 성능 병목 현상은 대규모 언어 모델(LLM) 자체의 내재적 능력에서 도구 사용의 실행 프로세스 견고성으로 이동하고 있습니다. 도구는 에이전트가 외부 환경과 상호작용하는 주요 인터페이스 역할을 하지만, 기존 방식들은 다양한 런타임 조건에서 견고한 도구 사용을 보장하는 데 종종 실패합니다.

현재의 접근 방식은 일반적으로 다음과 같은 정적인 가정에 의존합니다:

1. 도구가 항상 올바르게 호출되고 예상된 응답을 반환한다.
2. 도구의 실패는 지속적인 자기 성찰(self-reflection)을 가능하게 하는 정보가 담긴 신호를 제공한다.

그러나 실제 환경은 이러한 가정을 위반합니다. 환경적 역동성으로 인해 동일한 도구가 문맥에 따라 다른 결과를 낼 수 있으며, 도구의 응답은 노이즈가 많거나 세밀하지 못할 수 있습니다(예: 계산기가 오류를 일으키면서도 "성공"이라고 보고하는 경우). 도구의 능력 경계와 견고한 사용 패턴에 대한 명확한 이해 없이는, 에이전트가 일반화에 어려움을 겪으며 모호한 신호에 직면했을 때 시행착오를 반복하거나 잘못된 추론 경로를 따르게 됩니다.

2. 방법론: ExpG

저자들은 도구 호출을 분석 가능하고, 상호 의존적이며, 학습 가능한 경험으로 취급함으로써 적응형 가이드를 구축하고 정교화하는 메커니즘인 ExpG(Experience-Driven Adaptive Guidance)를 제안합니다. 정적인 블랙박스 접근 방식과 달리, ExpG는 에이전트 메모리에서 영감을 얻은 진화하는 경험 풀(experience pool)을 유지하며, 다음 세 가지 순차적 단계를 통해 작동합니다.

1단계: 경험 획득 (Experience Acquisition)

ExpG는 과거의 실행 궤적(trajectories)을 분석하여 각 도구 호출의 성공 또는 실패 원인을 규명합니다.

• 정식화: 경험 $E$는 $\langle h, m, c \rangle$로 정의됩니다. 여기서 $h$는 고유 해시, $m$은 메타데이터(도구 정보, 문맥, 입력, 응답, 비용), $c$는 평가 내용입니다.
• 평가: LLM_evaluator(판사 역할)가 $d$개의 차원(환경, 에이전트 행동, 도구 신뢰도 등을 다루는 10가지 측면)에 걸쳐 각 호출을 평가합니다. 이는 이진 점수 벡터와 자연어 설명을 생성합니다.
• 분할: 동일한 도구에 대한 경험은 점수 벡터를 기준으로 **동등 클래스(equivalence classes)**로 분할됩니다. 이를 통해 서로 다른 패턴(예: "완벽한 호출" vs "입력은 올바르나 도구 자체의 실패")별로 호출을 그룹화합니다.

2단계: 경험 증류 (Experience Distillation)

이 단계는 가공되지 않은 경험을 실행 가능한 가이드로 변환합니다.

• 필터링: 도움이 되지 않는 경험을 제거합니다. 여기에는 해시를 통한 중복 제거, 시간 경과에 따른 데이터 폐기, 그리고 후속 점수를 지속적으로 낮추는 경험의 제거가 포함됩니다.
• 선택: 유효한 경험의 수에 따라 도구를 분류합니다:
  • One-shot: 건너뜀 (데이터 부족).
  • Few-shot: 유지된 모든 경험을 사용.
  • Many-shot: 동등 클래스 기반 선택 알고리즘을 적용합니다. 이는 다양성을 확보(다양한 호출 패턴을 포괄)하면서도 원래의 분포를 보존(빈번한 패턴 강조)하도록 할당량 $Q$만큼의 대표 경험을 선택합니다.
• 요약: LLM_summarizer가 필터링된 집합을 분석하여 각 도구에 대한 **가이드(guidance)**를 생성합니다. 이 가이드에는 다음이 포함됩니다:
  • 질적 정보: 핵심 기능, 성공 패턴, 일반적인 문제점 및 권장 사항.
  • 양적 정보: 평균 성공률, 점수, 시간 비용 및 토큰 비용.

3단계: 경험 재사용 (Experience Reuse)

증류된 가이드는 에이전트가 맹목적인 시행착오에서 벗어나 정보에 기반한 실행을 할 수 있도록 미래의 작업에 적용됩니다.

• 동적 vs 안정적: 가이드는 일관성에 따라 분류됩니다.
  • 동적 가이드 (Dynamic Guidance): 가변적인 호출 패턴을 가진 도구에 대해 가벼운 문맥 프롬프트로 사용됩니다.
  • 안정적 가이드 (Stable Guidance): 일관된 실패/성공 패턴을 가진 도구(예: 입력은 올바르지만 내부 신뢰성 문제로 인해 지속적으로 실패하는 도구)에 대해 엄격한 스키마 제약 조건으로 사용됩니다.
• 적용: 가이드는 에이전트의 현재 상태와 도구의 신뢰성에 적응하여, 프롬프트의 일부로 주입되거나 도구 스키마 내의 제약 조건으로 주입됩니다.

3. 주요 기여

1. 도구 호출의 구조적 특성화: 본 논문은 환경, 에이전트, 도구 요소를 포함하는 구조적 특성화를 도입함으로써 정적인 도구 호출 관점을 탈피했습니다. 이를 통해 학습 가능한 경험을 획득하기 위한 동등 클래스 분할이 가능해졌습니다.
2. ExpG 메커니즘: 진화하는 도구 수준의 경험 풀을 유지하기 위한 새로운 프레임워크를 제시합니다. 경험을 획득, 증류, 재사용함으로써 ExpG는 능력의 경계와 최선의 실천 방안(best practices)을 구축하고 지속적으로 정교화할 수 있습니다.
3. 실증적 검증: 광범위한 실험을 통해 ExpG가 도구 선택, 도구 호출, 응답 생성 작업 전반에서 성능을 일관되게 향 향상시킴을 입증했습니다. 특히, ExpG를 사용하지 않는 더 큰 모델보다 작은 모델(예: Qwen3-8B)이 더 우수한 성능을 낼 수 있음을 보여주었습니다.

4. 실험 결과

실험은 도구 사용의 서로 다른 단계를 대상으로 하는 세 가지 벤치마크, 즉 MetaTool(도구 선택), API-Bank(도구 호출), BFCL-V3(응답 생성)에서 수행되었습니다.

• 성능 향상: ExpG는 모든 데이터셋과 모델(GPT-5 nano, DeepSeek-V3, Qwen3 시리즈)에서 가장 높은 Avg@3 및 Pass@3 점수를 달取得했습니다. 예를 들어, Qwen3-8B의 경우 ExpG는 "No Method" 베이스라인 대비 총 지표에서 Avg@3는 7.41%, Pass@3는 6.92% 개선되었습니다.
• 도전적인 설정에서의 견고성: ExpG는 노이즈가 많은 환경(예: 파라미터 누락, 정의되지 않은 도구, 방해 도구 등)에서 특히 강력한 이점을 보였습니다. BFCL-V3에서 문제가 있는 설정의 단일 턴 작업 성능을 13.09%, 멀티 턴 작업 성능을 10.33% 향상시켰습니다.
• 효율성: ExpG는 일반적인 멀티 턴 작업에서 평균 추론 단계를 줄였을 뿐만 아니라(10.14에서 9.02로), 도전적인 시나리오에서는 더 신중한 행동을 유도하여 불필요한 상호작용 없이 성공률을 높였습니다.
• 절제 연구 (Ablation Studies): 각 단계(획득, 증류, 재사용) 중 하나라도 제거하면 성능 저하가 발생하여, 전체 파이프라인의 필요성을 확인했습니다. 또한, 동등 클래스 기반 선택 방식이 균등 선택이나 클래스 균형 선택에 비해 분포 정렬과 다양성 사이의 균형을 효과적으로 맞춘다는 것을 보여주었습니다.

5. 의의 및 주장

본 논문은 ExpG가 정적인 도구 문서화를 넘어 동적이고 경험 중심적인 적응을 향한 **학습 가능한 도구(trainable tools)**를 향한 초기 단계라고 주장합니다.

• 패러다임의 전환: 이는 모델 중심의 개선에서 실행 프로세스의 견고성으로의 전환을 다루며, 도구가 실제 문맥에서 다르게 동작하는 "개발과 운영 사이의 간극"에 대한 해결책을 제공합니다.
• 자기 진화: 이 시스템은 구조화된 증류와 도구 경험의 재사용을 통해 에이전트가 스스로 진화할 수 있도록 하며, 도구 숙달을 위한 고성능 모델에 대한 의존도를 낮춥니다.
• 실용성: 이 접근 방식은 기존의 에이전트 하네스(harness)와 호환되도록 설계되었으며, 상위 수준의 메모리나 기술 기반 방법론을 보완하기 위해 도구 단위의 미세한 입도(granularity)에서 작동합니다.

저자들은 Exp-G가 능력의 경계와 최선의 실천 방안을 포착함으로써, 예측 불가능한 환경과 노이즈가 많은 피드백을 처리할 수 있는 더욱 견고하고 적응적인 에이전트 시스템을 구축하는 길을 열어준다고 결론짓습니다.