기술 요약: HyperTool: 단계별 도구 호출을 넘어선 도구 증강 에이전트

1. 문제 정의

현재의 도구 증강 대규모 언어 모델(LLM) 에이전트는 주로 **단계별 원자적 도구 호출(step-wise atomic tool calls)**에 의존합니다. 이 패러다임에서는 모든 도구 호출, 관찰, 그리고 값의 전달이 메인 추론 궤적(reasoning trace) 내에서 별개의 전이(transition)로 노출됩니다. 이 설계는 단순하고 일반적이지만, 다음과 같은 실행 입도 불일치(execution-granularity mismatch) 문제를 야기합니다:

• 컨텍스트 팽창(Context Inflation): 최종 과업 수행에 특정 필드 몇 개만 필요한 경우에도, 길고 상세한 도구 관찰 결과가 추론 궤적에 계속 누적됩니다.
• 추론 파편화(Reasoning Fragmentation): 모델은 저수준의 결정론적 작업(예: 데이터 파싱, 필터링 또는 여러 API 호출의 체이닝)을 수행하기 위해 메인 결정 루프로 반복해서 돌아와야 합니다. 이는 고수준의 과업 추론과 절차적 상태 전달을 혼재시켜 전체적인 추론 구조를 방해하고 불필요한 인지적 부담을 가중시킵니다.

기존의 컨텍스트 관리 솔루션(프루닝, 압축, 요약 또는 서브 에이전트)은 사후적으로(post-hoc) 궤적을 처리하거나 투명성을 저해하는 거친 수준의 위임을 사용합니다. 그 어떤 것도 도구 사용의 실행 입도를 근본적으로 변화시키지는 못합니다.

2. 방법론: HyperTool 프레임워크

저자들은 모델이 관찰 가능한 실행 단위를 원자적 호출에서 **실행 가능한 코드 블록(executable code blocks)**으로 전환하는 통합된 실행 가능 MCP(Model Context Protocol) 스타일의 도구 인터페이스인 HyperTool을 제안합니다.

2.1 핵심 메커니즘

에이전트는 일련의 Call(tool, args) 액션을 발행하는 대신, 단일 Block(code) 액션을 호출합니다. 이 블록 내부에서:

• 로컬 실행: 에이전트는 기존 스키마를 통해 기존 도구들을 호출할 수 있습니다.
• 데이터 흐름 관리: 중간 출력값들은 로컬 변수로 저장되며, 표준 프로그램 로직을 사용하여 파싱, 필터링 및 변환됩니다.
• 결정론적 폴딩(Deterministic Folding): 다단계의 결정론적 도구 워크플로우(예: 두 위치의 지오코딩, 거리 계산 및 결과 필터링)가 하나의 실행 가능한 서브루틴으로 접혀 들어갑니다(folded).
• 궤적 관리: 최종적으로 과업에 유의미한 결과만이 메인 추론 궤적으로 반환됩니다. 중간 과정의 관찰값과 상태 전달은 블록 내부에 숨겨진 채 유지됩니다.

이 접근 방식은 에이전트가 컴팩트하고 고수준인 궤적을 유지하면서도, 고립된 원자적 호출로는 표현하기 어려운 복잡하고 과업 특화적인 부분 도구(partial tools)를 구축할 수 있게 합니다.

2.2 데이터 합성 및 학습

모델에게 이 인터페이스를 활용하도록 가르치기 위해, 저자들은 3단계 파이프라인을 통해 지도 미세 조정(SFT) 데이터셋을 구축했습니다:

1. 조합적 과업 구축: 교사 모델(GLM-5.1)과 실제 MCP 환경을 사용하여, 진정한 다중 도구 조합(예: 교차 소스 제약, 로컬 필터링 및 집계)을 요구하는 과업을 생성했습니다.
2. 복구(Repair)를 포함한 궤적 롤아웃: 교사 모델이 HyperTool 궤적을 생성합니다. 시스템은 컨텍스트 압축(노이즈를 줄이기 위해 과거 도구 응답을 요약)과 로컬 복구(실패한 코드 블록의 구문 또는 스키마 오류를 자동으로 수정)를 사용하여 고품질의 데이터 생성을 보장합니다.
3. 검증: 궤적은 실행 정확성 필터링(런타임 에러 제거)과 증거 일관성 검증(LLM 판사를 사용하여 최종 답변이 도구 증거에 의해 뒷받침되는지, 선택적 보고가 발생하지 않았는지 확인)을 거칩니다.

최종 데이터셋은 Qwen3 모델(8B 및 32B 파라미터)을 미세 조정하는 데 사용되는 10,422개의 검증된 궤적으로 구성됩니다.

3. 주요 기여

1. 입도 제한의 식별: 본 논문은 지나치게 세분화된 단계별 도구 실행이 중간 관찰값과 의존성을 모델에 노출시켜 컨텍스트를 팽창시키고 추론을 파편화한다는 점을 밝혀냈습니다.
2. HyperTool 인터페이스: 기존 MCP 도구 스키마를 보존하면서도, 원자적 호출과 로컬의 결정론적 다중 도구 워크플로우를 단일 코드 블록 형식으로 표현할 수 있게 하는 통합 실행 가능 인터페이스를 제안합니다.
3. 검증된 학습 파이프라인: 모델이 단순히 어떤 도구를 호출할 것인가뿐만 아니라, 내부적으로 도구를 어떻게 조합하고 언제 결과를 메인 궤적에 노출할 것인가를 가르치는 HyperTool 형식의 궤적을 합성하고 검증하는 방법을 제시합니다.

4. 실험 결과

저자들은 네 가지 도메인(금융 분석, 리포지토리 관리, 위치 내비게이션, 웹 검색)에 대해 MCP-Universe 벤치마크에서 HyperTool을 평가했습니다.

• 성능 향상:
  • Qwen3-8B의 경우, 평균 정확도가 9.93%(베이스)에서 33.33%(HyperTool SFT)로 향상되었습니다.
  • Qwen3-32B의 경우, 평균 정확도가 15.69%(베이스)에서 35.29%(HyperTool SFT)로 향상되었습니다.
  • Qwen3-32B HyperTool 모델은 강력한 오프더쉘프(off-the-shelf) 에이전트 모델인 GPT-OSS(32.13%)와 Kimi-k2.5(34.17%)를 평균 정확도에서 앞질렀습니다.
• 토큰 효율성: HyperTool은 정확도를 높이면서도 글로벌 토큰 소비량을 크게 줄였습니다(예: 평균 816k vs 955k). 금융 분석 분야에서는 약 78% 적은 토큰을 사용하면서 정확도를 거의 두 배로 높였습니다(62.50% vs 32.50%).
• 실행 역학: HyperTool은 과업 능력과 컨텍스트 오버헤드를 분리했습니다. 원시 도구를 거의 두 배 더 많이 실행했음에도 불구하고(47.55 vs 26.92), 모델이 가시적으로 상호작용하는 턴 수는 줄어들어(21.76 vs 28.81) 컨텍스트 병목 현상을 효과적으로 우회했습니다.
• 오류 분석: 이 접근 방식은 "잘못된 도구 선택(Wrong tool selection)" 오류를 제거했으며(8.3%에서 0.0%로 하락), 실행 크래시를 크게 줄여 실패 모드를 주로 "조기 최종 답변(Premature final answer, 과잉 확신)"으로 전환시켰습니다.

5. 의의 및 주장

본 논문은 HyperTool이 에이전트가 단순히 어떤 도구를 호출할 것인가뿐만 아니라, 도구 실행이 노출되어야 하는 적절한 입도(granularity) 또한 학습해야 함을 보여준다고 주장합니다. 결정론적인 워크플로우를 실행 가능한 블록으로 접음으로써, HyperTool은 다음과 같은 효과를 거둡니다:

• 로컬의 결정론적 워크플로우(리트리벌, 필터링, 계산 등)를 메인 추론 궤적으로부터 격리하여 컨텍스트 팽창을 방지함으로써 다단계 도구 사용을 실질적으로 개선합니다.
• 에이전트가 로컬에서 임시 헬퍼 함수와 복잡한 데이터 처리 로직을 정의할 수 있도록 하여 표현력을 향상시킵니다.
• 고수준 계획에 대한 투명성을 유지하면서도 절차적 세부 사항을 내부화하여, 고수준 추론과 결정론적 실행 사이의 간극을 메웁니다.

저자들은 설계가 로컬 결정론적 서브루틴(리트리벌, 필터링, 계산)에 가장 적합하며, 베이스 모델의 코드 생성 능력에 의존한다는 점을 언급하며 한계를 인정했습니다. 또한 향후 연구를 통해 궤적의 다양성을 확장하고 미지의 워크플로우에 대한 일반화 능력을 개선할 수 있을 것이라고 제언했습니다.