The Bitter Lesson of Tool Calling

기술 요약: 도구 호출의 쓰라린 교훈 (The Bitter Lesson of Tool Calling)

문제 정의
대규모 언어 모델(LLM)은 외부 도구를 API를 통해 호출하는 에이전트로서의 기능을 점점 더 강화하고 있다. 현재 업계 표준은 모델이 각 함수 호출을 위해 구조화된 JSON 객체를 생성하도록 요구한다. CodeAct와 같은 기존의 이론적 연구는 실행 가능한 코드가 다중 도구 시나리오에서 이점을 제공한다는 점을 시사해 왔으나, 프로그래밍 방식의 도구 호출(PTC)과 네이티브 JSON 도구 호출을 체계적으로 비교하는 경험적 평가 연구는 부족한 실정이었다. 특히, 순차적 체이닝(sequential chaining), 높은 병렬 팬아웃(high parallel fan-out), 그리고 적대적 컨텍스트 부하(adversarial context loads)와 같은 실제 환경의 제약 조건 하에서도 PTC가 JSON 성능을 따라잡거나 능가할 수 있는지 여부는 아직 검증되지 않았다.

방법론
저자들은 8개의 작업 범주에 걸친 BFCL v4 벤치마크의 대표적인 309개 항목 서브셋을 대상으로 통제된 평가를 수행했다. 본 연구에는 2024년 11월부터 2026년 7월 사이에 출시된 Anthropic 및 OpenAI의 14개 언어 모델이 포함되었다.

두 가지 주요 패러다임이 비교되었다:

1. JSON 도구 호출 (JSON Tool Calling): 모델이 API 엔드포인트를 통해 구조화된 JSON 객체를 생성하는 표준 방식.
2. 프로그래밍 방식 도구 호출 (PTC): 모델에게 함수 스키마에 대응하는 타입이 지정된 Python 스텁(stubs)이 제공된다. 모델은 이 스텁들을 임포트하여 필요한 호출을 실행하는 Python 스크립트를 작성한다. 스크립트는 네이티브 셸 서브프로세스에서 실행되며, 점수 산정을 위해 stdout을 캡처한다. 이 설계는 PTC와 JSON 호출이 항목당 소비하는 LLM 추론 턴(inference turns) 수를 동일하게 유지하도록 보장한다.

평가는 JSON 도구 호출의 알려진 한계를 겨냥한 세 가지 특정 절제 연구(ablation studies)를 포함했다:

• 체이닝 (Chaining): 순차적인 다중 홉(multi-hop) 호출 (체인 길이 2~20).
• 병렬성 (Parallelism): 독립적인 팬아웃 호출 (개수 7~48, 최대 100개의 프로브 포함).
• 컨텍스트 부패 (Context Rot): 컨텍스트 노이즈에 대한 견고성을 테스트하기 위해 128개의 총 함수 스키마(디코이/미끼 포함)를 주입하는 "플러드(flood)" 조건.

정확도는 구두점 제거 및 소문자 변환 과정을 거쳐 모델의 출력을 정답 함수 호출과 결정론적으로 일치시킴으로써 측정되었다.

주요 결과
연구 결과, PTC는 JSON 도구 호출에 대한 실행 가능하며 종종 더 우수한 대안임을 확인했으며, 성능은 모델의 패밀리보다는 모델의 세대(generation)와 밀접하게 상관되어 있었다.

• 전반적인 성능: 주요 BFCL v4 서브셋에서 14개 모델 중 11개 모델이 PTC를 사용할 때 JSON 도구 호출의 정확도와 일치하거나 이를 능가했다. GPT-5.6 제품군은 가장 큰 이득을 얻었으며, GPT-5.6-Sol과 GPT-5.6-Terra는 JSON 베이스라인 대비 10.6%의 절대적 개선을 보여주었다.
• 모델 세대 격차:
  • Anthropic 모델: 테스트된 5개 모델(Haiku 4.5부터 Sonnet 5까지) 모두 모든 조건에서 JSON 베이스라인과 일치하거나 이를 상회했다.
  • OpenAI 모델: 가장 최신인 3개의 GPT-5.6 변형 모델들은 JSON 베이스라인보다 뛰어난 성능을 보였다. 그러나 이전 모델인 GPT-4o, GPT-4.1, GPT-5.4-mini는 PTC 하에서 성능이 현저히 저하되었다(19.7%에서 26.9% 하락). 저자들은 이를 모델이 멀티라인 스크립트에서 실제 줄바꿈 대신 리터럴 \n 이스케이프 시퀀스를 출력하여 서브프로세스에서 구문 오류를 일으키는 특정 실패 모드 때문이라고 분석했다.
• 체이닝 절제 연구: PTC는 순차적 작업에서 뚜렷한 이점을 보였으며, 체인 길이가 길어질수록 정확도 격차가 벌어졌다. 체인 길이 12 이상에서 PTC는 JSON 대비 18.8%의 절대적 우위를 달성했다. 이는 PTC가 중간 값을 위한 파라메트릭 지식을 사용하여 단일 턴 내에서 호출을 해결하는 반면, JSON은 각 링크마다 추가적인 추론 턴을 필요로 하기 때문이다.
• 병렬성 절제 연구: PTC는 14개 모델 중 13개에서 JSON과 대등하거나 더 나은 성능을 보였다. 특히, Anthropic 모델의 경우 JSON 도구 호출에서 엄격한 구조적 한계가 관찰되었다. Claude Sonnet 5는 팬아웃 N=72에서 호출 누락이 시작되었으며, N=100에서는 열거(enumeration) 정확도가 0%에 도달했다. 반면 PTC는 N=100에서도 100%의 열거 정확도를 유지했다.
• 컨텍스트 부패 절제 연구: 컨텍스트 플러딩 상황에서도 PTC는 안정성을 유지하며, 필터링된 조건과 비교해 평균 5.5%의 절대적 개선을 보였다. 반면, JSON 도구 호출은 평균 2.3% 저하되었다. 참조용으로 사용된 파일 시스템 기반 탐색 방식은 32% 저하되어, PTC의 적대적 컨텍스트 부하에 대한 견고성을 입증했다.

의의 및 주장
본 논문은 여러 모델 패밀리와 세대에 걸쳐 네이티브 JSON 도 호출과 프로그래밍 방식 도구 호출을 비교하는 최초의 체계적이고 표준화된 벤치마크 평가를 제공한다고 주장한다.

저자들은 다음과 같이 결론지었다:

1. 실행 가능성: 프로그래밍 방식 도구 호출은 JSON의 강력한 대안이며, 테스트된 대다수의 모델에서 베이스라인과 일치하거나 이를 능가한다.
2. 세대 의존성: PTC의 성공은 모델 세대의 역량에 달려 있다. 최신 세대(특히 GPT-5.6 및 최근의 Anthropic 모델들)는 올바른 멀티라인 코드를 생성하는 능력을 내재화한 반면, 이전 세대들은 포맷팅 제약(예: 줄바꿈 처리)으로 인해 어려움을 겪는다.
3. 구조적 이점: PTC는 복잡한 작업을 위한 본질적인 구조적 이점을 제공한다. 이는 순차적 턴의 지연 시간을 제거하고, 고도의 병렬 팬아웃 발생 시 JSON 도구 호출을 실패하게 만드는 토큰 수 및 직렬화 제한을 제거한다.
4. 실질적 시사점: 모델 세대가 진보함에 따라, "쓰라린 교훈"은 유능한 코드 작성 모델에게 경직된 JSON 구조를 사용하는 것이 최선이 아닐 수 있음을 시사한다. 이러한 모델들은 프로그래밍 방식 실행을 활용하여 도구 사용의 충실도를 높일 수 있기 때문이다.

한계점
저자들은 네 가지 주요 한계를 언급했다:

1. 본 벤치마크는 실제 API 호출 대신 에코-리턴(echo-return) 스텁을 사용하여, 엔드 투 엔드 실행의 정확성보다는 인자 직렬화 정확도를 측정한다.
2. 절제 연구의 샘플 크기가 작으므로(n=31–52), 개별 모델 결과는 통계적으로 확정적이라기보다 방향성을 제시하는 것으로 간주되어야 한다.
3. LLM 판정자와 인간 평가자 사이의 불일치가 보고된 바 있어, 벤치마크의 정답(ground truth)에 노이즈가 포함될 수 있다.
4. PTC는 시스템 프롬프트에 전체 Python 스텁을 포함해야 하므로 고정된 입력 토큰 오버헤드가 발생한다. 이는 낮은 팬아웃 작업에서는 JSON보다 비효율적일 수 있으나, 높은 팬아웃에서는 이 관계가 역전된다.