기술 요약: NTILC (학습된 압축을 통한 신경망 도구 호출)

1. 문제 정의

LLM(대규모 언어 모델)에 의존하는 에이전트 시스템은 호출 가능한 API, 함수 및 로컬 액션의 방대한 레지스트리에 점점 더 의존하고 있습니다. 표준적인 방식인 **인컨텍스트 툴링(In-Context Tooling, ICT)**은 사용자 질의를 처리하기 전, 사용 가능한 모든 도구의 전체 텍스트를 프롬프트에 삽입합니다. 이 방법은 소규모 레지스트리에는 효과적이지만, 도구의 수($N$)에 따라 선형적으로($O(N)$) 증가하는 토큰 비용을 발생시킵니다.

레지스트리가 커짐에 따라 (예: 5,000개 이상의 도구), ICT는 세 가지 결정적인 한계에 직면합니다:

1. 컨텍스트 고갈: 도구 스키마(평균 약 120 토큰)가 컨텍스트 창을 빠르게 점유하여, 작업 특화 정보를 위한 공간을 거의 남기지 않습니다.
2. 지연 시간 및 비용: 거대한 컨텍스트 창을 처리하는 것은 프리필(prefill) 시간과 추론 비용을 증가시킵니다.
3. 선택 정확도 저하: 수많은 무관한 도구들("방해 요소")의 존재와 의미적 모호성(semantic blur)—즉, 도구들이 자연어 설명은 거의 동일하지만 실행 시그니처(예: 서로 다른 인자 타입)는 호환되지 않는 현상—로 인해 도구 선택 오류율이 높아집니다.

2. 방법론: NTILC

저자들은 선형적으로 확장되는 인컨텍스트 레지스트리 스캐닝을 외부의 학습된 잠재 표현 검색 단계로 대체하는 NTILC (Neural Tool Invocation via Learned Compression) 프레임워크를 제안합니다.

2.1 추론 파이프라인

NTILC는 전체 레지스트리를 프롬프트에 주입하는 대신 다음과 같이 작동합니다:

1. 의도 생성 (Intent Generation): 백본 LLM($M$)이 사용자 질의($\chi$)를 받아 자연어 도구 의도가 포함된 계획 블록($P$)을 생성합니다.
2. 인코딩 (Encoding): 전용 인코더($E$)가 이러한 의도를 학습된 임베딩 공간으로 매핑합니다.
3. 잠재 검색 (Latent Retrieval): 사전 구축된 오프라인 도구 인덱스($V$)에 대해 최근접 이웃 탐색(NNS)을 수행하여 가장 관련성이 높은 도구 클러스터 식별자($\hat{t}$)를 검색합니다.
4. 제약 생성 (Constrained Generation): 검색된 도구의 스키마가 LLM에 전달됩니다. Outlines 라이브러리를 사용하여 유한 상태 기계(FSM)가 모델의 출력 어휘를 제한함으로써, 생성된 인자가 구문론적으로 유효하고 선택된 도구의 시그니처를 엄격히 준수하도록 보장합니다.
5. 실행 (Execution): 디스패처가 도구를 실행하고 그 결과를 LLM에 반환하여 최종 응답 합성을 수행합니다.

이 접근 방식은 레지스트리를 컨텍스트 창 내의 텍스트가 아닌 임베딩 인덱스로 외부화함으로써, 레지스트리 프롬프트 토큰 비용을 $O(N)$에서 $O(1)$로 줄입니다.

2.2 학습 목표

핵심 과제는 도구들이 의미적으로 유사하지만 기능적으로는 호환되지 않는 의미적 모호성을 해결하는 것입니다. NTILC는 인코더($E$)를 위한 복합 학습 목표를 통해 이를 해결합니다:

1. 서클 로스 (Circle Loss): 일반적인 쿼리-도구 정렬을 위해 사용되며, 쌍별 유사도에 가중치를 부여하여 검색 결정 경계 근처에 그래디언트 신호를 집중시킵니다.
2. 기능적 마진 (Functional Margin, FM) 로스: 의미적으로는 유사하지만 기능적으로 호환되지 않는 도구들을 분리하기 위해 설계된 새로운 로스 항입니다.
   • 이는 인자 이름, 타입 및 반환 스키마의 교집합을 기반으로 호환성 점수($compat$)를 계산합니다.
   • 기능적으로 불호환되는 부정 쌍(negative pairs)에 대해 척력 가중치($w_{ij}$)를 할당합니다.
   • "하드 네거티브"(의미적으로는 가깝지만 기능적으로는 구별되는 도구들)에 대해 특정 마진 페널티를 적용하여, 이들을 임베딩 공간에서 밀어냅니다.

전체 목적 함수는 $L_{dispatch} = \lambda_1 L_{circle} + \lambda_2 L_{FM}$ 입니다.

3. 주요 기여

1. 프레임워크 혁신: 도구 레지스트리를 학습된 임베딩 인덱스로 외부화하여 에이전트의 역량을 프롬프트 길이에 종속되지 않게 함으로써, 레지스트리 프롬프트 토큰을 $O(N)$에서 사실상 0으로 줄이는 NTILC를 도입했습니다.
2. 기능적 마진 로스: 의미적으로는 유사하지만 기능적으로는 별개인 도구들 사이의 구분을 명시적으로 강제하여 "의미적 모호성" 문제를 직접 해결하는 시그니처 인식 로스 함수를 제안했습니다.
3. 포괄적 평가: 다양한 레지스트리 크기에 따른 성능을 입증하기 위해 5개의 공개 데이터셋(ToolBench, BFCL, API-Bank, MetaTool, ToolEyes)을 통해 평가를 수행했습니다.

4. 실험 결과

저자들은 공개 데이터셋을 통해 ICT 베이스라인(Qwen3-27B, Ministral 3, Kimi Moonlight, 그리고 ChatGPT 5 및 Claude Sonnet 4.6와 같은 폐쇄형 모델 포함)에 대해 NTILC를 평가했습니다.

• 컨텍스트 감소: NTILC는 컨텍스트 창 소비를 95% 이상 줄입니다. 5,000개의 도구 레지스트리의 경우, ICT는 약 600,000개의 입력 토큰이 필요하지만, NTILC는 의도와 선택된 스키마만 필요합니다 (<5,000 토큰).
• 지연 시간: NTILC는 롱 컨텍스트 ICT 베이스라인(예: ToolBench) 대비 지연 시간을 최대 74% 단축했습니다 (ToolBench 기준, 지연 시간이 5,663ms에서 1,452ms로 감소).
• 정확도: NTILC는 Top-1 및 Top-5 정확도에서 최첨단 ICT 모델들과 대등한 성능을 유지합니다.
  • ToolBench에서 NTILC는 레지스트리 프롬프트 토큰이 0인 상태에서 98%의 Top-1 정확도를 달밀했습니다.
  • 의미적 모호성 하위 집합에서, 기능적 마진 로스의 포함은 Semantic-Blur 정확도를 70.8%(Circle Loss만 사용 시)에서 **75.0%**로 향상시키는 동시에, 기능적 오류율을 **8.7%**로 낮추었습니다.

5. 의의 및 주장

본 논문은 NTILC가 도구 레지스트리가 반드시 컨텍스트 창 안에 존재할 필요는 없다는 것을 보여준다고 주장합니다. 레지스트리를 압축된 임베딩 인덱스로 이동함으로써, 이 프레임워크는 다음을 실현합니다:

• 역량을 컨텍스트 길이로부터 분리: 도구 레지스트리가 확장되어도 에이전트 성능이 더 이상 저하되지 않습니다.
• "의미적 모호성" 문제 해결: 기능적 마진 로스를 통해, 모델은 텍스트적으로는 유사하지만 기능적으로는 구별되는 도구들을 구별하는 법을 학습하며, 이는 일반적인 시맨틱 검색에서 흔히 발생하는 실패 모드입니다.
• 확장성 확보: 이 접근 방식은 과도한 토큰 비용이나 지연 시간 페널티 없이 방대한 도구 레지스트리를 가진 에이전트를 배포할 수 있게 합니다.

저자들은 NTILC가 오프라인 인덱싱을 필요로 하며, 빈번한 재인덱싱 없이는 매우 동적이거나 상태 의존적인 도구 문서화에 어려움을 겪을 수 있다는 한계점을 언급했습니다. 또한, NTILC가 선택 효율성은 개선하지만, 안전 및 정책 집행(예: 허용 목록)은 디스패치 메커니즘과 결합되어야 하는 별개의 관심사임을 강조했습니다.