기술 요약: 도구 스키마 압축은 제한된 컨텍스트 예산 하에서 에이전트형 RAG 를 가능하게 함

문제 제기

에이전트형 검색 증강 생성 (RAG) 시스템은 치명적인 자원 충돌에 직면해 있습니다: 검색 증강 생성에 필요한 컨텍스트 창이 에이전트의 기능 수행에 필수적인 도구 정의에 의해 소모됩니다. 실제 생산 환경에서 에이전트는 종종 20100 개 이상의 도구 정의를 필요로 하며, 이는 일반적으로 장황한 JSON 스키마 객체로 표현됩니다. 이러한 스키마는 도구당 300500 토큰을 소모합니다. 결과적으로, 8K 토큰과 같은 modest한 컨텍스트 예산 하에서 도구가 28 개만 있더라도 스키마 블록만 (~11,000 토큰) 컨텍스트 창을 완전히 초과합니다. 이러한 "컨텍스트 오버플로우"는 검색 청크, 시스템 프롬프트, 또는 대화 기록을 위한 예산을 전혀 남기지 않아 RAG 시스템을 작동 불가능하게 만듭니다.

기존 프롬프트 압축 연구는 주로 자연어를 대상으로 하여, 기계가 읽을 수 있는 도구 정의에 필요한 구조적 불변성 (구문, 매개변수 유형, 열거형) 을 다루지 못했습니다. furthermore, 이전 연구는 에이전트 워크플로우에서 스키마 크기와 검색 성능 간의 트레이드오프를 체계적으로 평가하지 않았습니다.

방법론

저자들은 엄격한 실험 설계를 활용한 에이전트형 RAG 의 도구 스키마 압축에 대한 최초의 통제된 연구를 제시합니다:

• 벤치마크: 목적에 맞게 구축된 "NovaTech-28" 벤치마크로, 데이터베이스, 문서 검색, 계산, 통신 분야의 28 개 도구 정의와 단일 홉, 다중 홉, 도구 필요 등 다섯 가지 범주의 100 개 질문을 포함합니다. 검색 코퍼스는 40 개의 청크 (각각 350 토큰) 로 구성됩니다.
• 압축 기법: 본 연구는 JSON 스키마 구문을 유지하면서 44~50% 의 토큰 절약을 달성하는 결정론적 규칙 기반 압축 방법인 TSCG(Tool-Schema Compression Generator) 를 사용합니다.
• 실험 범위:
  • 모델: 로컬 환경의 1.5B~32B 파라미터 모델 14 개와 최첨단 API 모델 1 개 (Claude Sonnet 4) 포함.
  • 컨텍스트 예산: 8K, 16K, 32K 토큰의 세 가지 수준.
  • 규모: 6,566 건의 통제된 API 호출.
  • 설계: 동일한 질문과 동일한 모델을 사용하되, 스키마 형식 (JSON 대 TSCG) 과 이에 따른 컨텍스트 예산 할당만 변형하는 짝지어진 비교.
• 지표: 주요 지표는 정확 일치 (EM) 와 토큰 F1 입니다. 보조 지표로는 도구 선택 정확도와 컨텍스트 오버플로우 감지가 포함됩니다. 통계적 유의성은 윌콕슨 부호 순위 검정과 부트스트랩 신뢰 구간을 통해 평가됩니다.
• 검증: HotpotQA(50 개의 다중 홉 질문) 에 대한 외부 검증과 200K 컨텍스트 창을 사용한 최대 800 개 도구까지의 최첨단 확장 테스트.

주요 결과

1. 제한된 예산에서의 이진적 가능화 (8K)

28 개의 도구가 있는 8K 컨텍스트 예산에서 압축되지 않은 JSON 스키마는 100% 컨텍스트 오버플로우를 일으켜, 평균 정확 일치 (EM) 점수가 거의 0(평균 2.6%) 이 됩니다.

• 압축의 효과: TSCG 압축을 적용하면 스키마 토큰을 약 50% 줄여 최소 하나의 검색 청크를 수용할 수 있는 공간을 확보합니다.
• 성능 향상: 기능성 회복으로 인해 8K 에서 테스트된 여덟 개의 모델 전반에 걸쳐 평균 EM 이 +20.5 퍼센트 포인트 (pp) 급증했습니다. "완전한 가능화"를 보인 모델들은 평균 +24.7 pp의 향상을 보였습니다.
• 메커니즘: 이 성취는 전체 실패 상태 ($k=0$ 청크) 에서 기능적 상태 ($k \ge 1$ 청크) 로 시스템을 전환함으로써 컨텍스트 활용 곡선의 가장 가파른 부분을 포착한 데 기인합니다.

2. 예산 주도 효과 대 형식 고유 효과

• 16K 예산: 두 형식 모두 오버플로우 없이 수용됩니다. TSCG 는 약 26 개의 청크를 허용하는 반면 JSON 은 약 9 개만 허용합니다. 검색 컨텍스트가 3 배 증가했음에도 정확도 차이는 미미합니다 (중앙값 $\Delta$EM = -1 pp). 이는 8K 에서의 성취가 압축 형식의 고유한 우월성이 아닌, 순수한 예산 재할당 때문임을 확인시켜 줍니다.
• 32K 예산: 두 형식 모두 40 개의 청크를 여유 있게 수용합니다. 다섯 개 모델 중 네 개가 $\Delta$EM $\le$ 1 pp 를 보여, 예산 제약이 제거되면 압축 형식이 정확도에 유의미한 영향을 미치지 않음을 확인합니다.

3. 외부 검증 및 확장

• HotpotQA: 독립적인 데이터셋에서 TSCG 는 JSON 스키마가 완전히 실패한 8K 컨텍스트 환경에서 +48 pp EM 향상을 가능하게 했습니다.
• 최첨단 확장: 200K 컨텍스트에서 Claude Sonnet 4 를 사용한 테스트 결과, JSON 스키마는 약 494 개 도구에서 오버플로우가 발생하여 시스템 전체가 실패했습니다. 반면 TSCG 스키마는 800 개 도구를 넘어서도 작동하여 운영 범위를 63% 확장했습니다.

4. 실패 모드 및 분석

• 산만 요소 희석: 16K 에서 작은 모델 ($\le$8B 파라미터) 의 경우, TSCG 를 통해 더 많은 청크를 제공하는 것이 때때로 정확도를 저하시켰습니다. 저자들은 이를 "산만 요소 희석"으로 귀결하며, 제한된 주의 용량이 관련 없는 컨텍스트에 압도되어 "중간에서 분실 (lost in the middle)" 현상을 반복한다고 설명합니다.
• 컨텍스트 활용 모델: 저자들은 $C(k) = C_{max}(1 - e^{-\lambda k}) + C_0$라는 기술 모델을 적합시켜, 첫 번째 검색 청크에서의 한계 이득이 가장 크고 이후에는 체감한다고 보였습니다. 이는 8K 에서 단 하나의 청크만 회복해도 불균형적으로 큰 정확도 향상을 가져오는 이유를 설명합니다.

중요성과 주장

본 논문은 도구 스키마 압축을 선택적인 비용 최적화에서 제한된 컨텍스트 배포 환경의 에이전트형 RAG 를 위한 필수 인프라 계층으로 재정의합니다.

• 범주적 가능화: 주요 기여는 "이진적 가능화" 효과의 발견입니다. 압축 없이는 8K 에서의 에이전트형 RAG 는 근본적으로 고장 난 상태 (거의 0 에 가까운 성능) 이지만, 압축을 통해 기능적으로 작동 가능해집니다. 이는 작동할 수 없는 시스템과 점진적으로 개선될 수 있는 시스템 사이의 범주적 차이입니다.
• 무손실 충실도: 본 연구는 TSCG 압축이 실제로 무손실임을 입증합니다. 컨텍스트 예산이 충분할 때 (32K), 압축된 스키마와 압축되지 않은 스키마는 동일한 정확도를 보여주어 압축이 정확도 아티팩트를 도입하지 않음을 증명합니다.
• 확장성 필요성: 도구 수가 생산 환경에서 증가함에 따라 (예: MCP 배포), 스키마 압축은 컨텍스트 오버플로우를 방지하기 위한 실용적 필요성이 되며, 큰 컨텍스트 창에서도 유효한 도구 수를 60% 이상 확장합니다.

저자들은 로컬 모델 배포 및 제한된 환경에서 도구 스키마 압축은 단순한 성능 튜닝이 아니라 검색 증강 추론을 가능하게 하는 전제 조건이라고 결론지었습니다. 모든 코드, 데이터, 체크포인트는 공개되어 있습니다.