When Tool-Backed Skill Retrieval Fails: Source-Style Collapse in Executable Capability Retrieval

기술 요약: 실행 가능한 기능 검색에서의 소스 스타일 붕괴 (Source-Style Collapse)

문제 정의: 소스 스타일 붕괴 (Source-Style Collapse)
본 논문은 대규모 에이전트가 외부 기능(구조화된 도구 및 API)에 접근하기 위해 검색에 점점 더 의존함에 따라 발생하는 핵심적인 실패 모드인 **소스 스타일 붕계(source-style collapse)**를 식별한다. 저자들은 특정 소스 기반의 벤치마크 슬라이스(예: ToolRet의 1,100개 쿼리 "ToolBench 스타일" 슬라이스)로 미세 조정된 검색기가 해당 매칭 트래픽에는 견고하게 작동하지만, 동일한 벤치마크 내의 다른 소스 정의 슬라이스(예: APIGen, ToolACE, UltraTool)에 적용될 경우 처참하게 붕괴된다는 것을 입증한다.

이 현상은 코퍼스나 태스크가 변하는 전통적인 도메인 시프트(domain shift)와는 구별된다. 여기서 도구 레지스트리는 정적이다. 실패는 오직 쿼리-도구 쌍의 소스 스타일 변화에 의해 유발된다. 소스 스타일은 쿼리 워딩, 장황함, 스키마 참조 패턴, 그리고 쿼리와 도구 사이의 특정 페어링 로직을 포함하여 상위 쿼리 생성 또는 주석 처리 프로세스에 의해 도입된 관습을 포괄한다. 본 논문은 쿼리와 골드(gold) 도구 간의 어휘적 중첩(lexical overlap)이 검색 가능성을 예측하지 못한다는 역설을 강조한다. 예를 들어, APIGen 쿼리는 훈련 슬라이스보다 골드 도구와의 어휘적 중첩도가 높음에도 불구하고, 미세 조정된 검색기는 APIGen에서 0.7%의 커버리지만을 달성한다.

방법론: ToolScout 및 소스 인식 라우팅 (Source-Aware Routing)
이를 해결하기 위해 저자들은 검색 게이트의 수문장 역할을 하도록 설계된 소스 인식 라우팅 방법인 ToolScout를 제안한다. 이 방법론은 세 가지 핵심 구성 요소로 이루어진다:

1. TF-IDF 지문을 통한 탐지: 저자들은 쿼리 측의 TF-IDF 거리가 의미론적 거리(예: BGE-M3)나 쿼리 길이보다 우수하고 가벼운 소스 스타일 불일치 탐지기 역할을 한다는 것을 확인했다. 유입되는 쿼리 배치의 TF-IDF 중심점과 훈련 소스의 중심점 사이의 코사인 거리를 계산함으로써, 시스템은 커버리지 붕괴를 일으킬 가능성이 있는 "안전하지 않은" 배치를 플래그할 수 있다.
2. 라우팅 정책: ToolScout는 이 TF-IDF 신호를 사용하여 트래픽을 라우팅한다. 배치가 "안전한" 대역(훈련 소스와의 거리가 낮은 경우)에 속하면, 특화된 미세 조정 검색기에 의해 처리된다. 만약 배치가 "안전하지 않은" 대역(거리가 높은 경우)에 속하면, 시스템은 여러 소스 스타일을 가로질러 일반화되는 광범ity 기반의 통합 훈련 체크포인트로 트래픽을 라우팅한다.
3. 퓨샷 복구 (Few-Shot Repair): 불일치하는 배치가 통합 체크포인트로 라우팅되면, 시스템은 매칭된 지도 학습 데이터(예: 텔레메트리 또는 프로바이더 온보딩으로부터의 데이터)를 수집할 수 있다. 이후 ToolScout는 특정 붕괴된 소스에 대해 짧은 연속 미세 조정(continuation fine-tuning) 단계를 트리거하여 남은 커버리지 격차를 회복한다.

또한 본 연구는 이러한 실패가 원시 API 스키마 포맷팅의 결과물이 아님을 검증한다. 도구들을 (기능, 조건, 입력, 효과에 집중한) 정규화된 "실행 가능한 스킬 카드"로 다시 렌더링하면서도 근본적인 검색 로직은 변경하지 않았을 때도, 동일한 붕괴 패턴과 라우팅 동작이 지속됨을 보여준다.

주요 결과
ToolRet 벤치마크와 StableToolBench를 중심으로 수행된 평가는 다음과 같은 정량적 결과를 도출한다:

• 붕괴 심각도: ToolBench 슬라이스(FT-1100)로 미세 조정된 검색기는 동일한 통합 벤치마크의 일부임에도 불구하고 APIGen에서는 0.7%, ToolACE에서는 0.0%, UltraTool에서는 **8.3%**의 커버리지로 급락한다.
• 탐지 성능: TF-IDF 기반 호환성 예측기는 의미론적 중심점 거리(73.7%)나 길이 기반 프록시보다 뛰어난 성능을 보이며, 저커버리지 전이 소스를 식별하는 데 있어 78.9%의 정확도(leave-one-config-out 방식)를 달了한다.
• 라우팅 효능: 4,996개의 쿼리로 구성된 혼합 스트림에서, TF-IDF 라우팅 정책을 적용하면 커버리지가 불일치하는 FT-1100 검색기를 사용할 때의 **22.3%**에서 **86.1%**로 증가하며, 이는 통합 훈련된 검색기의 성능(85.2%)에 효과적으로 부합한다.
• 미세 조정을 통한 복구: 5개의 붕계된 소스에 대해, 연속 미세 조정을 위한 단 20개의 매칭된 예시를 도입하는 것만으로도 커버리지 가중 글로벌 top-1 프록시를 1.3%에서 53.9%로 끌어올려, 통합 참조 성능에 근접하게 만든다.
• 깊이 및 확장성: 후보 뎁스(depth)를 높이면 커버리지는 개선되지만 글로벌 프록시에 대해서는 수확 체감의 법칙이 나타나며, 뎁스 20에서 정점을 찍는다. 단계적 검색(쿼리 분해)은 구성적 다중 의도 테일에 대해 미미한 개선을 제공하지만, 소스 인식 라우팅을 대체할 수는 없다.

의의 및 주장
본 논문은 신뢰할 수 있는 도구 사용 에이전트가 다운스트림 리랭킹, 플래닝 또는 실행이 일어나기 전, 근본적으로 신뢰할 수 있는 기능 검색에 의존한다고 주장한다. 만약 후보 생성 단계에서 골드 도구를 놓친다면, 어떤 다운스트림 구성 요소도 이를 복구할 수 없다.

저자들은 세 가지 주요 기여를 주장한다:

1. 실패 모드의 식별: 어휘적 중첩이 성능 저하를 설명하지 못하는 구체적인 검색 실패로서 "소스 스타일 붕괴"를 확립하며, 이질적인 에이전트 생태계에서 좁은 범위의 밀집 전문가(dense specialists)가 갖는 취약성을 강조한다.
2. 실패 조건의 특성화: 쿼리 측 TF-IDF 거리가 소스 스타일 불일치를 탐지하는 가장 강력한 경량 신호임을 입증하여, 저렴하고 효과적인 진단 도구를 제공한다.
3. 라우팅 솔루션의 검증: 소스 인식 라우팅 정책(ToolScout)이 특화된 검색기와 통합된 검색기 사이를 동적으로 전환하고 효율적인 퓨샷 적응을 수행함으로써 손실된 커버리지를 회 recover할 수 있음을 보여준다.

결론적으로, 모델 규모와 더 강력한 백본이 도움이 될 수는 있지만, 소스 적응의 필요성을 제거하지는 못한다. 제안된 라우팅 메커니즘은 에이전트가 다양한 문서 스타일을 가진 여러 프로바이더의 수천 개의 이질적인 도구 위에서 작동해야 하는 실제 배포 환경에서 높은 커버리지를 유지할 수 있는 실질적인 경로를 제공한다.