기술 요약: SynthTools

문제 제기

에이전트 시스템은 복잡하고 장기적인 과제를 해결하기 위해 외부 도구를 사용할 수 있어야 합니다. 그러나 현재 모델들은 신뢰할 수 있는 도구 사용에 어려움을 겪고 있으며, 이는 종종 훈련 데이터의 규모와 다양성 부족으로 귀결됩니다. 도구 사용 환경을 생성하는 기존 접근 방식은 다음과 같은 심각한 병목 현상에 직면해 있습니다:

• 실제 API: 진정성은 있지만, API 키, 속도 제한, 사용 할당량, 그리고 빈번한 인터페이스 변경으로 인해 확장하기 어렵습니다.
• 선별된 스위트: 수동으로 제작된 컬렉션 (예: ACEBench, $\tau^2$-bench) 은 도구의 수와 도메인 다양성이 제한적이며, 종종 소수의 광범위한 도메인만 다룹니다.
• 합성 생성: 확장성은 있지만, 많은 기존 합성 파이프라인은 프로그래밍 방식 시뮬레이션에 의존하여 도구의 복잡성을 단순한 CRUD 연산으로 제한합니다. 반면, LLM 기반 시뮬레이션은 아직 충분히 탐구되지 않았으며, 종종 결정론적 실행이 부족하거나 진화하는 실제 API 문서에 의존합니다.

더욱이, 대규모 도구 세트가 있더라도 조정된 다단계 추론이 필요한 현실적이고 비사소한 과제를 생성하는 것은 근본적인 병목 현상으로 남아 있습니다. 단순한 프롬프트는 종종 장기적인 계획이나 불확실성 하의 의사결정을 요구하지 않는 피상적인 시나리오를 만들어냅니다.

방법론

저자들은 도구 사용 환경 생성의 전체 수명주기 (생성, 시뮬레이션, 검증, 작업 구성) 를 아우르도록 설계된 완전히 LLM 기반 파이프라인인 SynthTools를 소개합니다. 이 프레임워크는 세 가지 핵심 모듈을 기반으로 구축되었습니다:

1. 상향식 환경 생성

단순한 API 목록을 생성하는 대신, SynthTools 는 도메인 기반 도구를 구축하기 위해 계층적 도메인 진화 절차를 사용합니다:

• 분야 $\to$ 하위 도메인: LLM 이 시드 분야 (예: 금융, 의료) 를 일관된 하위 도메인으로 분할하여 이해관계자와 개체를 도출합니다.
• 하위 도메인 $\to$ 작업: 모델은 문서화에 적합한 자연어 설명을 가진 작업 군을 제안합니다.
• 작업 $\to$ 도구: 각 작업에 대해 구체적인 도구가 인스턴스화됩니다. 생성 과정은 상류 의존성과 하류 affordance 를 명시함으로써 구성 가능성을 장려합니다.
• 출력: 각 도구는 이름, 자연어 설명, 매개변수 스키마, 그리고 I/O 계약 (전제 조건, 사후 조건, 오류 모드) 으로 정의됩니다. 이 접근 방식은 프로그래밍 환경에서 발견되는 단순한 CRUD 연산을 넘어선 복잡한 객체 유형과 목록을 포함한 맞춤형 복잡성을 허용합니다.

2. 환경 시뮬레이션 및 검증

신뢰성을 보장하기 위해, 프레임워크는 도구 행동을 시뮬레이션하고 LLM-as-a-Judge 를 사용하여 결과를 검증합니다:

• 시뮬레이션: 시뮬레이터는 실행을 매개변수 검증(구문 분석을 위한 AST 파싱 및 의미적 제약 조건을 위한 LLM) 과 응답 생성으로 분해합니다. 일관성을 보장하기 위해 메타데이터를 포함하여 응답을 조건화합니다 (예: 항공편이 가득 차면 "좌석 없음" 반환).
• 검증: LLM 판사는 도구 명세와 시뮬레이션된 응답을 평가합니다. 이는 불안정한 도구를 필터링하고 재시도를 지원합니다. 시스템은 낮은 위양성률을 목표로 하며, 잘못된 행동을 식별하는 데 97% 의 정확도를 달성합니다.
• 신뢰성: 파이프라인은 도구 응답을 시뮬레이션하는 데 94% 의 정확도를 달성하며, 신뢰할 수 있게 에뮬레이션할 수 없는 도구를 필터링합니다.

3. 하향식 작업 및 궤적 생성

상향식 도구 생성을 보완하여, 이 모듈은 검증된 도구 세트에서 작업을 구성합니다:

• 도구 체인 제안: 각 환경에 대해 LLM 이 후보 작업의 기본이 되는 순차적 도구 사용 체인을 제안합니다.
• 미니 작업 생성: 시스템은 미니 작업을 반복적으로 구성합니다. 각 단계마다 작업 설명과 정답 도구 호출을 생성하고, 에이전트의 실행을 정답과 비교하여 검증한 후 환경 상태를 업데이트합니다.
• 궤적 구성: 이러한 상호 의존적인 미니 작업을 체인링함으로써, 시스템은 명시적인 해결 궤적을 가진 복잡하고 검증 가능한 작업을 생성합니다.
• 조정 가능성: 난이도는 미니 작업의 수를 변경하고, 명시성과 모호성 사이의 균형을 조정하며, 관련은 없지만 그럴듯한 도구를 추가함으로써 제어됩니다.

주요 기여

• 확장 가능한 프레임워크: SynthTools 는 실제 API 나 수동 선별에 의존하지 않고 다양하고 제어 가능하며 복잡한 도구 사용 환경을 생성하는 완전 자동화 파이프라인입니다.
• 데이터셋 공개: 저자들은 다음으로 구성된 데이터셋을 공개합니다:
  • 6,800 개의 환경에 걸친 73,883 개의 검증된 도구.
  • 100 개의 고유한 분야 (예: 금융 거래, 운송 물류, 전자상거래).
  • 정답 궤적이 포함된 79,925 개의 검증 가능한 작업.
  • 이는 도메인당 도메인 및 도구 수 측면에서 기존 컬렉션 대비 2 배 이상의 규모 증가를 나타냅니다.
• 품질 관리: 프레임워크는 엄격한 시뮬레이션 및 검증 단계를 포함하여 높은 신뢰성 (94% 시뮬레이션 정확도, 97% 검증 정확도) 과 낮은 중복성 ($\tau=0.85$의 유사도 임계값을 초과하는 도구는 9% 만) 을 보장합니다.
• 중간 학습 사례 연구: 저자들은 생성된 궤적으로 Qwen3 모델 (0.6B, 1.7B, 4B) 을 중간 학습 (midtraining) 함으로써 데이터셋의 유용성을 입증했습니다.

결과

이 논문은 여러 에이전트 도구 사용 벤치마크에서 중간 학습된 Qwen3 모델을 평가합니다:

• 벤치마크: ACEBench, Berkeley Function Calling Leaderboard (BFCL), API-Bank.
• 성능 향상: 모든 모델 크기와 벤치마크에서 중간 학습된 모델은 기본 모델 대비 일관된 성능 향상을 보였습니다.
  • 예를 들어, 4B 모델의 경우 ACEBench(일반) 에서의 성능이 0.583 에서 0.651 로, BFCL(실시간) 에서 0.432 에서 0.538 로 향상되었습니다.
• 전이성: 실제 API 가 포함된 벤치마크 (API-Bank, BFCL Live) 에서의 향상은 합성 데이터로 훈련된 도구 사용 능력이 실제 세계의 API 스타일 상호작용으로 전이될 수 있음을 시사합니다.

중요성과 주장

저자들은 SynthTools 를 현재 에이전트 훈련 환경의 확장성과 다양성 격차를 해결하기 위한 필수 인프라로 위치시킵니다. 그들은 다음과 같이 주장합니다:

1. 합성 데이터의 타당성: 고품질 합성 도구 사용 궤적으로 훈련하는 것은 일반 사전 훈련과 하류 도구 사용 작업 간의 분포 격차를 효과적으로 메울 수 있습니다.
2. 확장성 달성: 이 프레임워크는 실제 API 나 선별된 접근 방식으로는 달성할 수 없는 규모와 도메인 범위로 도구 생태계를 생성할 수 있게 합니다.
3. 구조화된 생성의 중요성: 이 논문은 효과적인 작업 생성이 단순한 프롬프트가 아닌 구조화된 하향식 구성을 필요로 한다고 주장하며, 단순한 프롬프트는 종종 피상적이거나 근거 없는 시나리오를 만들어낸다고 지적합니다.

이 연구는 합성 상호작용 어휘가 도구 사용 AI 시스템을 발전시키는 데 핵심 요소이며, 대규모 훈련 및 평가를 위한 실용적인 자원을 제공한다고 시사합니다.