기술 요약: ToolWeave

문제 정의

대규모 언어 모델 (LLM) 이 자율 에이전트로 진화하는 데는 멀티턴 도구 호출에 크게 의존합니다. 이는 도구를 연결하고, 사용자 정보를 유도하며, 복잡한 워크플로우 전반에 걸쳐 상태를 유지하는 능력을 의미합니다. 합성 데이터로 미세 조정 (fine-tuning) 하는 것은 이러한 능력을 향상시키는 표준적인 접근 방식이지만, 기존 합성 데이터 생성 파이프라인 (예: ToolFlow, Magnet, ToolDial) 은 비현실적인 훈련 데이터를 생성하는 두 가지 근본적인 한계를 겪고 있습니다:

1. 의미론적 비연속성 워크플로우: 기존 방법들은 종종 표면적인 매개변수 이름이나 설명 매칭을 기반으로 에지를 추론하여 도구 그래프를 구성합니다 (예: create_support_ticket 와 cancel_movie_ticket 를 둘 다 ticket_id 매개변수를 가진다는 이유만으로 연결). 이로 인해 문법적으로는 호환되지만 의미론적으로 단절된 도구 시퀀스가 생성되며, 한 도구의 출력이 다른 도구를 의미 있게 구동하는 경우는 드뭅니다. 결과적으로 합성된 대화는 진정한 멀티스텝 상호작용이 부족합니다. 분석에 따르면 이전 파이프라인에서 생성된 대화의 7% 미만이 진정한 멀티스텝 턴을 포함하고 있습니다.
2. 매개변수 할루시네이션: 현재 접근 방식들은 일반적으로 LLM 에게 전체 대화나 계획을 한 번에 생성하도록 프롬프트를 입력하여 실행 구조를 암시적으로 만듭니다. 모델들은 생성 과정에서 인수의 출처 (매개변수가 사용자, 컨텍스트, 이전 도구 호출 중 어디에서 왔는지) 를 추론해야 합니다. 이는 사용자가 제공하지도 않았고 이전 도구 호출에서도 생성되지 않은 매개변수가 포함되는 할루시네이션된 인수가 높은 비율로 발생하게 만듭니다. 기존 접근 방식은 매개변수와 도구 이름에서 50% 를 초과하는 할루시네이션률을 보입니다.

방법론: ToolWeave 프레임워크

이러한 문제들을 해결하기 위해 저자들은 현실적인 멀티턴, 멀티스텝 도구 호출 대화를 합성하기 위한 모듈식 구조화된 프레임워크인 ToolWeave를 소개합니다. 엔드투엔드 생성과 달리 ToolWeave 는 워크플로우 의존성과 매개변수 출처를 강제하기 위해 합성을 네 개의 명확하고 검증 가능한 단계로 분해합니다.

1. 도구 그래프 합성기 (Tool Graph Synthesizer)

의미론적 유사성을 통해 사후적으로 연결을 추론하는 대신, ToolWeave 는 내재된 정보 흐름을 가진 도구를 합성하기 위해 반복적 커리큘럼을 사용합니다:

• 시드 생성 (Seed Generation): 핵심 도구의 최소 집합을 생성합니다.
• 엔티티 확장 (Entity Expansion): 위키백과와 위키데이터의 구조화된 지식을 활용하여 범위를 확장하고 비즈니스 규칙을 추론합니다 (예: recurring 이 true 일 경우 interval_days 를 필수로 설정).
• 스키마 풍부화 (Schema Enrichment): 중첩 객체, 열거형 (enums), 기본값을 통해 깊이를 더합니다.
• 연결 발견 (Connection Discovery): 표면적인 이름 매칭에 의존하는 대신 워크플로우를 가능하게 하는 연결 매개변수 (예: technician_id, equipment_id) 를 명시적으로 생성합니다.
  이 과정은 방향성 있는 에지가 명시적인 데이터 의존성을 나타내는 도메인별 도구 그래프를 산출합니다.

2. 구조화된 도구 그래프 샘플러 (Structured Tool Graph Sampler)

합성된 그래프를 바탕으로, 프레임워크는 의미 있는 사용자 목표와 정렬된 일관된 워크플로우를 샘플링합니다.

• 모티프 기반 샘플링 (Motif-Based Sampling): 무작위 보행 대신 ToolWeave 는 특정 구조적 모티프를 따르는 워크플로우를 샘플링합니다: 선형 (Linear) (순차적 의존성), 팬인/팬아웃 (Fan-in/Fan-out) (작업 전 데이터 집계), 조건부 (Conditional) (API 결과에 따른 분기).
• 목표 정렬 (Goal Alignment): 샘플링된 각 워크플로우에 대해 자연어 목표가 합성됩니다. LLM 판정자가 워크플로우와 목표 간의 호환성을 점수화합니다.
• 다양성 가지치기 (Diversity Pruning): 선형 워크플로우에 최대 변량 관련성 (MMR) 을 적용하여 유사한 목표를 제거함으로써 복잡한 상호작용 패턴을 유지하면서 작업 다양성을 보장합니다.

3. 구조화된 계획 생성기 (Structured Plan Generator)

이 단계는 모호성을 제거하기 위해 추론 부담을 대화 합성기에서 명시적인 계획 단계로 이동시킵니다.

• 도구 경로 분할 (Tool Path Partitioning): 도구 시퀀스를 일관된 대화 세그먼트를 나타내는 연속적인 그룹 (하위 목표) 으로 분할합니다.
• 하위 목표 합성 (Subgoal Synthesis): 각 그룹에는 자연어 하위 목표가 할당되며, 상호작용 행위 (사용자 요청, 어시스턴트 명확화, 도구 호출 등) 의 시퀀스로 실현됩니다.
• 매개변수 계획 (Parameter Planning): 핵심적으로, 계획자는 매개변수를 사용자 제공 또는 유도 가능 (이전 도구 출력 또는 기록에서) 으로 분류하여 매개변수 출처를 명시적으로 추적합니다. 이 명시적인 데이터 흐름 계획은 합성기가 인수 출처를 할루시네이션하는 것을 방지합니다.

4. 멀티 에이전트 대화 합성기 및 후처리

• 멀티 에이전트 합성: 계획 주도 프레임워크가 메모리, 도구, 상호작용 에이전트와 같은 전용 에이전트를 사용하여 계획을 자연어로 인스턴스화합니다. 메모리 에이전트는 턴 전반에 걸쳐 일관성을 보장하기 위해 상태를 유지합니다.
• 후처리: 견고성을 보장하기 위해 합성된 대화는 다음을 거칩니다:
  • 언어적 변형: 과적합을 방지하기 위한 재문장화.
  • 실패 주입: 실제 세계 API 오류를 시뮬레이션하기 위해 오류가 있는 도구 호출 및 복구 행동을 도입.
  • 스키마 마스킹: 표면 레이블이 아닌 풍부한 스키마에 대한 추론을 강제하기 위해 함수 이름을 일반 식별자로 대체.

주요 기여

1. 구조화된 합성 파이프라인: ToolWeave 는 워크플로우 의존성과 매개변수 출처를 명시적으로 모델링하는 검증 가능한 단계로 도구 호출 대화 합성을 분해한 최초의 프레임워크입니다.
2. 커리큘럼 주도 도구 생성: 도구를 추론하는 대신 내재된 데이터 의존성을 가진 도구들을 합성함으로써 ToolWeave 는 실제 API (예: RapidAPI) 나 원샷 생성에서 파생된 것보다 더 높은 구조적 복잡성과 연결성을 가진 도구 그래프를 생성합니다.
3. 할루시네이션의 현저한 감소: 세분화된 계획 단계는 기존 접근 방식의 약 53% 였던 매개변수 할루시네이션률을 거의 20% 로 줄였습니다.
4. 멀티스텝 상호작용 증가: 구조화된 접근 방식은 후속 호출이 이전 출력을 소비하는 진정한 멀티스텝 도구 상호작용의 prevalence 를 기준 데이터셋의 약 7% 에서 약 45% 로 증가시켰습니다.

실험 결과

저자들은 ToolFlow 와 ToolDial 로 훈련된 모델들과 비교하여 ToolWeave 데이터로 미세 조정된 모델들을 세 가지 공개 벤치마크인 BFCL-V3, API Bank, CONFETTI에서 평가했습니다.

• 성능 향상: ToolWeave 로 미세 조정된 LLM 은 이전 데이터셋으로 훈련된 모델들보다 일관되게 우수한 성과를 보였습니다. 특히 ToolWeave 로 미세 조정된 Llama-3.1-70B는 SOTA ToolFlow 데이터로 미세 조정되었을 때의 **23.50%**와 비교하여 BFCL-V3 멀티턴 벤치마크에서 **39.75%**의 정확도를 달성했습니다.
• 멀티스텝 추론: 개선은 멀티스텝 시나리오에서 가장 두드러졌습니다. ToolWeave 로 훈련된 모델은 기본 모델의 멀티스텝 정확도의 3.6 배를 달성한 반면, 기준 모델들은 복잡한 추론 체인에서 어려움을 겪었습니다.
• 합성 대 실제 API: 놀랍게도 ToolWeave 의 합성 API(GPT-5-mini 를 통해 생성됨) 로 훈련된 모델들은 실제 RapidAPI 스키마 (ToolWeave-R) 로 훈련된 모델들보다 더 나은 성과를 보였습니다. 이는 합성 데이터의 명시적 매개변수 의존성 구조가 노이즈가 많은 실제 세계 API 보다 더 깨끗한 훈련 신호를 제공함을 시사합니다.
• Ablation 연구: 세분화된 계획자를 제거하면 성능이 7.50% 로 붕괴되어 턴 수준의 계획이 결정적임을 확인시켰습니다. 마찬가지로 구조화된 샘플러를 무작위 보행으로 대체하면 정확도가 저하되어 모티프 기반 워크플로우 샘플링의 중요성을 검증했습니다.

중요성과 주장

이 논문은 합성 LLM 의 규모나 라이선스 상태보다 합성 파이프라인의 구조가 현실적인 멀티턴 도구 호출 능력의 더 중요한 동인이라고 주장합니다. ToolWeave 는 구조화되고 검증 가능한 프레임워크에 의해 안내될 때 오픈 가중치 모델 (예: GPT-OSS-120B) 이 최첨단 모델 주도 파이프라인보다 더 높은 품질의 훈련 데이터를 생성할 수 있음을 보여줍니다.

저자들은 복잡한 추론을 구조화된 단계로 외부화함으로써 ToolWeave 가 고품질 도구 호출 궤적의 신뢰할 수 있는 생성을 가능하게 한다고 결론지었습니다. 이 접근 방식은 워크플로우 일관성과 매개변수 출처에 엄격한 주의를 기울여 훈련 데이터가 합성될 경우, 오픈 가중치 모델이 도구 호출 성능에서 최첨단 모델과 경쟁하거나 능가할 수 있게 합니다. 이 연구는 에이전트 AI 의 미래 발전이 단순히 데이터 생성을 확장하는 데 덜 의존하고 데이터 합성 프로세스 자체의 구조적 엄격함에 더 의존함을 시사합니다.