기술 요약: GENESISFUNC

문제 제기

동적 환경과 상호작용할 수 있는 능동적 에이전트로서의 대규모 언어 모델 (LLM) 의 발전은 **함수 호출 (FC)**에 크게 의존합니다. 그러나 해당 분야는 고품질, 다양성, 그리고 광범위한 대표성을 갖춘 학습 데이터의 부족이라는 치명적인 병목 현상에 직면해 있습니다.

• 실제 데이터의 한계: 실제 함수 호출 데이터를 수집하고 주석하는 것은 비용이 많이 들고 노동 집약적이며, 종종 모호한 사용자 의도, 다중 턴 상호작용, 그리고 급변하는 환경의 복잡성을 포착하지 못합니다.
• 합성 데이터의 한계: 기존 합성 FC 데이터 생성 자동화 파이프라인은 신뢰할 수 없는 API, 제한된 도구 확장성, 불충분한 다양성 (종종 단일 턴 또는 고립된 호출에 집중), 그리고 약한 품질 관리로 고통받고 있습니다. 이러한 한계는 도구 증강 LLM 의 일반화 능력과 견고성을 제한합니다.

방법론: GENESISFUNC 파이프라인

이러한 도전 과제를 해결하기 위해 저자들은 정확하고 다양하며 시나리오가 풍부한 FC 학습 데이터를 생성하도록 설계된 자동화된 3 단계 파이프라인인 GENESISFUNC를 제안합니다. 이 파이프라인은 공개 벤치마크의 신뢰할 수 있는 도구를 기반으로 구축되었으며, 품질과 다양성을 보장하기 위해 다중 에이전트 프레임워크를 활용합니다.

1. 도구 풀 (Tool Pool) 구축

수동으로 구축되거나 신뢰할 수 없는 합성 API 에 의존하는 대신, GENESISFUNC 는 BFCL(Berkeley Function-Calling Leaderboard) 벤치마크에서 직접 수집된 1,000 개의 도구로 구성된 도구 풀을 큐레이션합니다.

• 프로세스: 2 단계 필터링 프로세스가 사용됩니다. 먼저 GPT-4o 가 의미적 클러스터링을 수행하여 중복되거나 매우 유사한 도구를 제거합니다. 그 다음 경량 인간 검증을 통해 정확성과 사용 가능성을 보장합니다.
• 목표: 이를 통해 기반 API 가 신뢰할 수 있고, 여러 실제 도메인을 포괄하며, 실제로 접근 가능하도록 보장하여 데이터 생성을 위한 견고한 기반을 마련합니다.

2. 다중 에이전트 대화 생성

이 모듈은 다양한 시나리오 (단일 턴, 다중 턴, 특수 사례) 를 아우르는 대화를 합성하기 위해 조정된 다중 에이전트 프레임워크를 활용합니다. 시스템은 4 개의 고유한 에이전트 (LLM 기반, 주요 구현체에서는 구체적으로 Gemini-2.5 Pro 사용) 를 활용합니다.

• 샘플 에이전트: 풀에서 도구 하위 집합을 선택하여 의미적으로 유사한 도구들을 그룹화하고 목표물로 삼으며, 관련성 수준이 다양한 방해 요소를 선택하여 모델이 관련 도구와 무관한 도구 사이에서 구별하도록 강제합니다.
• 메모리 에이전트: 과거 대화 인스턴스와 그 의미적 컨텍스트 유형을 기록합니다. 생성기가 보지 못한 의미 유형을 가진 대화를 생성하도록 유도하기 위해 역사를 요약하여 의미적 다양성을 향상시킵니다.
• 함수 에이전트: 사용자 쿼리를 해결하기 위해 특정 도구를 선택하고 매개변수를 추출합니다. 핵심적으로, 슬롯 선택 전략을 사용하여 선택적 매개변수의 하위 집합을 무작위로 선택하여 인스턴스화합니다. 이는 경직된 전체 매개변수 호출 대신 다양하고 현실적인 도구 호출을 생성합니다.
• 판단 에이전트: 한 라운드에서 생성된 여러 후보 대화를 평가하여 문제의 중요성과 도구의 적절성에 기반하여 최상의 것을 선택하며, 위치 편향을 통제합니다.

대화 생성 시스템은 사용자 에이전트와 어시스턴트 에이전트를 조율하여 다음을 생성합니다.

• 단일 턴 및 다중 턴 대화: 단일 작업 및 다중 작업 설정을 모두 포괄합니다.
• 특수 사례: 관련성 확인 (불일치 도구) 및 오류 감지 (잘못된 매개변수) 와 관련된 시나리오입니다.

3. 다단계 평가

합성 데이터의 정확성을 보장하기 위해 엄격한 3 단계 평가 프로세스가 적용됩니다.

1. 규칙 체커: 도구를 실행하지 않고 도구 정의, 호출 형식, 매개변수 유형, 대화 구조에 대한 정적 규칙 기반 준수 검사를 수행합니다.
2. 모델 체커: GPT-4o 를 사용하여 정적 규칙을 넘어선 의미적 품질, 작업 완료, 충실도를 평가합니다. 신뢰도 점수가 임계값 (0.75) 이상인 샘플만 유지됩니다.
3. 인간 검증: 자동화된 검사를 통과하지 못하거나 신뢰도가 낮은 나머지 약 5% 샘플에 대한 표적 인간 검토입니다. 이 단계는 올바른 실행을 방해하는 오류나 고영향 함수의 오류에 초점을 맞춥니다.

주요 기여

1. GENESISFUNC 파이프라인: 고품질 FC 학습 데이터 생성을 위한 자동화된 엔드 투 엔드 파이프라인의 도입입니다. 이는 신뢰할 수 있는 벤치마크 기반 도구와 다중 에이전트 대화 생성 시스템, 그리고 다단계 평가 모듈을 독창적으로 결합합니다.
2. 고품질 데이터셋: 정확하고 다양하며 실제 시나리오 (다중 턴 및 다중 작업 상호작용 포함) 를 포괄하는 데이터셋 구축입니다. 저자들은 하류 도구로의 강력한 확장성을 입증하여 파이프라인의 실용적 적용 가능성을 증명했습니다.
3. 최첨단 성능: 이 데이터셋을 사용하여 Qwen3-8B를 미세 조정하여 (GENESISFUNC-8B) 달성한 성능입니다. 이 모델은 유사한 크기의 오픈소스 모델보다 우수한 성과를 거두었으며, 독점 API 기반 모델과도 높은 경쟁력을 유지합니다.

실험 결과

저자들은 GENESISFUNC-8B 를 세 가지 널리 사용되는 벤치마크인 BFCL(도메인 내), API-Bank, 그리고 ACEBench(도메인 외) 에서 평가했습니다.

• 도메인 내 (BFCL): GENESISFUNC-8B 는 Non-Live 분할에서 **93.31%**의 전체 정확도를, Live 분할에서 **83.78%**의 정확도를 달성했습니다. 이는 동급 규모의 오픈소스 베이스라인 (예: ToolACE-8B, LLaMA-3.1-8B) 을 능가했으며, 더 큰 모델 (예: Qwen3-32B) 을 능가하거나 그 수준에 도달했습니다. 특히 Non-Live 분할에서 GPT-4o-mini 와 같은 API 기반 모델의 성능을 초과했습니다.
• 도메인 외 (API-Bank 및 ACEBench): 이 모델은 64.79% (API-Bank) 및 83.67% (ACEBench) 를 달성하여 강력한 일반화 능력을 입증했습니다. 이러한 결과는 이전 오픈소스 SOTA 대비 상당한 상대적 향상을 나타내며, GPT-4o-mini 및 Gemini-1.5-Pro 와 동등한 성능을 보입니다.
• 절대 실험 (Ablation Studies):
  • 판단 에이전트 또는 메모리 에이전트를 제거하면 명확한 성능 저하가 발생하여 정확도 제어 및 다양성 향상의 필요성을 검증했습니다.
  • 슬롯 선택: 동적 슬롯 선택 (선택적 매개변수 무작위 선택) 은 고정된 전략 (모두 채우기 또는 전혀 채우지 않기) 보다 우수한 성능을 보였습니다.
  • 평가 모듈: 다단계 평가를 통과한 데이터로 훈련된 모델은 평가되지 않은 데이터로 훈련된 모델보다 훨씬 우수한 성능을 보였습니다.
• 확장성 및 RL:
  • 이 파이프라인은 새로운 도구로 효과적으로 확장됩니다 (예: ACEBench 도구 추가는 BFCL 결과를 저하시키지 않으면서 ACEBench 성능을 향상시킴).
  • 다중 턴 데이터에 **강화 학습 (RL)**을 GRPO 를 통해 적용하면 복잡한 상호작용 시나리오에서 성능이 더욱 향상되어 ACEBench 에서 다중 턴 정확도를 65.00 에서 70.00 으로 높였습니다.

중요성 및 주장

이 논문은 GENESISFUNC가 체계적이고 자동화된 접근 방식을 통해 데이터 병목 현상을 해결함으로써 도구 증강 AI 에이전트 분야에서 구체적인 진전을 이루었다고 주장합니다.

• 격차 해소: 결과는 학습 데이터 분포와 실제 도구 의미 간의 강력하고 체계적인 정렬이 더 작은 오픈소스 모델과 훨씬 더 크거나 독점적인 모델 간의 성능 격차를 크게 좁힐 수 있음을 시사합니다.
• 실용적 적용 가능성: 이 방법론은 특정 모델 아키텍처에 국한되지 않으며, 모델에 구애받지 않고 더 광범위한 도구 목록으로 확장 가능합니다.
• 미래 잠재력: 현재 작업은 함수 호출에 초점을 맞추고 있지만, 저자들은 이 방법론이 더 에이전트적이고 복잡한 함수 호출 작업으로 확장될 수 있다고 주장합니다.

저자들은 한계에 대해 겸손한 어조를 유지하며, GENESISFUNC-8B 가 경쟁력 있지만 광범위한 추론 및 이해 측면에서 최상위 API 기반 모델 (예: GPT-4) 에는 미치지 못하며, 매우 복잡하고 긴밀하게 결합된 다중 턴 시나리오는 향후 연구 영역으로 남아 있음을 인정합니다.