Technische Samenvatting: GENESISFUNC

Probleemstelling

De vooruitgang van Large Language Models (LLM's) naar proactieve agenten die kunnen interageren met dynamische omgevingen, is sterk afhankelijk van functiedieping (FC). Het vakgebied staat echter voor een kritieke knelpunt: het gebrek aan hoogwaardige, diverse en breed representatieve trainingsdata.

• Beperkingen van real-world data: Het verzamelen en annoteren van echte functiediepingsdata is kostbaar, arbeidsintensief en slaagt er vaak niet in om de complexiteit van ambiguë gebruikersintenties, multi-turn interacties en snel veranderende omgevingen vast te leggen.
• Beperkingen van synthetische data: Bestaande geautomatiseerde pijplijnen voor het genereren van synthetische FC-data lijden onder onbetrouwbare API's, beperkte schaalbaarheid van hulpmiddelen, onvoldoende diversiteit (vaak gericht op single-turn of geïsoleerde calls) en zwakke kwaliteitscontrole. Deze beperkingen beperken de generaliseerbaarheid en robuustheid van met hulpmiddelen verrijkte LLM's.

Methodologie: GENESISFUNC-pijplijn

Om deze uitdagingen aan te pakken, stellen de auteurs GENESISFUNC voor, een geautomatiseerde, drie-traps pijplijn ontworpen om accurate, diverse en scenario-rijke FC-trainingsdata te genereren. De pijplijn is gebaseerd op betrouwbare hulpmiddelen uit publieke benchmarks en maakt gebruik van een multi-agent framework om kwaliteit en diversiteit te waarborgen.

1. Constructie van de Tool Pool

In plaats van te vertrouwen op handmatig samengestelde of onbetrouwbare synthetische API's, selecteert GENESISFUNC een Tool Pool van 1.000 hulpmiddelen die rechtstreeks zijn gehaald uit de BFCL (Berkeley Function-Calling Leaderboard) benchmark.

• Proces: Er wordt een twee-traps filterproces gebruikt. Eerst voert GPT-4o semantische clustering uit om redundante of sterk vergelijkbare hulpmiddelen te verwijderen. Vervolgens zorgt lichte menselijke verificatie voor correctheid en bruikbaarheid.
• Doel: Dit waarborgt dat de onderliggende API's betrouwbaar zijn, meerdere real-world domeinen bestrijken en praktisch toegankelijk zijn, waardoor een robuuste basis voor datageneratie wordt gevormd.

2. Generatie van Multi-Agent Dialogen

Deze module maakt gebruik van een gecoördineerd multi-agent framework om dialogen te synthetiseren die uiteenlopende scenario's bestrijken (single-turn, multi-turn en speciale gevallen). Het systeem maakt gebruik van vier verschillende agenten (ondersteund door LLM's, specifiek Gemini-2.5 Pro in de primaire implementatie):

• Sample Agent: Selecteert een subset van hulpmiddelen uit de pool, groepeert semantisch vergelijkbare hulpmiddelen als doelen en selecteert afleiders met variërende relevantie om het model te dwingen onderscheid te maken tussen gerelateerde en niet-gerelateerde hulpmiddelen.
• Memory Agent: Legt eerdere dialogen en hun semantische contexttypes vast. Het vat de geschiedenis samen om de generator te sturen naar het produceren van dialogen met ongezien semantische types, waardoor de semantische diversiteit wordt versterkt.
• Function Agent: Selecteert specifieke hulpmiddelen om gebruikersvragen aan te pakken en extrahert parameters. Cruciaal maakt het gebruik van een slot-selectiestrategie, waarbij willekeurig een subset van optionele parameters wordt gekozen om te instantiëren. Dit creëert gevarieerde en realistische tool-calls in plaats van rigide, volledige parameter-invocaties.
• Judge Agent: Evalueert meerdere kandidaat-dialogen die in een ronde zijn gegenereerd, kiest de beste op basis van probleemrelevantie en geschiktheid van het hulpmiddel, en houdt rekening met positionele bias.

Het Dialogue Generation System coördineert een User Agent en een Assistant Agent om te produceren:

• Single-turn en Multi-turn dialogen: Die zowel single-task als multi-task instellingen bestrijken.
• Speciale gevallen: Scenario's die relevantiecontrole (niet-overeenkomende hulpmiddelen) en foutdetectie (ongeldige parameters) omvatten.

3. Multi-traps Evaluatie

Om de correctheid van de gesynthetiseerde data te garanderen, wordt een rigoureus drie-staps evaluatieproces toegepast:

1. Rule Checker: Voert statische, regelgebaseerde compliance-checks uit op hulpmiddeldefinities, call-formaten, parametertypes en dialoogstructuur zonder hulpmiddelen uit te voeren.
2. Model Checker: Gebruikt GPT-4o om semantische kwaliteit, taakvoltooiing en trouw te evalueren, verder dan statische regels. Alleen samples met een betrouwbaarheidsscore boven een drempel (0,75) worden behouden.
3. Menselijke Validatie: Een gerichte menselijke review van de resterende ~5% van de samples die de geautomatiseerde checks niet halen of een lage betrouwbaarheid hebben. Deze fase richt zich op fouten die correcte uitvoering verhinderen of die in hoog-impact functies voorkomen.

Belangrijkste Bijdragen

1. GENESISFUNC-pijplijn: De introductie van een geautomatiseerde, end-to-end pijplijn voor het genereren van hoogwaardige FC-trainingsdata. Het combineert uniek betrouwbare, uit benchmarks gehaalde hulpmiddelen met een multi-agent dialogengeneratiesysteem en een multi-traps evaluatiemodule.
2. Hoogwaardige Dataset: De constructie van een dataset die accuraat, divers is en real-world scenario's bestrijkt (inclusief multi-turn en multi-task interacties). De auteurs tonen sterke schaalbaarheid naar downstream hulpmiddelen aan, wat de praktische toepasbaarheid van de pijplijn bewijst.
3. State-of-the-Art Prestaties: Het fine-tunen van Qwen3-8B (resultend in GENESISFUNC-8B) met behulp van deze dataset. Het model bereikt superieure prestaties in vergelijking met open-source modellen van vergelijkbare grootte en blijft zeer concurrerend met propriëtaire API-gebaseerde modellen.

Experimentele Resultaten

De auteurs evalueerden GENESISFUNC-8B op drie veelgebruikte benchmarks: BFCL (in-domein), API-Bank en ACEBench (out-of-domein).

• In-Domein (BFCL): GENESISFUNC-8B behaalde een algehele nauwkeurigheid van 93,31% op de Non-Live split en 83,78% op de Live split. Het presteerde beter dan open-source baselines van vergelijkbare schaal (bijv. ToolACE-8B, LLaMA-3.1-8B) en overtrof of kwam overeen met grotere modellen (bijv. Qwen3-32B). Opmerkelijk is dat het de prestaties van API-gebaseerde modellen zoals GPT-4o-mini overtrof op de Non-Live split.
• Out-of-Domein (API-Bank & ACEBench): Het model toonde sterke generalisatie, met 64,79% op API-Bank en 83,67% op ACEBench. Deze resultaten vertegenwoordigen significante relatieve winsten ten opzichte van eerdere open-source SOTA en prestaties die op één lijn liggen met GPT-4o-mini en Gemini-1.5-Pro.
• Ablatie Studies:
  • Het verwijderen van de Judge Agent of Memory Agent resulteerde in duidelijke prestatiedalingen, wat de noodzaak van nauwkeurigheidscontrole en diversiteitsversterking valideert.
  • Slot Selectie: Dynamische slot-selectie (willekeurig kiezen van optionele parameters) presteerde beter dan vaste strategieën (allemaal invullen of geen invullen).
  • Evaluatiemodule: Modellen getraind op data die de multi-traps evaluatie doorstonden, presteerden significant beter dan die getraind op niet-geëvalueerde data.
• Schaalbaarheid & RL:
  • De pijplijn schaalt effectief naar nieuwe hulpmiddelen (bijv. het toevoegen van ACEBench-hulpmiddelen verbeterde de prestaties op ACEBench zonder de BFCL-resultaten te verslechteren).
  • Het toepassen van Versterkingsleer (RL) via GRPO op multi-turn data verbeterde de prestaties verder in complexe interactiescenario's, waardoor de multi-turn nauwkeurigheid op ACEBench steeg van 65,00 naar 70,00.

Betekenis en Claims

Het artikel stelt dat GENESISFUNC een concrete vooruitgang vertegenwoordigt in met hulpmiddelen verrijkte AI-agenten door het data-knelpunt op te lossen via een systematische, geautomatiseerde aanpak.

• Het Gat Dichtmaken: De resultaten suggereren dat een sterke, systematische afstemming tussen de verdeling van trainingsdata en echte hulpmiddelsemantiek de prestatiekloof tussen kleinere open-source modellen en veel grotere of propriëtaire modellen aanzienlijk kan verkleinen.
• Praktische Toepasbaarheid: De methodologie is niet beperkt tot specifieke modelarchitecturen; het is model-agnostisch en schaalbaar naar bredere inventarissen van hulpmiddelen.
• Toekomstig Potentieel: Hoewel het huidige werk zich richt op functiedieping, stellen de auteurs dat de methodologie kan worden uitgebreid naar meer agentische en complexe functiediepings taken.

De auteurs houden een bescheiden toon ten opzichte van beperkingen, waarbij ze erkennen dat hoewel GENESISFUNC-8B concurrerend is, het nog steeds tekortschiet ten opzichte van top-tier API-gebaseerde modellen (zoals GPT-4) in bredere redenering en begrip, en dat uiterst complexe, strak gekoppelde multi-turn scenario's een gebied voor toekomstig werk blijven.