Technische Samenvatting: Toeschrijving van Winsten in Gestructureerde Output bij Function Calling

1. Probleemstelling

Prompt-gebaseerde interventies, in het bijzonder traject-afgeleide skill-injectie, verbeteren vaak de scores van Large Language Models (LLM's) op benchmarks voor function calling, zoals de Berkeley Function Calling Leaderboard (BFCL) en API-Bank. Echter, een rauwe stijging in score maakt geen onderscheid tussen twee verschillende mechanismen:

1. Procedurele Transfer: Het model heeft daadwerkelijk een herbruikbare procedure geleerd voor het selecteren van de juiste tools en argumenten.
2. Interface Alignment: Het model heeft enkel geleerd te voldoen aan het specifieke outputformaat (bijv. JSON-wrapper keys, schema-syntaxis) dat door de evaluator wordt geprefereerd.

Huidige evaluatiepraktijken verwarren deze mechanismen vaak. Een skill-prompt kan scores verbeteren simpelweg door het model te instrueren een specifieke JSON-key te gebruiken (bijv. "name" versus "function") die de scorer accepteert, zelfs als de onderliggende tool-selectie ongewijzigd blijft of verslechtert. Omgekeerd kunnen semantisch correcte calls worden afgestraft voor kleine afwijkingen in de formattering. Het artikel betoogt dat zonder de winsten toe te schrijven aan hun specifieke oorzaken, claims van "overdraagbare agentische vaardigheid" onterecht zijn.

2. Methodologie: Het Vierlaagse Toeschrijvingsprotocol

De auteurs stellen een rigoureus, vierlaags protocol voor om de winsten van prompt-geprepende skills te auditeren. Dit protocol gaat verder dan eenvoudige scorevergelijking om de bron van verbetering te isoleren.

Laag 1: Canonieke Rescoring

De auteurs introduceren canonized rescoring om "wrapper-key aliasing" te scheiden van werkelijke taak-policy veranderingen.

• Mechanisme: Standaard BFCL-scoring behandelt specifieke JSON-keys (bijv. "name") als correct en andere (bijv. "function", "function_name") als fouten, zelfs als de argumenten identiek zijn. Het protocol normaliseert deze keys naar een canonieke vorm voordat de AST (Abstract Syntax Tree) nauwkeurigheid wordt geëvalueerd.
• Doel: Om te bepalen of een winst louter het resultaat is van het model dat overschakelt naar de "correcte" key-alias in plaats van het selecteren van de juiste tool.

Laag 2: Formatterings-alleen Controls

Deze laag test of een expliciet interface-contract alleen de geobserveerde winsten kan reproduceren.

• Mechanisme: De auteurs vergelijken "Full Skills" (bevatten zowel procedurele instructies als formateringsrestricties) met "Format-Only" prompts (bevatten enkel de verwachte JSON-schema/wrapper-instructies, ontdaan van de taaklogica).
• Doel: Als een format-only prompt de prestaties van een full skill prompt evenaart of overtreft, wordt de winst toegeschreven aan interface alignment, niet aan procedureel leren.

Laag 3: Gerepareerde en Gebalanceerde Inductie

Deze laag onderzoekt of winsten artefacten zijn van de extractie-pipeline (bijv. bevooroordeelde demonstratie-selectie of specifieke extractor-stijlen).

• Mechanisme:
  • Gerepareerde Extractie: Skills worden opnieuw geëxtraheerd met behulp van een andere modelfamilie (Qwen3-32B) en een gebalanceerde pool van hoog/laag-scorende demonstraties, in plaats van de oorspronkelijke GPT-4o extractie uit uitsluitend hoog-scorende voorbeelden.
  • Gebalanceerde Inductie: Het protocol test of winsten standhouden wanneer de demonstratiepool gebalanceerd is, waardoor de bias naar format-conforme voorbeelden wordt verwijderd.
• Doel: Om te bepalen of de "skill" robuust is of dat de oorspronkelijke winsten werden gedreven door specifieke, niet-generaliseerbare demonstratie-biases.

Laag 4: Portabiliteitschecks

Deze laag test de generaliseerbaarheid van de winsten over verschillende contexten.

• Mechanisme:
  • Cross-Family: Het testen van skills geëxtraheerd uit één modelfamilie (bijv. Qwen) op andere (bijv. Llama, Gemma).
  • Cross-Benchmark: Testen op API-Bank (met bracket-syntaxis) en redeneerbenchmarks (MATH-500, MultiHop-RAG).
  • Generieke Controls: Vergelijken van geëxtraheerde skills met lengte-gematchte generieke procedurele prompts.
• Doel: Om te verifiëren of de resterende winsten een overdraagbare procedure vertegenwoordigen of specifiek zijn voor het bronmodel en het contract.

3. Belangrijkste Resultaten

Het toepassen van dit protocol op BFCL en API-Bank over 8 Qwen3-modellen (0.6B–235B) en andere families levert verschillende contra-intuïtieve bevindingen op:

• Interface Alignment Domineert: In veel gevallen evenaren of overtreffen format-only prompts de full skill prompts. Bijvoorbeeld, op Qwen3-8B leverde een format-only prompt een winst op van 21,3 procentpunt (pp), wat de full skill@235B winst van +11,3 pp overtrof. Dit suggereert dat de "skill" primair het model leerde hoe het de output moest inkaderen, niet hoe het de taak moest oplossen.
• Canonisering Onthult Gevoeligheid: Standaard scoring toonde grote winsten en schade. Na canonized rescoring veranderden verschillende "schadelijke" cellen naar neutraal, en krompen positieve winsten aanzienlijk. Bijvoorbeeld, de winst van het 14B model onder skill@235B daalde van -11,7 pp naar -1,0 pp onder canonisering, wat aangeeft dat de oorspronkelijke schade grotendeels te wijten was aan de gevoeligheid voor key-aliassen.
• Inductie-gevoeligheid: De grootste geobserveerde winsten (bijv. +17,7 pp voor 1.7B, +11,3 pp voor 8B) verdwenen grotendeels of keerden om wanneer gerepareerde/gebalanceerde inductie werd gebruikt. Wanneer extractie werd uitgevoerd vanuit een gebalanceerde pool van demonstraties in plaats van hoog-scorende exemplaren, verdwenen de winsten, wat suggereert dat de oorspronkelijke verbeteringen werden gedreven door demonstratie-bias in plaats van robuuste skill-extractie.
• Generieke Prompts Reproduceren Winsten: Op API-Bank reproduceerden lengte-gematchte generieke procedurele prompts bijna de winsten van geëxtraheerde skills (binnen 0,5 pp), wat verder wijst op het feit dat de specifieke formulering van de "skill" niet de primaire drijfveer van de prestaties was.
• Cross-Family Falen: Skills geëxtraheerd uit Qwen3 faalden vaak of verslechterden de prestaties wanneer ze werden toegepast op Llama- of Gemma-modellen, terwijl format-only cues soms beter werkten. Dit gebrek aan portabiliteit ondermijnt claims van universele procedurele transfer.

4. Bijdragen

Het artikel levert drie primaire bijdragen:

1. Formulering: Het kadert de toeschrijving van function-calling skill-winsten als een rapporteringsprobleem, waarbij onderscheid wordt gemaakt tussen taak-policy veranderingen en interface alignment in gestructureerde output-audits.
2. Protocol: Het stelt een vierlaags toeschrijvingsprotocol voor en implementeert dit (canonized rescoring, format-only controls, inductie-robuuste extractie en portabiliteitschecks) om skill-injectie rigoureus te evalueren.
3. Empirische Bevindingen: Het demonstreert dat in BFCL/API-Bank-achtige settings, veel schijnbare winsten beter toe te schrijven zijn aan interface alignment dan aan robuuste procedurele transfer. Het geeft BFCL-CANONICAL vrij (een dataset/metriek set) en een praktisch rapportage-recept voor toekomstige claims.

5. Betekenis en Claims

De auteurs beweren niet dat format-compliance onbelangrijk is; ze stellen eerder dat format-compliance een engineering-capaciteit is die onderscheidt van procedurele redenering.

• Verduidelijking van Metrieken: De auteurs stellen dat een gestructureerde output-score alleen niet kan certificeren dat een model een overdraagbare procedure heeft geleerd. Een scoreverbetering kan simpelweg reflecteren dat het model heeft geleerd om de "taal van de evaluator te spreken".
• Rapporteringsstandaarden: Het artikel adviseert dat toekomstige claims van "overdraagbare vaardigheid" moeten overleven onder het vierlaagse protocol. Als een winst verdwijnt onder canonisering, format-only controls of gebalanceerde inductie, moet het gerapporteerd worden als interface alignment of prompt-contract adaptatie, en niet als een herbruikbare agentische vaardigheid.
• Constructieve Diagnose: De bevindingen worden gepresenteerd als een constructieve diagnose voor het vakgebied. Door interface alignment te scheiden van procedurele transfer, kunnen onderzoekers beter begrijpen wat hun benchmarks daadwerkelijk meten en voorkomen dat ze de capaciteiten van skill-injectiemethoden overschatten.

De auteurs concluderen dat hoewel interface alignment waardevol is voor implementatie, het toeschrijven van winsten aan procedurele transfer zonder deze strikte controles te doorstaan, een toeschrijvingsfout is. Het protocol behoudt de engineering-waarde van format-alignment terwijl het de sterkere claim van procedurele transfer reserveert voor het resterende bewijs dat alle controles doorstaat.