Sintesi Tecnica: Attribuzione dei Guadagni di Output Strutturato nel Function Calling

1. Definizione del Problema

Gli interventi basati su prompt, in particolare l'iniezione di competenze derivate da traiettorie, migliorano spesso i punteggi dei modelli linguistici di grandi dimensioni (LLM) nei benchmark di function calling come il Berkeley Function Calling Leaderboard (BFCL) e API-Bank. Tuttavia, un aumento del punteggio grezzo non distingue tra due meccanismi distinti:

1. Trasferimento Procedurale: Il modello ha realmente appreso una procedura riutilizzabile per selezionare gli strumenti e gli argomenti corretti.
2. Allineamento dell'Interfaccia: Il modello ha semplicemente imparato a conformarsi al formato di output specifico (es. chiavi wrapper JSON, sintassi dello schema) preferito dal valutatore.

Le attuali pratiche di valutazione spesso confondono questi meccanismi. Un prompt di abilità potrebbe migliorare i punteggi semplicemente istruendo il modello a utilizzare una specifica chiave JSON (es. "name" invece di "function") che lo scorer accetta, anche se la selezione dello strumento sottostante rimane invariata o peggiora. Al contrario, chiamate semanticamente corrette possono essere penalizzate per minime deviazioni di formato. L'articolo sostiene che, senza attribuire i guadagni alle loro cause specifiche, le affermazioni di "abilità agentica trasferibile" sono ingiustificate.

2. Metodologia: Il Protocollo di Attribuzione a Quattro Livelli

Gli autori propongono un rigoroso protocollo a quattro livelli per auditare i guadagni di abilità indotti da prompt prependenti. Questo protocollo va oltre il semplice confronto dei punteggi per isolare la fonte del miglioramento.

Livello 1: Rescoring Canonico

Gli autori introducono il rescoring canonizzato per separare l'aliasing delle chiavi wrapper dal reale cambiamento della policy del task.

• Meccanismo: Lo scoring standard di BFCL tratta specifiche chiavi JSON (es. "name") come corrette e altre (es. "function", "function_name") come errori, anche se gli argomenti sono identici. Il protocollo normalizza queste chiavi in una forma canonica prima di valutare l'accuratezza dell'AST (Abstract Syntax Tree).
• Obiettivo: Determinare se un guadagno è semplicemente il risultato del passaggio del modello all'alias della chiave "corretta" piuttosto che alla selezione dello strumento corretto.

Livello 2: Controlli di Solo Formato

Questo livello testa se un contratto di interfaccia esplicito possa riprodurre i guadagni osservati.

• Meccanismo: Gli autori confrontano le "Full Skills" (che contengono sia istruzioni procedurali che vincoli di formato) con i prompt "Format-Only" (che contengono solo le istruzioni dello schema JSON/wrapper previsti, prive della logica del task).
• Obiettivo: Se un prompt di solo formato eguaglia o supera le prestazioni di un prompt di skill completa, il guadagno è attribuito all'allineamento dell'interfaccia, non all'apprendimento procedurale.

Livello 3: Induzione Riparata e Bilanciata

Questo livello investiga se i guadagni siano artefatti della pipeline di estrazione (es. selezione distorta delle dimostrazioni o stili di estrazione specifici).

• Meccanismo:
  • Estrazione Riparata: Le skill vengono ri-estratte utilizzando una diversa famiglia di modelli (Qwen3-32B) e un pool bilanciato di dimostrazioni ad alto/basso punteggio, invece dell'originale estrazione GPT-4o basata solo su punteggi alti.
  • Induzione Bilanciata: Il protocollo testa se i guadagni persistono quando il pool di dimostrazioni è bilanciato, rimuovendo il bias verso gli esempi conformi al formato.
• Obiettivo: Determinare se la "skill" sia robusta o se i guadagni originali siano stati guidati da bias specifici e non generalizzabili delle dimostrazioni.

Livello 4: Controlli di Portabilità

Questo livello testa la generalizzabilità dei guadagni attraverso diversi contesti.

• Meccanismo:
  • Cross-Family: Testare le skill estratte da una famiglia di modelli (es. Qwen) su altre (es. Llama, Gemma).
  • Cross-Benchmark: Testare su API-Bank (usando la sintassi a parentesi quadre) e benchmark di ragionamento (MATH-500, MultiHop-RAG).
  • Controlli Generici: Confrontare le skill estratte con prompt procedurali generici a parità di lunghezza.
• Obiettivo: Verificare se i guadagni rimanenti rappresentino una procedura trasferibile o siano specifici del modello sorgente e del contratto.

3. Risultati Chiave

Applicando questo protocollo a BFCL e API-Bank su 8 modelli Qwen3 (0.6B–235B) e altre famiglie, emergono diverse scoperte controintuitive:

• L'Allineamento dell'Interfaccia Domina: In molti casi, i prompt di solo formato eguagliano o superano le skill complete. Ad esempio, su Qwen3-8B, un prompt di solo formato ha prodotto un guadagno di 21,3 punti percentuali (pp), superando il guadagno della skill completa@235B di +11,3 pp. Ciò suggerisce che la "skill" consisteva principalmente nell'insegnare al modello come avvolgere l'output, non come risolvere il task.
• La Canonizzazione Rivela la Sensibilità: Lo scoring standard mostrava grandi guadagni e danni. Dopo il rescoring canonizzato, diverse celle "dannose" sono diventate neutre e i guadagni positivi sono diminuite significativamente. Ad esempio, il guadagno della skill@235B del modello 14B è sceso da -11,7 pp a -1,0 pp sotto canonizzazione, indicando che il danno originale era dovuto principalmente alla sensibilità dell'alias della chiave.
• Sensibilità all'Induzione: I maggiori guadagni osservati (es. +17,7 pp per 1.7B, +11,3 pp per 8B) sono ampiamente scomparsi o si sono invertiti utilizzando l'induzione riparata/bilanciata. Quando l'estrazione è stata eseguita da un pool bilanciato di dimostrazioni anziché da quelle ad alto punteggio, i guadagni sono svaniti, suggerendo che i miglioramenti originali erano guidati dal bias delle dimostrazioni piuttosto che da una robusta estrazione di skill.
• I Prompt Generici Replicano i Guadagni: Su API-Bank, i prompt procedurali generici a parità di lunghezza hanno quasi riprodotto i guadagni delle skill estratte (entro 0,5 pp), indicando ulteriormente che la formulazione specifica della "skill" non era il driver principale delle prestazioni.
• Fallimento Cross-Family: Le skill estratte da Qwen3 spesso fallivano o degradavano le prestazioni quando applicate a modelli Llama o Gemma, mentre i segnali di solo formato fornivano talvolta risultati migliori. Questa mancanza di portabilità mina le affermazioni di un trasferimento procedurale universale.

4. Contributi

L'articolo apporta tre contributi primari:

1. Formulazione: Inquadra l'attribuzione del guadagno di skill nel function-calling come un problema di reporting, distinguendo tra cambiamenti della policy del task e allineamento dell'interfaccia negli audit di output strutturato.
2. Protocollo: Propone e istanzia un protocollo di attribuzione a quattro livelli (rescoring canonizzato, controlli di solo formato, estrazione robusta all'induzione e controlli di portabilità) per valutare rigorosamente l'iniezione di skill.
3. Risultati Empirici: Dimostra che in contesti come BFCL/API-Bank, molti apparenti guadagni sono meglio attribuiti all'allineamento dell'interfaccia che a un robusto trasferimento procedurale. Rilascia BFCL-CANONICAL (un dataset/set di metriche) e una ricetta pratica di reporting per future affermazioni.

5. Significato e Affermazioni

L'articolo non afferma che la conformità al formato sia poco importante; sostiene piuttosto che la conformità al formato è una capacità di ingegneria distinta dal ragionamento procedurale.

• Chiarificazione delle Metriche: Gli autori asseriscono che un punteggio di output strutturato da solo non può certificare che un modello abbia appreso una procedura trasferibile. Un miglioramento del punteggio può semplicemente riflettere che il modello ha imparato a "parlare la lingua del valutatore".
• Standard di Reporting: L'articolo raccomanda che le future affermazioni di "abilità trasferibile" debbano sopravvivere al protocollo a quattro livelli. Se un guadagno scompare sotto canonizzazione, controlli di solo formato o induzione bilanciata, deve essere riportato come allineamento dell'interfaccia o adattamento del contratto del prompt, non come una riutilizzabile abilità agentica.
• Diagnosi Costruttiva: I risultati sono presentati come una diagnosi costruttiva per il settore. Separando l'allineamento dell'interfaccia dal trasferimento procedurale, i ricercatori possono comprendere meglio cosa misurano i loro benchmark ed evitare di sopravvalutare le capacità dei metodi di iniezione di skill.

Gli autori concludono che, sebbene l'allineamento dell'interfaccia sia prezioso per il deployment, attribuire i guadagni al trasferimento procedurale senza superare questi rigorosi controlli è un errore di attribuzione. Il protocollo preserva il valore ingegneristico dell'allineamento del formato, riservando la più forte affermazione di trasferimento procedurale solo alle prove residue che sopravvivono a tutti i controlli.