Model-Adaptive Tool Necessity Reveals the Knowing-Doing Gap in LLM Tool Use

Riepilogo Tecnico: La Necessità di Strumenti Adattiva al Modello Rivela il Divario tra Conoscenza e Azione nell'Uso degli Strumenti da Parte degli LLM

Enunciato del Problema

I Modelli Linguistici di Grande Dimensione (LLM) sono sempre più implementati come agenti autonomi che devono decidere se rispondere direttamente alle query o invocare strumenti esterni (ad esempio, calcolatrici, API di ricerca). Le ricerche precedenti sull'uso adattivo degli strumenti hanno trattato prevalentemente la "necessità dello strumento" come una proprietà statica e indipendente dal modello, tipicamente annotata da giudici umani o da LLM potenti. Questo approccio assume che una query sia intrinsecamente dipendente o indipendente dagli strumenti indipendentemente dalle capacità specifiche del modello.

Tuttavia, nel deployment reale, la necessità dello strumento è fondamentalmente sfumata a causa della divergenza dei confini delle capacità tra modelli diversi. Un problema risolvibile da un modello all'avanguardia utilizzando solo i suoi pesi interni può superare le capacità di un modello più piccolo o più debole, rendendo l'uso dello strumento strettamente necessario per quest'ultimo ma ridondante per il primo. Di conseguenza, le annotazioni statiche non riescono a caratterizzare accuratamente quando un LLM specifico richiede genuinamente assistenza esterna. Inoltre, il lavoro esistente non ha diagnosticato sufficientemente perché i modelli non invocano gli strumenti quando necessario, o li invocano inutilmente, nonostante possiedano potenzialmente la conoscenza interna per farlo.

Metodologia

Gli autori propongono un framework fondato sulla necessità di strumenti adattiva al modello e su una decomposizione in due fasi del processo di utilizzo degli strumenti.

1. Definizione di Necessità di Strumenti Adattiva al Modello:
   Invece di etichette statiche, la necessità dello strumento ($n_f(x)$) è definita empiricamente in base alle prestazioni di un modello specifico $f$. Gli autori eseguono $N$ inferenze indipendenti a temperatura $T$ senza accesso agli strumenti.

   • Se il modello risponde correttamente in modo coerente in tutte le $N$ esecuzioni, la query è considerata non necessaria per gli strumenti ($n_f(x) = 0$).
   • Se il modello fallisce almeno una volta, la query è considerata necessaria per gli strumenti ($n_f(x) = 1$).
     Questa definizione cattura l'affidabilità in condizioni di incertezza, riconoscendo che un modello che riesce solo occasionalmente senza strumenti beneficia comunque dell'assistenza esterna.

2. Decomposizione in Due Fasi (Cognizione vs. Esecuzione):
   Il processo di utilizzo degli strumenti è modellato come $x \to z_f(x) \to a_f(z_f(x))$, dove:

   • Cognizione ($z_f$): La rappresentazione interna del modello di se sia necessario uno strumento.
   • Esecuzione ($a_f$): La decisione effettiva di emettere token che attivano lo strumento.
     L'errore end-to-end è decomposto nel disallineamento tra la necessità effettiva e la cognizione, e nel disallineamento tra cognizione ed esecuzione.

3. Interpretabilità Meccanicistica tramite Probing:
   Gli autori impiegano il probing lineare sugli stati nascosti degli LLM per analizzare entrambe le fasi:

   • Sonda di Cognizione: Addestra un classificatore lineare ($w_c$) per prevedere l'etichetta di necessità adattiva al modello dagli stati nascosti.
   • Sonda di Azione: Addestra un classificatore lineare ($w_a$) per prevedere il comportamento effettivo di chiamata dello strumento.
   • Analisi Geometrica: Viene calcolata la similarità del coseno tra $w_c$ e $w_a$ attraverso i livelli e le posizioni dei token per determinare se la credenza interna e l'intento esecutivo sono allineati.

4. Tracciamento della Traiettoria:
   I campioni vengono tracciati attraverso il processo in due fasi per attribuire gli errori. Un campione viene categorizzato in base a se l'errore si verifica nella fase di cognizione, nella fase di esecuzione o in entrambe.

Configurazione Sperimentale

• Modelli: Sono stati valutati quattro LLM distinti: Qwen3-8B, Qwen3-4B, Llama-3.1-8B-Instruct e Llama-3.2-3B-Instruct.
• Dataset:
  • Aritmetica: 4.000 istanze che vanno da semplici addizioni a operazioni complesse multi-step che coinvolgono modulo e precedenza degli operatori.
  • QA Fattuale: TruthfulQA (817 istanze) progettata per testare l'affidabilità fattuale.
• Valutazione: I modelli sono stati testati con accesso agli strumenti (calcolatrice per l'aritmetica, API di ricerca per le QA). I comportamenti di chiamata degli strumenti sono stati raccolti utilizzando la decodifica greedy.

Risultati Chiave

1. Significativo Disallineamento Necessità-Azione:
   Utilizzando la definizione adattiva al modello, gli autori hanno riscontrato discrepanze significative tra quando gli strumenti sono effettivamente necessari e quando i modelli li invocano.

   • Aritmetica: I tassi di disallineamento sono variati dal 26,5% al 54,0%.
   • QA Fattuale: I tassi di disallineamento sono variati dal 30,8% al 41,8%.
   • Le modalità di fallimento dominanti variavano in base al modello e al dominio; alcuni modelli hanno sovroutilizzato gli strumenti (chiamandoli quando capaci di rispondere direttamente), mentre altri li hanno sottoutilizzati (non chiamando gli strumenti quando mancavano di conoscenza interna).

2. Decodificabilità Lineare di Cognizione e Azione:

   • Cognizione: Le rappresentazioni interne della necessità dello strumento sono decodificabili linearmente dagli stati nascosti, in particolare nei livelli medio-tardivi. Tuttavia, la separabilità è dipendente dal compito, essendo più forte nell'aritmetica (dove la difficoltà è correlata alla struttura superficiale) rispetto alla QA fattuale.
   • Azione: La decisione di chiamare uno strumento è anch'essa altamente decodificabile linearmente, spesso coprendo ampie regioni di livelli e posizioni dei token.

3. Il Divario di Ortogonalità:
   Sebbene le sonde di cognizione e azione siano individualmente efficaci, i loro vettori direzionali ($w_c$ e $w_a$) diventano quasi ortogonali negli strati tardivi dell'ultimo token della query (il regime che guida la generazione del token successivo). Ciò indica che il segnale interno che riconosce la necessità di uno strumento è geometricamente disaccoppiato dal segnale che attiva la chiamata dello strumento nel momento critico della decisione.

4. Localizzazione del Fallimento (Il Divario tra Conoscenza e Azione):
   Il tracciamento della traiettoria ha rivelato che la maggior parte dei disallineamenti end-to-end origina nella fase di esecuzione (transizione cognizione $\to$ azione), non nella fase di cognizione.

   • La maggior parte degli errori si verifica quando il modello identifica correttamente la necessità di uno strumento internamente (cognizione corretta) ma non riesce a tradurla nell'azione sintattica di chiamare lo strumento.
   • Questo disallineamento persiste anche quando la fiducia interna del modello nella sua valutazione della necessità è alta (vicina a 0 o 1), suggerendo che il problema non è l'incertezza ma un fallimento nella traduzione della consapevolezza in azione.

Significato e Contributi

Il paper afferma di apportare i seguenti contributi:

• Ridefinizione della Necessità di Strumenti: Introduce una definizione di necessità di strumenti adattiva al modello fondata sulle prestazioni empiriche, sfidando la dipendenza da annotazioni statiche e indipendenti dal modello.
• Quantificazione del Disallineamento Comportamentale: Dimostra empiricamente significativi disallineamenti (fino al 54%) tra la necessità effettiva degli strumenti e le azioni osservate di chiamata degli strumenti su più modelli e domini.
• Insight Meccanicistico: Tramite il probing delle rappresentazioni, mostra che, sebbene sia la necessità dello strumento che l'intento esecutivo siano decodificabili linearmente, le loro rappresentazioni diventano quasi ortogonali nel regime degli strati tardivi e dell'ultimo token.
• Diagnosi del "Divario tra Conoscenza e Azione": Identifica che il principale collo di bottiglia nell'uso degli strumenti da parte degli LLM non è il riconoscimento di quando gli strumenti sono necessari, ma la traduzione di tale riconoscimento in azione.

Gli autori concludono che il miglioramento degli agenti LLM autonomi richiede non solo il potenziamento della meta-cognizione interna, ma specificamente la colmatura del "divario tra conoscenza e azione" per garantire che la consapevolezza di sé si traduca in modo affidabile in un'esecuzione corretta.