Sintesi Tecnica: Controllo dell'uso degli strumenti tramite il Steering delle Attivazioni basato su Intestazioni

Problematica

I modelli linguistici di grandi dimensioni (LLM) aumentati da strumenti estendono le capacità oltre la conoscenza parametrica integrando strumenti esterni (ad es., ricerca web, esecuzione di codice). Tuttavia, un modo di fallimento persistente è l'uso eccessivo degli strumenti (tool overuse), in cui i modelli invocano strumenti inutilmente anche quando il ragionamento interno è sufficiente. Ciò porta a un aumento della latenza, dei costi e a una potenziale propagazione di errori.

Le strategie di mitigazione esistenti richiedono tipicamente un addestramento costoso o operano all'interfaccia di output, fallendo nel caso in cui non affrontino il processo decisionale latente all'interno delle attivazioni interne del modello. Una sfida fondamentale sorge poiché, a differenza di concetti come il sentiment o la fattualità che sono codificati nei pesi del modello durante l'addestramento, gli strumenti esistono interamente nel contesto al momento dell'inferenza. Di conseguenza, le assunzioni standard della ipotesi della rappresentazione lineare e dell'ingegneria delle rappresentazioni — dove i concetti hanno una base parametrica stabile — non si applicano direttamente. Il documento indaga se le decisioni sull'uso degli strumenti possiedano una rappresentazione interna stabile che possa essere estratta e manipolata nonostante la sua natura non parametrica.

Metodologia

Gli autori propongono un metodo di intervento leggero, eseguibile durante l'inferenza, chiamato Heading-Specific Activation Steering (Steering delle Attivazioni Specifico per Intestazione). L'approccio si basa su traiettorie di generazione strutturate in cui il modello emette un ragionamento intermedio utilizzando intestazioni di sezione esplicite (Heading-Anchors) come ### Reasoning, ### Code, ### Search e ### AskUser.

1. Costruzione del Vettore di Steering

Il metodo costruisce vettori di steering specifici per lo strumento analizzando gli stati nascosti nelle posizioni dei token corrispondenti a queste Heading-Anchors.

• Raccolta Dati: Gli autori raccolgono traiettorie multi-turno etichettate contenenti specifiche intestazioni di strumenti.
• Estrazione degli Stati: Gli stati nascosti vengono estratti da uno strato $l^*$ specifico al token corrispondente al marker di ancoraggio ### per lo stato della ### Reasoning e per lo stato dell'intestazione dello strumento target (ad es., ### Code).
• Calcolo del Delta: Per ogni traiettoria, viene calcolato un delta di steering come la differenza tra lo stato nascosto medio delle ancorature di ragionamento e lo stato nascosto medio delle ancorature degli strumenti:
  $$\Delta^{(l)}_{k,i} = \bar{h}^{(l)}_{R,i} - \bar{h}^{(l)}_{k,i}$$
• Aggregazione dei Vettori: Questi delta vengono mediati su più traiettorie per formare il vettore di steering finale $v^{(l)}_k$. Questa media a livello di campione previene il bias verso le traiettorie con una maggiore frequenza di occorrenze delle ancorature.

2. Meccanismi di Intervento

I vettori estratti vengono applicati durante le fasi di formazione delle Heading-Anchor durante l'inferenza utilizzando due meccanismi distinti:

• Aggiunta di Attivazione (Soppressione): Il vettore di steering viene aggiunto allo stato nascosto per spostarlo lontano dalla rappresentazione dell'invocazione dello strumento:
  $$\tilde{h}^{(l^*)}_t = h^{(l^*)}_t + \alpha v^{(l^*)}_k$$
  (dove $\alpha=1$).
• Ortogonalizzazione (Amplificazione): Lo stato nascosto viene proiettato per essere ortogonale al vettore di steering, rimuovendo la componente di soppressione per incoraggiare l'uso dello strumento:
  $$\tilde{h}^{(l^*)}_t = h^{(l^*)}_t - \text{proj}_{v^{(l^*)}_k}(h^{(l^*)}_t)$$

Risultati Chiave

Lo studio valuta cinque modelli open-source istruiti per istruzioni (Mistral-7B, Llama-3.1-8B, Mistral-Nemo, Mistral-Small, Llama-3.1-70B) attraverso tre domini: Math (ragionamento parametrico sufficiente), Time (richiede informazioni aggiornate) e Intention (richiede chiarimenti dall'utente).

1. Controllo Causale Bidirezionale

• Soppressione: L'aggiunta di attivazione riduce significativamente i tassi di invocazione degli strumenti. Nel dominio Math, l'uso degli strumenti è stato soppresso a livelli prossimi allo zero (ad es., da 3.90 a 0.56 chiamate per prompt per Mistral-7B) con solo modesti cali nell'accuratezza del compito, indicando che molte chiamate agli strumenti in questo dominio erano ridondanti.
• Amplificazione: L'ortogonalizzazione ha aumentato costantemente l'uso degli strumenti sopra la baseline in tutti i modelli e domini. Tuttavia, questo aumento artificiale non ha migliorato le prestazioni del compito e spesso ha degradato l'accuratezza, suggerendo che il modello base mantiene già un equilibrio interno parziale e che la rimozione del vettore di soppressione porta a un uso eccessivo.
• Specificità del Dominio: La soppressione è stata più efficace in Math ma ha degradato nei domini Time e Intention, dove il recupero esterno o il chiarimento sono realmente necessari. In questi domini, sopprimere l'uso degli strumenti ha portato a cali significativi delle prestazioni, confermando che l'intervento rispetta la necessità degli strumenti quando la conoscenza parametrica è insufficiente.

2. Irregolarità Geometrica

Contrariamente alla "struttura lineare pulita" osservata nei concetti con base parametrica (come il rifiuto o la veridicità), l'analisi geometrica dei vettori di uso degli strumenti ha rivelato:

• Allineamento Bimodale Diffuso: Le fasi di invocazione degli strumenti hanno mostrato una distribuzione della similarità del coseno bimodale e diffusa rispetto al vettore di soppressione, piuttosto che l'allineamento negativo coerente previsto dagli account di codifica lineare.
• Basso Overlap tra Strumenti: Diversi tipi di strumenti (Code, Search, AskUser) hanno reclutato dimensioni di feature interne largamente distinte con un basso overlap di Jaccard (ad es., ~0.04–0.06 per l'overlap tripartito).
• Disaccoppiamento tra Decodificabilità e Controllo: Nel modello Llama-3.1-70B, una sonda lineare supervisionata poteva separare perfettamente gli stati ### Code da ### Reasoning (AUROC 1.000), ma la direzione identificata dalla sonda era molto meno efficace nel sopprimere causalmente l'uso degli strumenti rispetto al vettore della media delle differenze. Ciò suggerisce che la direzione più efficace causalmente per il controllo è geometricamente distinta dalla direzione più linearmente decodificabile.

3. Robustezza

L'intervento si è dimostrato sensibile allo schema ma non esclusivamente alla stringa letterale superficiale. Quando testato con trasferimento cross-format (da Markdown a JSON) e rinomina delle intestazioni, l'effetto di soppressione è persistito anche quando la parola letterale "Code" era assente, sebbene l'effetto fosse asimmetrico e dipendente dallo schema.

Significato e Rivendicazioni

Il documento sostiene di essere tra i primi ad applicare lo steering delle attivazioni a un comportamento che è esplicitamente non parametrico per costruzione. Il significato primario risiede nel dimostrare che:

1. Esiste il Controllo Causale: Nonostante la mancanza di codifica parametrica per gli strumenti nei pesi del modello, i vettori di steering ancorati alle intestazioni possono esercitare un controllo causale bidirezionale sul comportamento di invocazione degli strumenti.
2. Geometria Non Parametrica: Le proprietà geometriche dei vettori di steering dell'uso degli strumenti differiscono fondamentalmente da quelle dei concetti con base parametrica. L'irregolarità geometrica osservata (allineamento diffuso, basso overlap) è ipotizzata essere una conseguenza prevista della natura non parametrica degli strumenti, distinguendoli da concetti come il sentiment o il rifiuto.
3. Utilità Pratica: Il metodo offre un meccanismo di inferenza senza parametri per mitigare l'uso eccessivo degli strumenti, in particolare nei domini in cui il ragionamento parametrico è sufficiente, senza il costo del riaddestramento.

Gli autori concludono che, sebbene l'efficacia causale dello steering sia chiara, la relazione tra questa efficacia e l'osservata irregolarità geometrica rimane una questione aperta, potenzialmente legata alla struttura di dipendenza multi-turno delle traiettorie aumentate dagli strumenti.