🤖 AI

Query Circuits: Explaining How Language Models Answer User Prompts

Questo articolo introduce i "query circuits", un metodo per tracciare il flusso di informazioni specifico dell'input all'interno dei modelli linguistici per fornire spiegazioni fedeli, scarse e computazionalmente accessibili per i singoli output, validate da una nuova metrica chiamata Normalized Deviation Faithfulness (NDF) e dimostrate attraverso molteplici benchmark.

Autori originali: Tung-Yu Wu, Fazl Barez

Pubblicato 2026-06-02

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Tung-Yu Wu, Fazl Barez

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina un Modello di Linguaggio di Grandi Dimensioni (LLM) come una città enorme e frenetica con milioni di strade, incroci e semafori. Quando poni al modello una domanda (un "prompt"), è come inviare un camion per le consegne attraverso questa città per consegnare una risposta.

Per molto tempo, i ricercatori hanno cercato di capire come funziona questa città mappando i modelli di traffico generali. Sanno, ad esempio, che la "Rotta A" viene sempre utilizzata quando la città deve trovare un oggetto nascosto, o che la "Rotza B" viene utilizzata per problemi matematici. Questi sono chiamati circuiti di capacità.

Tuttavia, conoscere la rotta generale non spiega perché il camion abbia preso un percorso specifico per la tua specifica consegna oggi. Forse c'è stato un cantiere, una deviazione improvvisa o un semaforo particolare che ha avuto importanza solo per quel viaggio specifico.

Questo articolo introduce un nuovo modo di guardare la città: i Circuiti di Query. Invece di guardare la mappa generale, gli autori vogliono tracciare l'esatto, minuscolo percorso che il camion ha seguito per la tua specifica domanda.

Ecco una scomposia della loro scoperta utilizzando analogie semplici:

1. Il Problema: La mappa "Surrogata" era sbagliata

In precedenza, per comprendere un viaggio specifico, i ricercatori cercavano di costruire un modello della città piccolo e semplificato (un "surrogato") e tracciavano il percorso lì.

L'Analogia: Immagina di cercare di capire un ingorgo complicato a New York costruendo un modello giocattolo della città usando i LEGO. Tracci il percorso sui LEGO, sperando che corrisponda alla vera città.
Il Problema: L'articolo sostiene che questi modelli LEGO spesso non corrispondono perfettamente alla vera città. Mancano di dettagli e costruirli è lento e costoso. Gli autori volevano tracciare il percorso direttamente sulla vera città (il modello reale) senza aver bisogno di una versione giocattolo.

2. La Soluzione: La Lotteria "Best-of-N"

Gli autori hanno scoperto che trovare l'esatto percorso per una singola domanda specifica è sorprendentemente difficile. Se guardi solo i semafori per una singola domanda, i dati sono spesso "rumorosi" (come l'interferenza su una radio), rendendo difficile vedere il vero percorso.

L'Analogia: Immagina di cercare di trovare un biglietto della lotteria vincente, ma i numeri sul biglietto sono leggermente sfocati. Se provi a scegliere il vincitore basandoti su un solo biglietto, potresti scegliere quello sbagliato.
La Soluzione: Gli autori propongono un metodo chiamato Best-of-N (BoN).
1. Prendi la tua domanda originale.
2. Fai la stessa domanda al modello ma formulala in 9 modi diversi (parafrasi). È come chiedere: "Di che colore è il cielo?" rispetto a "Descrivi il colore del cielo in una giornata limpida".
3. Traccia il percorso per tutte le 10 versioni.
4. Scegli il vincitore: Scegli il percorso che ha funzionato meglio.
Il Risultato: Anche se la domanda originale era "sfocata", una delle versioni parafrasate era abbastanza chiara da rivelare il vero percorso nascosto. Controllando più versioni, hanno trovato un "biglietto vincente" che spiega accuratamente come il modello ha risposto.

3. Il Nuovo Tabellone dei Punteggi: NDF

Per sapere se avevano trovato il percorso giusto, avevano bisogno di un modo per misurare il successo. Il vecchio tabellone dei punteggi (chiamato NFS) era rotto per le domande complesse; forniva punteggi come "200%" o "-50%", il che non aveva senso.

L'Analogia: È come un tachimetro che a volte dice che stai guidando all'indietro a 100 mph o in avanti a 500 mph quando in realtà stai guidando a 60.
La Soluzione: Hanno inventato un nuovo punteggio chiamato NDF (Normalized Deviation Faithfulness). Questo è un tachimetro affidabile che rimane sempre tra 0 e 1.
- 1.0 significa che il percorso che hanno trovato è perfetto (spiega esattamente la risposta del modello).
- 0.0 significa che il percorso è inutile.
- Questo nuovo tabellone dei punteggi permette loro di fidarsi delle proprie scoperte, anche su argomenti difficili come esami medici o astronomia.

4. La Grande Sorpresa: La Città è per lo più Vuota

La scoperta più eccitante è che, per una singola domanda, il modello non usa tutta la città. Utilizza solo un quartiere piccolo e specifico.

L'Analogia: Potresti pensare che un camion per le consegne debba usare il 50% delle strade della città per andare dal punto A al punto B. Ma gli autori hanno scoperto che, per una domanda specifica, il camion utilizza solo circa l'1,3% delle strade.
La Prova: Hanno dimostrato che se blocchi l'8,7% della città e lasci al camion l'uso di quel piccolo percorso dell'1,3%, esso può ancora rispondere alla domanda correttamente circa il 60% delle volte. Questo prova che il "cervello" del modello è incredibilmente sparso ed efficiente per i singoli compiti.

Riassunto

L'articolo introduce un nuovo strumento per spiegare esattamente come un'IA risponde a una specifica domanda.

Hanno smesso di usare "modelli giocattolo" e hanno guardato direttamente dentro la vera IA.
Si sono resi conto che porre la stessa domanda in modi diversi aiuta a rivelare la "verità" nascosta di come l'IA pensa.
Hanno creato un modo migliore per misurare se la loro spiegazione è corretta.
Hanno dimostrato che, per qualsiasi singola domanda, l'IA utilizza solo una piccola e specifica frazione del suo enorme cervello per portare a termine il lavoro.

Questo ci sposta dal sapere "come l'IA fa la matematica in generale" al comprendere "esattamente come l'IA ha risolto questo problema di matematica".

Sintesi Tecnica: Circuiti di Query: Spiegare come i Modelli di Linguaggio rispondono ai Prompt dell'Utente

1. Definizione del Problema

La ricerca attuale sull'interpretabilità meccanicistica si è concentrata ampiamente sulla scoperta di circuiti di capacità (capability circuit discovery), che identifica sottoreti globali responsabili di specifiche abilità algoritmiche (ad esempio, l'identificazione dell'oggetto indiretto o i confronti di tipo "maggiore di") attraverso un dataset. Sebbene preziosi, questi metodi non spiegano perché un Large Language Model (LLM) produca un output specifico per una singola, specifica query di un utente (spiegazione a livello di istanza).

Gli approcci esistenti ai circuiti a livello di istanza si affidano pesantemente a modelli surrogati, come gli Autoencoder Sparsi (SAE) o i Cross-Layer Transcoders (CLT). Questi surrogati sono spesso utilizzati per approssimare il comportamento dell'LLM poiché offrono attivazioni sparse che facilitano la scoperta dei circuiti. Tuttavia, l'articolo sostiene che questi surrogati spesso falliscono nel ricostruire fedelmente le attivazioni del modello originale e potrebbero non catturare i veri meccanismi computazionali dell'LLM. Inoltre, l'addestramento di questi surrogati è computazionalmente costoso, limitandone l'accessibilità.

Il documento introduce il compito della Scoperta di Circuiti di Query (Query Circuit Discovery): identificare una sottorete sparsa e fedele direttamente all'interno dell'LLM originale (in-place) che guida la risposta del modello a una singola query di input. Questo approccio mira a fornire spiegazioni locali, a livello di input, senza fare affidamento su potenzialmente infedeli modelli surrogati.

2. Metodologia

Gli autori propongono un framework per affrontare due sfide tecniche primarie nella scoperta di circuiti di query: l'instabilità delle metriche di valutazione esistenti e l'inefficacia dei metodi di scoperta standard su singole query.

2.1. Metrica di Valutazione: Deviazione Normalizzata della Fedeltà (NDF)

La metrica standard per la scoperta di circuiti, il Punteggio di Fedeltà Normalizzato (NFS), risulta instabile su dataset generali (ad es. MMLU). I valori di NFS fluttuano spesso selvaggiamente, superando 1 o scendendo sotto lo 0, rendendo impossibile tracciare in modo affidabile il progresso della scoperta o confrontare la qualità del circuito.

Per risolvere questo problema, gli autori introducono la Deviazione Normalizzata della Fedeltà (NDF):
$\text{NDF}(C_q) = 1 - \min\left( \left| \frac{L(M(q)) - L(C_q(q))}{L(M(q)) - L(M(q'))} \right|, 1 \right)$
Dove:

$M$ è l'LLM target.
$C_q$ è il circuito di query scoperto.
$q$ è la query originale, e $q'$ è una query corrotta (ad es. con rimozione di indizi fattuali chiave).
$L(\cdot)$ è una metrica di performance (ad es. differenza di logit).

Proprietà Chiave di NDF:

Limitata: È strettamente compresa nell'intervallo $[0, 1]$ .
Simmetrica: Penalizza equamente le deviazioni sopra e sotto la performance del modello.
Interpretabilità: Un punteggio di 1 indica che il circuito recupera perfettamente la performance del modello; 0 indica che la deviazione è pari al divario tra la query originale e quella corrotta.

2.2. Metodo di Scoperta: Campionamento Best-of-N (BoN)

I metodi standard di scoring degli archi (come l'Edge Attribution Patching, EAP) spesso falliscono nel trovare circuiti compatti e fedeli per singole query a causa del rumore del gradiente e del trascurare gli effetti combinatori tra gli archi. Gli autori osservano che, mentre un circuito scoperto su una specifica query potrebbe fallire, i circuiti scoperti su parafresi di quella query spesso hanno successo.

Sulla base di ciò, propongono il Campionamento Best-of-N (BoN):

Parafrasi: Generare $p$ parafrasi della query originale $q$ .
Scoring: Calcolare i punteggi di importanza degli archi (usando EAP-IG) per la query originale e tutte le parafrasi, ottenendo $p+1$ matrici di punteggio degli archi.
Selezione: Costruire $p+1$ circuiti candidati (uno per ogni matrice di punteggio) e selezionare quello con il punteggio NDF più alto.

Per migliorare l'efficienza ed evitare di eseguire l'LLM $p+1$ volte per ogni budget di archi, gli autori propongono due varianti:

BoN Interpolato (iBoN): Interpola tra due circuiti fedeli precedentemente scoperti di diverse dimensioni per formare un nuovo circuito senza passaggi forward aggiuntivi.
BoN con Matrice di Punteggio Adattiva al Vincolo (BoN-CSM): Aggrega le matrici di punteggio da tutti i circuiti precedentemente scoperti in una matrice di punteggio e una matrice di tier unificate, consentendo la costruzione efficiente di nuovi circuiti di varie dimensioni.

3. Contributi Chiave

Formulazione del Compito: Il documento definisce formalmente la Scoperta di Circuiti di Query, distinguendola dalla scoperta di circuiti di capacità globale e dagli approcci a livello di istanza basati su surrogati. Enfatizza il tracciamento del flusso di informazioni direttamente all'interno del modello originale.
Valutazione Robusta (NDF): Gli autori identificano l'instabilità di NFS su dataset generali e propongono NDF come una metrica più affidabile, limitata e simmetrica per valutare i circuiti di query.
Scoperta Efficiente (BoN): Introducono il campionamento Best-of-N e le sue varianti (iBoN, BoN-CSM) per superare i limiti del rumore del gradiente e degli effetti combinatori, consentendo la scoperta di circuiti compatti e fedeli per query in linguaggio naturale complesse.
Validazione Empirica: Il documento dimostra che esistono circuiti di query sparsi all'interno degli LLM che recuperano una parte significativa della performance del modello su singole query, anche per compiti complessi come MMLU e ARC Challenge.

4. Risultati Sperimentali

Gli autori hanno valutato i loro metodi attraverso molteplici benchmark: Indirect Object Identification (IOI), compiti aritmetici, ARC Challenge e nove categorie di MMLU.

Performance: Il campionamento BoN ha costantemente superato i baseline (scoring su singola query e media dei punteggi sulle parafrasi).
Sparsità: Su MMLU, un circuito di query contenente solo l'1,3% del totale degli archi del modello (circa 5.000 archi in Llama-3.2-1B-Instruct) ha raggiunto un NDF medio di 0,6, recuperando circa il 60% del comportamento del modello su quella query. Al contrario, l'EAP-IG standard richiedeva significativamente più archi (fino al 51,7% del modello) per raggiungere livelli di performance simili.
Sotto-circuiti Condivisi: L'analisi ha rivelato che, sebbene i circuiti di query varino in base alla parafrasi, essi condividono un set centrale di archi (un "sotto-circuito condiviso") che corrisponde alla capacità sottostante, a supporto dell'ipotesi che questi circuiti non siano "lottery tickets" casuali ma varianti di un meccanismo comune.
Azionabilità: In esperimenti riguardanti il bias di genere, i circuiti con punteggi NDF più elevati sono risultati essere più azionabili. Azzerare le feature identificate da circuiti ad alto NDF ha portato a una riduzione del bias significativamente maggiore rispetto ai circuiti a basso NDF, suggerendo che NDF sia un proxy affidabile per la capacità del circuito di catturare computazioni significative.

5. Significato e Rivendicazioni

Il documento sostiene che la Scoperta di Circuiti di Query rappresenti un passo significativo verso spiegazioni fedeli e scalabili di come i modelli di linguaggio elaborano i singoli input.

Fedeltà: Operando direttamente all'interno del modello (in-place) invece di fare affidamento su surrogati, le spiegazioni sono più fedeli ai reali meccanismi computazionali del modello.
Scalabilità: I metodi di campionamento BoN proposti consentono la scoperta di questi circuiti senza il costo computazionale proibitivo dell'addestramento di modelli surrogati o dell'esecuzione di eccessivi passaggi forward.
Praticità: La scoperta di sottoreti sparse (ad es. il 1,3% delle connessioni) che spiegano la maggior parte del comportamento del modello su specifiche query suggerisce che gli LLM elaborano i singoli input attraverso percorsi altamente localizzati, rendendoli suscettibili a un'analisi meccanicistica dettagliata.

Gli autori concludono che, sebbene rimangano delle sfide (come la gestione della generazione multi-token e l'automazione completa della etichettatura leggibile dall'uomo), il loro lavoro stabilisce un percorso pratico per spiegare le decisioni degli LLM a livello di prompt, il che è essenziale per l'implementazione in domini ad alto rischio come la medicina e i sistemi autonomi.