💬 NLP

Automated Attribution Graph Interpretation via Probe Prompting

Questo articolo introduce il "probe prompting", una pipeline trasparente basata su regole che raggruppa le caratteristiche nei grafi di attribuzione in supernodi allineati ai concetti tramite Cross-Prompt Activation Signatures, convalidando con successo il loro comportamento di steering causale attraverso domini fattuali con un overhead computazionale minimo.

Autori originali: Giuseppe Birardi, Gonçalo Paulo

Pubblicato 2026-06-09

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Giuseppe Birardi, Gonçalo Paulo

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina un Modello di Linguaggio di Grandi Dimensioni (LLM) come una città enorme e frenetica con milioni di lavoratori (neuroni) che si scambiano note per rispondere a una domanda. Sappiamo esattamente come le note vengono passate (la matematica), ma la città è così grande e le note così complesse che è impossibile per un essere umano guardare la mappa e dire: "Ah, questo specifico gruppo di lavoratori è responsabile del fatto che la capitale del Texas è Austin".

Questo articolo introduce un nuovo modo per mappare quella città, chiamato Probe Prompting. Ecco come funziona, usando semplici analogie:

1. Il Problema: Una Città Troppo Grande per Essere Letta

In precedenza, i ricercatori cercavano di comprendere il modello osservando gli "grafi di attribuzione". Immaginali come dei progetti che mostrano quali lavoratori hanno influenzato la risposta finale.

Il Probletto: Anche per una domanda semplice come "Qual è la capitale del Texas?", il progetto ha migliaia di linee e nodi. È come cercare di leggere un romanzo guardando ogni singola lettera individualmente. Ci vogliono ore per tracciare un solo percorso, e farlo per migliaia di domande è impossibile.
Il Vecchio Metodo: Alcuni ricercatori hanno cercato di chiedere a un'IA di etichettare questi lavoratori ("Questo riguarda il 'Texas'"). Ma spesso, l'IA stava solo indovinando in base a ciò che il lavoratore solitamente fa, non a ciò che ha effettivamente fatto in quel momento specifico.

2. La Soluzione: Il Detective "Probe"

Gli autori hanno creato un sistema trasparente e basato su regole chiamato Probe Prompting. Invece di indovinare, trattano il modello come un sospettato in un gioco investigativo.

La Configurazione: Prendono una domanda specifica (ad esempio, "La capitale del Texas è...") e generano un piccolo set di domande "probe" che sono quasi identiche ma scambiano i dettagli (ad esempio, "La capitale della Florida è...", "La capitale di New York è...").
Il Test: Osservano come reagiscono a queste probe determinati lavoratori (caratteristiche o features).
- Analogia: Immagina di avere un guardiano della sicurezza in un edificio. Per vedere cosa fa, non lo osservi solo una volta. Gli chiedi: "Cosa fai quando entra una persona di nome 'John'?" Poi, "E con 'Mary'?" Poi, "E con 'Bob'?"
- Se il guardiano reagisce solo quando entra "John", è un Rilevatore di John.
- Se reagisce a qualsiasi nome, è un Rilevatore di Nomi.
- Se reagisce quando qualcuno dice "è" o "il/la", è un Aiutante della Grammatica.

3. Raggruppare i Lavoratori: I "Supernodi"

In base a queste reazioni, il sistema raggruppa migliaia di singoli lavoratori in Supernodi.

La Magia: Inve di guardare 5.000 singoli lavoratori, il sistema dice: "Ok, questi 50 lavoratori si comportano tutti come 'Rilevatori del Texas', quindi chiamiamoli un unico grande team: Team Texas".
Il Risultato: La mappa della città, enorme e confusa, viene ora compressa in un diagramma semplice e leggibile con solo poche squadre nominate (ad esempio, Team Texas, Team Austin, Team "Capitale").

4. La Prova: L'Esperimento dello "Scambio"

Come facciamo a sapere che queste etichette sono reali e non solo un colpo di fortuna? Gli autori eseguono uno Scambio Causale.

L'Esperimento: Prendono una domanda su Dallas (dove la risposta dovrebbe essere Austin) e cercano di costringere il modello a rispondere Minnesota (dove la risposta è St. Paul).
Il Metodo: "Abbassano il volume" dei lavoratori etichettati come Team Dallas e "alzano il volume" dei lavoratori etichettati come Team Minnesota.
L'Esito:
- Quando hanno usato le etichette del loro Probe Prompting, il modello ha cambiato con successo la sua risposta da Dallas a Minnesota circa il 73% delle volte.
- Quando hanno usato un Controllo Casuale (scegliendo lavoratori a caso da scambiare, ignorando le etichette), il modello quasi mai cambiava correttamente la risposta.
- Quando hanno usato un Controllo di Influenza (scegliendo i lavoratori più "rumorosi" indipendentemente da ciò che fanno), anche il modello non riusciva a cambiare correttamente la risposta.

5. Risultati Chiave in Parole Semplici

Funziona: Il sistema ha identificato con successo quali lavoratori controllano effettivamente fatti specifici. Raggruppandoli, hanno reso leggibile il "cervello" del modello.
Meno è Meglio: A volte, cercare di controllare ogni parte della frase (il nome della città, il nome dello stato e la capitale) in realtà confonde il modello. Funziona meglio se si modificano solo le parti specifiche relative alla risposta (lo stato e la capitale).
È Trasparente: A differenza di alcuni metodi di IA che sono "scatole nere", questo sistema utilizza regole chiare e leggibili dall'uomo. Se un ricercatore vuole controllare il lavoro, può vedere esattamente perché un lavoratore è stato raggruppato con un team specifico.

Riassunto

Il documento presenta uno strumento che trasforma una mappa caotica e illeggibile del cervello di un modello linguistico in un diagramma pulito e con etichette. Lo fa testando come le sue parti reagiscono a domande leggermente diverse, raggruppando le parti simili e dimostrando che questi gruppi controllano effettivamente il comportamento del modello attraverso uno scambio controllato in un esperimento.

Cosa l'articolo NON afferma:

Non afferma che questo funzioni per ogni compito dell'IA (come scrivere codice o avere una conversazione); è stato testato specificamente su domande fattuali (come capitali, autori di libri e fondatori di aziende).
Non afferma di riparare il modello o di renderlo più intelligente; serve solo ad aiutare gli esseri umani a capire come funziona.
Non afferma di funzionare su tutte le lingue o su tutte le dimensioni dei modelli; i test sono stati eseguiti su un modello specifico in inglese (Gemma-2-2B).

Sintesi Tecnica: Interpretazione Automatica di Grafi di Attribuzione tramite Probe Prompting

Problematica
Sebbene i percorsi computazionali dall'input all'output nei Large Language Models (LLM) siano teoricamente noti, l'estrema densità di tali computazioni li rende opachi all'interpretazione umana. I metodi esistenti di interpretabilità meccanicistica, come gli Sparse Autoencoders (SAE) e i Cross-Layer Transcoders (CLT), riescono a decomporre le attivazioni dense del modello in feature sparse. Tuttavia, i grafi di attribuzione risultanti rimangono troppo vasti per un'analisi manuale; un singolo prompt fattuale breve può generare grafi con 600–5.000 nodi. Le attuali tecniche di interpretazione automatizzata, che spesso si affidano al punteggio di attivazioni del corpus da parte di un LLM, non riescono a fornire una validazione causale o approfondimenti sulle interazioni a livello di circuito. Esiste un bisogno critico di metodi di raggruppamento automatizzati, legati al comportamento, che possano scalare dai singoli casi di studio a grandi cataloghi di circuiti senza richiedere il tracciamento manuale.

Metodologia: Probe Prompting
Il documento introduce il probe prompting, una pipeline trasparente e basata su regole progettata per convertire complessi grafi di attribuzione in un set compatto di "supernodi" allineati ai concetti. La metodologia procede attraverso quattro fasi distinte:

Generazione del Grafo di Attribuzione: Utilizzando Neuronpedia e dizionari CLT, il sistema genera grafi di attribuzione per seed prompt (es. "La capitale dello stato che contiene Dallas è").
Generazione dei Probe Prompt: Per ogni seed, un LLM genera un piccolo set di probe prompt mirati a concetti specifici. Questi probe mantengono la struttura sintattica del seed (preposizioni, posizione della risposta) ma variano le entità del contenuto.
Cross-Prompt Activation Signatures (CPAS): Il sistema misura le attivazioni delle feature attraverso il set di probe. Invece di affidarsi a un singolo picco di un prompt (che è ambiguo), aggrega metriche come la coerenza del picco, la sparsità e la similarità del coseno rispetto al seed. Questa aggregazione forma una CPAS per ogni feature.
Formazione di Supernodi basata su Regole: Un albero decisionale deterministico mappa le metriche CPAS in uno dei quattro ruoli funzionali:
- Semantic-Dictionary (SEM-DICT): Feature che piccano costantemente su un singolo token semantico (es. "Texas").
- Semantic-Concept (SEM-CONC): Feature che piccano su una famiglia di token correlati (es. nomi di artisti).
- Relationship (REL): Feature con pattern di attivazione diffusi che codificano relazioni piuttosto che entità.
- Say-X (SAY-X): Feature che piccano su token funzionali (es. "è", "il") in posizioni prevedibili rispetto a un target semantico, promuovendo efficacemente l'output.
  Le feature che condividono lo stesso ruolo e nome vengono unite in un supernodo.

Protocollo di Validazione Causale
Per validare l'utilità di questi supernodi, gli autori impiegano un protocollo di intervento causale che prevede esperimenti di scambio di entità (entity-swap). Per una coppia sorgente-target (es. Dallas $\to$ Austin), il sistema abla le feature associate alla sorgente e amplifica le feature associate al target. Il successo è misurato in base al fatto che il modello reindirizzi la sua previsione verso l'entità target.

Fondamentalmente, il documento introduce due baseline rigorose per garantire che i risultati non siano artefatti del numero di feature o dell'influenza del grafo:

Matched-Random Control: Un set casuale di feature con lo stesso conteggio e distribuzione di layer del set etichettato, estratto al di fuori dei supernodi allineati ai concetti.
Influence-Matched Top-K Control: Una baseline che seleziona le prime $K$ feature per influenza nel grafo per far corrispondere il budget di influenza cumulativa dell'intervento etichettato.

Risultati Chiave
Il metodo è stato valutato su quattro domini fattuali (capitali degli stati USA, personaggi di libri, fondatori di aziende, artisti di pittura) utilizzando il modello Gemma-2-2B con un dizionario CLT pubblico, per un totale di 44.596 esecuzioni di intervento.

Superiorità rispetto alle Baseline: I supernodi etichettati hanno superato significativamente sia le baseline casuali che quelle a influenza corrispondente. Nel dominio USA, l'approccio etichettato ha ottenuto un Hit% del 72,8% (reindirizzamento riuscito) rispetto allo 0,7% del matched-random e al 4,2% della baseline d'influenza Top-K.
Efficienza vs Annotazione Umana: In un caso di studio che confronta la pipeline automatizzata con un grafo curato da umani per il prompt Dallas/Austin, il metodo automatizzato ha ottenuto tassi di successo comparabili (40/49 sorgenti vs 38/49 per l'umano), ma ha richiesto un set di feature più ampio (96,5 feature vs 4 feature per chiamata). Tuttavia, il metodo automatizzato ha identificato con successo percorsi di reindirizzamento che la cura umana aveva mancato per specifici stati sorgente, dimostrando non-ridondanza.
Additività di Campo (Field Additivity): Lo studio ha rilevato che "meno è meglio". Gli interventi focalizzati sui campi intermedi e di risposta (es. lo stato e la capitale) sono stati significativamente più efficaci rispetto all'inclusione del campo di input (la città), che spesso codifica ciò che il modello legge piuttosto che ciò che dovrebbe produrre.
Forza di Steering: L'ottimale moltiplicatore di amplificazione ( $M$ ) è risultato bimodale (con picchi intorno a $M \approx 2.4$ e $M \approx 6.9$ ), sfidando il valore standard $M=20$ usato nello steering di singola feature.

Significatività e Rivendicazioni
Il documento sostiene che il probe prompting dimostra che l'interpretabilità a livello di circuito può essere parzialmente automatizzata tramite una pipeline trasparente basata su regole. I suoi contributi primari sono:

Automazione del Raggruppamento dei Circuiti: Fornisce un metodo scalabile per raggruppare migliaia di feature in supernodi allineati ai concetti senza intervento manuale.
Framework di Validazione Causale: Stabilisce un harness robusto e indipendente dal metodo per valutare la qualità del raggruppamento attraverso controlli matched-random e influence-matched, affrontando la critica secondo cui i punteggi di interpretabilità possono essere ottenuti da modelli inizializzati casualmente.
Utilità Operativa: Le etichette risultanti non sono solo descrittive; sono operativamente utili per eseguire scambi di entità, fungendo da test rapido per verificare se le feature sono correttamente raggruppate in base al loro reale comportamento nel grafo computazionale.

Gli autori notano con modestia che le loro rivendicazioni coprono attualmente i Livelli 1 e 2 dell'astrazione causale (identificazione delle feature e dei loro ruoli funzionali), ma non rivendicano ancora il Livello 3 (identificazione meccanicistica completa delle variabili latenti). Riconoscono limitazioni, tra cui l'attuale restrizione alla memoria fattuale a due hop, il congelamento dell'attenzione durante la generazione del grafo (sebbene non durante l'intervento) e la dipendenza dai vocabolari di token funzionali in inglese. Il lavoro è presentato come un harness riutilizzabile per calibrare futuri metodi di raggruppamento contro interventi causali.