Riassunto Tecnico: Faithful-Patchscopes

1. Problema

I Large Language Models (LLM) hanno dimostrato la capacità di interpretare le proprie rappresentazioni interne nascoste attraverso il framework Patchscopes (Ghandeharioun et al., 2024). Questo framework decodifica gli stati nascosti in spiegazioni leggibili dall'uomo "patchando" una rappresentazione sorgente in un prompt target. Tuttavia, questo articolo identifica un limite critico: l'infedeltà sistematica in queste spiegazioni.

Gli autori osservano che gli LLM spesso si affidano a pattern linguistici inerenti (prior empirici) piuttosto che alle informazioni contestuali codificate nelle rappresentazioni nascoste durante il processo di decodifica. Ad esempio, se una rappresentazione nascosta codifica l'attributo "viola" per "broccoli" (contrariamente all'associazione comune dei broccoli con il "verde"), il modello frequentemente ignora il "viola" codificato e genera "verde" nella sua spiegazione. Questo comportamento è guidato dal bias del modello indotto da pattern linguistici sbilanciati nei dati di addestramento, dove le associazioni ad alta frequenza sovrastano gli attributi contestuali a bassa frequenza.

Il paper sostiene che i metodi di debiasing esistenti siano inadatti per Patchscopes:

• Supervised Fine-Tuning (SFT) richiede dataset annotati costosi e altera globalmente i parametri del modello, cambiando di fatto le rappresentazioni nascoste originali che Patchscopes mira a spiegare.
• I metodi basati su prompt sono instabili e altamente sensibili alla progettazione del prompt.
• Gli interventi con vettori di steering assumono che il bias esista in direzioni ben definite e linearmente separabili, il che è difficile da stimare in modo affidabile.

2. Metodologia

2.1. Dataset e Analisi

Per studiare sistematicamente questo problema, gli autori hanno costruito un dataset che copre quattro task: Colore, Genere, Cultura e Età.

• Sottoinsieme Biased (con bias): Contiene coppie sostantivo-attributo in cui il modello mostra una forte preferenza per un attributo primario ($a_{pri}$) basato sulla frequenza linguistica (es. broccoli $\rightarrow$ verde), mentre un attributo secondario ($a_{sec}$) è fornito contestualmente (es. broccoli $\rightarrow$ viola).
• Sottoinsieme Non-biased (senza bias): Contiene coppie in cui non esiste una forte preferenza linguistica.

Risultati:

• Legame Causale: Un'analisi di regressione logistica conferma che i pattern linguistici sbilanciati (gap di frequenza tra gli attributi) sono un determinante significativo del bias del modello. Un aumento di una deviazione standard nella differenza di frequenza aumenta le probabilità di bias di un fattore di ~9,3.
• Calo della Fedeltà: Nel sottoinsieme biased, la fedeltà del vanilla Patchscopes (misurata tramite lo Show Rate, ovvero il rapporto tra la generazione corretta dell'attributo) diminuisce in media del 18,84% rispetto al sottoinsieme non-biased.

2.2. Localizzazione dei Layer Sensibili al Bias

Gli autori propongono un metodo per identificare i layer specifici in cui il bias viene codificato e inizia a influenzare il calcolo a valle. Introducono due metriche:

1. Logit Difference (LD): Misura la differenza nei logit tra l'attributo allineato al contesto e l'attributo biased in ogni layer utilizzando un approccio logit-lens.
2. Gradient Similarity Alignment (GSA): Misura l'allineamento tra il gradiente in uscita e la direzione dell'attributo per determinare se il modello si affida a informazioni biased o contestuali.

Queste metriche vengono combinate in un punteggio di selezione del layer ($l^*$) per identificare il layer ottimale per l'intervento. Gli autori hanno scoperto che il bias non è distribuito uniformemente ma emerge nei layer intermedi.

2.3. Soluzione Proposta: BALOR

Il paper introduce Bias Alignment through Logit Recalibration (BALOR), un intervento in fase di decodifica che mitiga il bias senza modificare i parametri del modello.

Meccanismo Core:
BALOR utilizza una coppia di prompt contrastivi:

• Target Prompt ($T$): Contiene la rappresentazione nascosta patchata (che codifica l'attributo contestuale).
• Contrastive Prompt ($T^*$): Sostituisce il segnaposto con il token originale, contenendo nessuna informazione contestuale, riflettendo quindi solo il bias/prior empirico del modello.

Ricalibrazione dei Logit:
Il metodo sottrae i logit scalati del prompt contrastivo dai logit del prompt target prima di applicare la funzione softmax:
$$p_{balor}(y | T) = \sigma \left[ (1 + \alpha) l_\theta(y | T) - \alpha l_\theta(y | T^*) \right]$$
Dove:

• $l_\theta(y | T)$ e $l_\theta(y | T^*)$ sono i logit pre-softmax.
• $\alpha$ è un iperparametro che controlla il livello di amplificazione.

Garanzia Teorica:
Il Teorema 4.1 dimostra che nello spazio dei log-odds, se un token è maggiormente supportato dall'evidenza patchata rispetto al prior contrastivo, BALOR aumenta monotonicamente la sua preferenza relativa all'aumentare di $\alpha$. Ciò isola efficacementamente la componente di bias e amplifica l'informazione contestuale.

Modalità:

• Shared (Modalità S): La distribuzione ricalibrata viene utilizzata per campionare i token per entrambi i prompt, mantenendo le sequenze sincronizzate.
• Divided (Modalità D): La ricalibrazione è applicata solo al prompt target; il prompt contrastivo decodifica con i logit originali.

3. Contributi Chiave

1. Dataset e Analisi: Progettazione di un dataset per valutare Patchscopes in condizioni di bias, dimostrando che il bias del modello limita fondamentalmente la fedeltà delle spiegazioni (causando una diminuzione delle prestazioni tra l'11,84% e il 28,47%).
2. BALOR: Introduzione di un metodo di decodifica per la ricalibrazione dei logit che mitiga il bias nella fase di inferenza, contrastando le rappresentazioni patchate contro i prior empirici.
3. Validazione Empirica: Conduzione di esperimenti estesi su quattro moderni LLM (Llama2-7b, Llama3.2-1b, Llama3-8b, Qwen3-4b), mostrando che BALOR supera costantemente i baseline.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti in configurazioni zero-shot e few-shot attraverso i quattro task.

• Performance: BALOR (specificamente la Modalità S) ha superato costantemente tutti i baseline, inclusi Vanilla Patchscopes, i metodi di guidance tramite prompt (Closed-Book, Internal-Evidence, Data-Bound), SFT e FairSteer.
• Miglioramento: BALOR ha ottenuto un miglioramento relativo della performance fino al 33% nello Show Rate (SR) rispetto al baseline vanilla.
• Stabilità: La Modalità S ha dimostrato un'alta stabilità attraverso diversi iperparametri ($\alpha$) e temperature di campionamento. La Modalità D ha mostrato maggiore variabilità e occasionali instabilità dovute alla divergenza di sequenza tra i prompt.
• Confronto:
  • I baseline basati su prompt erano instabili e spesso performavano peggio del baseline vanilla.
  • I metodi SFT degradavano significativamente quando i dati di fine-tuning entravano in conflitto con i dati di valutazione.
  • FairSteer performava scarsamente quando la direzione di debiasing era inaccurata.

5. Significato e Rivendicazioni

Il paper sostiene che i pattern linguistici sbilanciati inducono un bias del modello che distorce la fedeltà delle spiegazioni delle rappresentazioni nascoste. Proponendo BALOR, gli autori forniscono un meccanismo per recuperare la vera informazione codificata nelle rappresentazioni nascoste senza alterare i parametri o le rappresentazioni interne del modello.

Gli autori sottolineano che il loro lavoro migliora la affidabilità dell'interpretabilità degli LLM. Affermano che, sebbene il loro metodo aumenti la fedeltà, le spiegazioni risultanti non dovrebbero essere trattate come prova definitiva del ragionamento del modello, ma dovrebbero essere utilizzate insieme a tecniche di valutazione complementari. Il lavoro mira ad aiutare i ricercatori a comprendere meglio come gli LLM codificano e utilizzano l'informazione contestuale, il che è cruciale per l'impiego affidabile di questi modelli. Gli autori non prevedono conseguenze sociali negative derivanti direttamente da questo lavoro.