Intrinsic Self-Correction in LLMs: Towards Explainable Prompting via Mechanistic Interpretability

Riassunto Tecnico: Autocorrezione Intrinseca nei LLM tramite Interpretabilità Meccanicistica

1. Il Problema (Problem Statement)

L'autocorrezione intrinseca è il fenomeno per cui un Large Language Model (LLM) affina i propri output esclusivamente attraverso il prompting (istruzioni testuali), senza ricevere feedback esterni o aggiornamenti dei parametri. Sebbene sia stato dimostrato che questo approccio migliori le prestazioni in compiti come il ragionamento matematico o la generazione di codice, il meccanismo interno che guida questo cambiamento rimane oscuro. Le ricerche precedenti si sono concentrate su aspetti probabilistici (incertezza del modello) o sulla capacità di "probing" (identificazione di concetti), ma non hanno spiegato come il prompting sposti causalmente le rappresentazioni interne del modello durante la generazione.

2. Metodologia (Methodology)

Gli autori propongono un approccio basato sull'interpretabilità meccanicistica per verificare se l'autocorrezione agisca come un "pilotaggio" (steering) delle rappresentazioni lungo direzioni latenti interpretabili. La metodologia si articola in quattro fasi:

• Analisi dello Shift Indotto dal Prompt (Prompt-Induced Shifts): Viene definita una metrica ($\ell_{k+1}$) che misura lo spostamento medio delle attivazioni nello spazio delle rappresentazioni tra un round di generazione e quello successivo. Questo quantifica come il prompting "sposti" la risposta precedente nello spazio latente.
• Costruzione di Vettori di Steering (Steering Vectors): Utilizzando coppie contrastive (prompt tossici vs. non tossici), gli autori estraggono direzioni latenti interpretabili ($\mu^{(l)}$) tramite la differenza tra le medie delle attivazioni.
• Intervento sulle Attivazioni (Activation Intervention): Per testare la causalità, gli autori applicano la tecnica dell'Activation Addition (ActAdd), iniettando i vettori di steering direttamente nelle attivazioni del modello per vedere se possono forzare il comportamento desiderato (detossificazione o tossificazione).
• Misurazione dell'Allineamento: Viene calcolata la similarità del coseno tra lo shift indotto dal prompt ($\ell$) e il vettore di steering ($\mu$) per verificare se il prompting segue la stessa direzione semantica identificata sperimentalmente.

3. Contributi Chiave (Key Contributions)

1. Nuovo Framework Analitico: Introduzione di una metodologia per studiare l'autocorrezione attraverso gli spostamenti delle rappresentazioni nello spazio latente.
2. Identificazione del Meccanismo Causale: Dimostrazione che l'autocorrezione non è solo un cambiamento statistico nell'output, ma un pilotaggio (steering) delle rappresentazioni interne lungo direzioni semantiche specifiche.
3. Validazione Sperimentale su Larga Scala: Test su sei modelli open-source diversi (tra cui Qwen, Mistral e Zephyr) che coprono vari paradigmi di allineamento (DPO, Instruction-tuned, RL).

4. Risultati (Results)

• Efficacia del Prompting: Sia la detossificazione che la tossificazione funzionano correttamente. La detossificazione è efficace anche con prompt "deboli", mentre la tossificazione richiede istruzioni più forti. La maggior parte del cambiamento avviene nel primo round di autocorrezione.
• Causalità confermata: L'iniezione dei vettori di steering (interventi sulle attivazioni) produce cambiamenti comportamentali coerenti con l'obiettivo (riduzione o aumento della tossicità), confermando che queste direzioni latenti sono i motori del comportamento.
• Allineamento delle Rappresentazioni: Esiste un'alta similarità del coseno tra lo shift indotto dal prompt e i vettori di steering, specialmente nei primi round. Lo shift segue la direzione corretta: positivo per la detossificazione e negativo per la tossificazione. Questo allineamento raggiunge il picco negli strati (layers) medi e tardivi del modello.

5. Significato e Implicazioni (Significance)

Il lavoro sposta la comprensione dell'autocorrezione da una visione puramente comportamentale o probabilistica a una visione meccanicistica. Dimostrare che il prompting agisce come un operatore di steering nello spazio delle rappresentazioni offre una via diretta per:

• Spiegabilità (XAI): Fornire spiegazioni matematiche e interpretabili al perché un modello cambia risposta dopo un prompt.
• Controllo del Modello: Utilizzare vettori di steering per controllare il comportamento dei modelli in modo più preciso e leggero rispetto al fine-tuning.
• Estensione a nuovi compiti: Il framework può essere applicato per analizzare altri processi guidati dal prompt, come il ragionamento Chain-of-Thought (CoT).