How Language Models Process Negation

Sintesi Tecnica: Come i Modelli Linguistici Elaborano la Negazione

Enunciato del Problema
I Large Language Models (LLM) falliscono frequentemente su query che coinvolgono la negazione (ad esempio, "Un animale che non è un anfibio è un __"), spesso producendo il concetto positivo ("rana") invece del concetto negato corretto ("cane"). Sebbene il lavoro precedente sull'Interpretabilità Meccanistica (MI) abbia stabilito che i modelli elaborano il richiamo fattuale tramite un'aggregazione additiva di prove, la negazione non si adatta a questo paradigma. Il documento indaga i meccanismi interni degli LLM per determinare se possiedono la capacità di elaborare la negazione e, in caso affermativo, perché falliscono nel manifestare tale capacità negli output finali. Gli autori affrontano due ipotesi concorrenti su come i modelli gestiscono la negazione: l'Ipotesi di Soppressione (il modello promuove concetti rilevanti e sopprime il token negato) e l'Ipotesi di Costruzione (il modello costruisce esplicitamente una nuova rappresentazione per la frase negata, ad esempio rappresentando "non gas" come un vettore per "solido").

Metodologia
Lo studio utilizza un dataset controllato di 648 prompt nella forma "X che non è Y è Z", impiegando modelli tra cui Llama-3.1-8B, Mistral-7B e vari checkpoint OLMo2. Gli autori applicano una serie di tecniche di interpretabilità osservativa e causale:

1. Metriche di Sensibilità: Gli autori definiscono una metrica di sensibilità basata sulle differenze dei logit per determinare se i modelli distinguono internamente tra prompt positivi e negativi, anche quando l'accuratezza è bassa.
2. Affondamento dell'Attenzione (Attention Sinking): Un metodo di ablazione innovativo ispirato al fenomeno dell'attention sink. Limitando le teste di attenzione ad attendere solo se stesse e al primo token, gli autori annullano efficacemente moduli di attenzione specifici. Applicano l'Affondamento Cumulativo dell'Attenzione (ablando tutti i livelli da un punto specifico fino alla fine) per identificare i livelli in cui risiedono i meccanismi "scorciatoia".
3. Path Patching e LogitLens: Queste tecniche sono utilizzate per tracciare percorsi causali. Il path patching sostituisce gli output di attenzione dai prompt negativi con quelli dai prompt positivi per osservare inversioni di previsione. LogitLens proietta gli stati intermedi nascosti sul vocabolario per interpretare il contenuto semantico delle rappresentazioni interne.
4. Autoencoder Sparsi (SAE): Utilizzati per decomporre gli output MLP in caratteristiche latenti sparse, consentendo l'identificazione di neuroni specifici che promuovono concetti negati.
5. Annotazione Basata su LLM: Una pipeline automatizzata che utilizza un LLM esterno (gpt-oss-120b) per etichettare se i token promossi dalle teste di attenzione interne sono semanticamente correlati a "non Y" o al concetto originale "Y".

Risultati Chiave

• Coesistenza di Meccanismi: Il documento dimostra che gli LLM possiedono meccanismi interni capaci di elaborare correttamente la negazione, ma questi sono spesso oscurati da meccanismi "scorciatoia" negli strati successivi.
• Teste di Attenzione Scorciatoia: Gli autori identificano specifiche teste di attenzione negli strati medio-tardivi (tipicamente >50% della profondità del modello) che promuovono risposte positive su prompt negativi. Queste teste si basano su correlazioni spurie (ad esempio, la co-occorrenza di "anfibio" e "rana") piuttosto che sulla negazione logica. L'ablazione di queste teste tramite Affondamento dell'Attenzione migliora significativamente l'accuratezza sulla negazione (ad esempio, da ~50% a ~68% su Llama-3.1-8B).
• Elaborazione Dominata dalla Costruzione: Il meccanismo principale per la negazione corretta è la Costruzione, non la soppressione.
  • Strati Iniziali/Medi: Le teste di attenzione spostano la rappresentazione del token di negazione ("non") alla posizione del concetto che viene negato ("Y").
  • Costruzione negli Strati Medi: Moduli di attenzione causalmente importanti (intorno al livello 14 in Llama-3.1-8B) costruiscono esplicitamente una rappresentazione negata ($\bar{Y}$). L'analisi LogitLens mostra che questi livelli promuovono token semanticamente correlati al concetto negato (ad esempio, "solido" per "non gas") in oltre l'80% dei casi.
  • Soppressione: Sebbene il modello sopprima il concetto originale "Y", ciò avviene in misura minore rispetto alla costruzione del concetto negato.
• Ruolo degli MLP: Gli MLP degli strati tardivi amplificano la rappresentazione negata costruita, promuovendo la risposta finale corretta. L'analisi SAE rivela latenti specifici che istanziano direttamente questi concetti negati.
• Origine nel Pre-training: I meccanismi scorciatoia responsabili dei fallimenti sono rintracciabili nelle fasi iniziali del pre-training, dove i modelli sviluppano un pregiudizio verso risposte positive su prompt negativi.

Contributi Chiave

1. Diagnosi dei Fallimenti nella Negazione: Gli autori dimostrano che i fallimenti degli LLM sulla negazione non sono dovuti a una mancanza di capacità interna, ma piuttosto al dominio dei meccanismi scorciatoia negli strati successivi.
2. Metodo di Intervento: L'introduzione dell'Affondamento dell'Attenzione come intervento plug-and-play che mitiga i comportamenti scorciatoia e recupera l'accuratezza sulla negazione senza ulteriore addestramento.
3. Spiegazione Meccanistica: Una mappa causale dettagliata dell'elaborazione della negazione, che stabilisce che i modelli implementano sia la costruzione che la soppressione, con la costruzione come meccanismo dominante. Il documento identifica sistematicamente come l'attenzione sposti "non" su "Y", costruisca $\bar{Y}$ e come gli MLP promuovano la risposta finale.

Significato
Il documento sostiene che una bassa accuratezza in modalità black-box può mascherare l'esistenza di meccanismi interni capaci. Rivelando che gli LLM sono insiemi di meccanismi in competizione (elaborazione corretta della negazione vs. euristiche scorciatoia), il lavoro sottolinea la necessità di ispezionare approfonditamente gli interni del modello per auditare completamente le capacità del modello. I risultati approfondiscono la comprensione di come gli LLM eseguano il ragionamento composizionale e suggeriscono che la "costruzione" è una strategia computazionale più centrale per la negazione di quanto precedentemente assunto. Gli autori concludono che il loro lavoro fornisce una base per costruire LLM più robusti e affidabili comprendendo e mitigando questi meccanismi interni in competizione.