How Language Models Process Negation

Technische Samenvatting: Hoe Taalmodellen Negatie Verwerken

Probleemstelling
Grote Taalmodellen (LLMs) falen frequent bij queries die negatie bevatten (bijvoorbeeld: "Een dier dat geen amfibie is, is een __"), waarbij ze vaak het positieve concept ("kikker") outputten in plaats van het correcte genegatieve concept ("hond"). Hoewel eerdere Mechanistische Interpretabiliteit (MI) werk heeft vastgesteld dat modellen feitelijke herinnering verwerken via additieve aggregatie van bewijs, past negatie niet in dit paradigma. Het paper onderzoekt de interne mechanismen van LLMs om te bepalen of ze de capaciteit bezitten om negatie te verwerken en, zo ja, waarom ze deze capaciteit niet manifesteren in de uiteindelijke outputs. De auteurs adresseren twee concurrerende hypothesen over hoe modellen negatie hanteren: de Suppressie-hypothese (het model promoot relevante concepten en onderdrukt het genegatieve token) en de Constructie-hypothese (het model construeert expliciet een nieuwe representatie voor de genegatieve frase, bijvoorbeeld "niet gas" representeren als een vector voor "vast").

Methodologie
De studie maakt gebruik van een gecontroleerde dataset van 648 prompts in de vorm "X dat niet Y is, is Z", waarbij modellen zoals Llama-3.1-8B, Mistral-7B en diverse OLMo2 checkpoints worden ingezet. De auteurs passen een reeks observationele en causale interpretabiliteitstechnieken toe:

1. Sensitiviteitsmetrieken: De auteurs definiëren een sensitiviteitsmetriek gebaseerd op logit-verschillen om te bepalen of modellen intern onderscheid maken tussen positieve en negatieve prompts, zelfs wanneer de nauwkeurigheid laag is.
2. Attention Sinking: Een nieuwe ablatiemethode geïspireerd door attention sink-fenomenen. Door attention-heads te beperken tot alleen naar zichzelf en het eerste token te attenderen, nullificeren de auteurs effectief specifieke attention-modules. Ze passen Cumulatief Attention Sinking toe (ablatie van alle lagen vanaf een specifiek punt tot het einde) om lagen te identificeren waar "shortcut"-mechanismen resideerden.
3. Path Patching en LogitLens: Deze technieken worden gebruikt om causale paden te traceren. Path patching vervangt attention-outputs van negatieve prompts door die van positieve prompts om predictie-flips waar te nemen. LogitLens projecteert intermediaire hidden states op de vocabulaire om de semantische inhoud van interne representaties te interpreteren.
4. Sparse Autoencoders (SAEs): Gebruikt om MLP-outputs te decomponeren in sparse latente features, waardoor identificatie mogelijk is van specifieke neuronen die genegatieve concepten promoten.
5. LLM-gebaseerde Annotatie: Een geautomatiseerde pipeline met behulp van een externe LLM (gpt-oss-120b) om te labelen of tokens die door interne attention-heads worden gepromoot, semantisch gerelateerd zijn aan "niet Y" of het oorspronkelijke concept "Y".

Belangrijkste Bevindingen

• Coëxistentie van Mechanismen: Het paper demonstreert dat LLMs interne mechanismen bezitten die negatie correct kunnen verwerken, maar deze worden vaak overschaduwd door "shortcut"-mechanismen in latere lagen.
• Shortcut Attention-heads: De auteurs identificeren specifieke attention-heads in de midden- tot late lagen (typisch >50% door de modeldiepte) die positieve antwoorden promoten op negatieve prompts. Deze head's vertrouwen op spurious correlaties (bijvoorbeeld co-occurrentie van "amfibie" en "kikker") in plaats van logische negatie. Ablatie van deze head's via Attention Sinking verbetert de nauwkeurigheid op negatie aanzienlijk (bijvoorbeeld van ~50% naar ~68% op Llama-3.1-8B).
• Constructie-dominante Verwerking: Het primaire mechanisme voor correcte negatie is Constructie, niet suppressie.
  • Vroege/Midden-lagen: Attention-heads verplaatsen de representatie van het negatietoken ("niet") naar de positie van het concept dat wordt genegatieve ("Y").
  • Midden-lage Constructie: Causaal belangrijke attention-modules (rond laag 14 in Llama-3.1-8B) construeren expliciet een genegatieve representatie ($\bar{Y}$). LogitLens-analyse toont aan dat deze lagen tokens die semantisch gerelateerd zijn aan het genegatieve concept (bijvoorbeeld "vast" voor "niet gas") in meer dan 80% van de gevallen promoten.
  • Suppressie: Hoewel het model het oorspronkelijke concept "Y" wel onderdrukt, gebeurt dit in mindere mate dan de constructie van het genegatieve concept.
• Rol van MLP: Late-laag MLP's versterken de geconstrueerde genegatieve representatie en promoten het correcte uiteindelijke antwoord. SAE-analyse onthult specifieke latenten die deze genegatieve concepten direct instanteren.
• Pre-training Oorsprong: De shortcut-mechanismen die verantwoordelijk zijn voor fouten, worden teruggevoerd naar vroege stadia van pre-training, waarbij modellen een bias ontwikkelen naar positieve antwoorden op negatieve prompts.

Belangrijkste Bijdragen

1. Diagnose van Negatiefouten: De auteurs tonen aan dat LLM-fouten bij negatie niet het gevolg zijn van een gebrek aan interne capaciteit, maar eerder van de dominantie van shortcut-mechanismen in latere lagen.
2. Interventiemethode: De introductie van Attention Sinking als plug-and-play interventie die shortcut-gedrag mitigeert en de nauwkeurigheid op negatie herstelt zonder extra training.
3. Mechanistisch Rekenwerk: Een gedetailleerde, causale kaart van negatieverwerking, die vaststelt dat modellen zowel constructie als suppressie implementeren, waarbij constructie het dominante mechanisme is. Het paper identificeert systematisch hoe attention "niet" naar "Y" verplaatst, $\bar{Y}$ construeert, en hoe MLP's het uiteindelijke antwoord promoten.

Betekenis
Het paper betoogt dat lage black-box-nauwkeurigheid het bestaan van capabele interne mechanismen kan maskeren. Door te onthullen dat LLMs ensembles zijn van concurrerende mechanismen (correcte negatieverwerking versus shortcut-heuristieken), benadrukt het werk de noodzaak om modelinterieurs grondig te inspecteren om modelcapaciteiten volledig te auditeren. De bevindingen verdiepen het begrip van hoe LLMs compositief redeneren uitvoeren en suggereren dat "constructie" een meer centrale computationele strategie voor negatie is dan eerder werd aangenomen. De auteurs concluderen dat hun werk een fundament biedt voor het bouwen van robuustere en betrouwbaardere LLMs door deze concurrerende interne mechanismen te begrijpen en te mitigeren.