💻 computer science

How Language Models Process Negation

Diese Arbeit untersucht die mechanistische Verarbeitung von Negation in Large Language Models und zeigt auf, dass zwar eine geringe Genauigkeit auf Attention-Shortcuts in den späteren Schichten zurückzuführen ist, die Modelle intern jedoch sowohl unterdrückende als auch konstruktive Mechanismen einsetzen – wobei Letztere dominieren –, um negative Phrasen korrekt zu verarbeiten.

Ursprüngliche Autoren: Zhejian Zhou, Tianyi Zhou, Robin Jia, Jonathan May

Veröffentlicht 2026-05-06

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhejian Zhou, Tianyi Zhou, Robin Jia, Jonathan May

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Large Language Model (LLM) als hochqualifizierte, aber leicht abgelenkte Bibliothekarin vor, die versucht, eine Frage zu beantworten. Der von Ihnen bereitgestellte Artikel „How Language Models Process Negation" untersucht, was im Gehirn dieser Bibliothekarin passiert, wenn Sie eine knifflige Frage stellen, die das Wort „nicht" enthält.

Hier ist die Geschichte ihrer Erkenntnisse, aufgeschlüsselt in einfache Konzepte.

1. Das Problem: Die Bibliothekarin wird durch „nicht" verwirrt

Die Forscher begannen mit einer einfachen Beobachtung: Wenn Sie eine moderne KI fragen: „Was ist ein Tier, das kein Amphibium ist?", gibt sie oft eine falsche Antwort, wie etwa „Frosch" (was ein Amphibium ist). Es scheint, als würde die KI das Wort „nicht" völlig ignorieren.

Der Artikel enthüllt jedoch eine überraschende Wendung: Die KI versteht „nicht" tatsächlich perfekt. Es ist nur so, dass ihr Verständnis unter einer Schicht schlechter Gewohnheiten begraben wird.

2. Die zwei konkurrierenden Mechanismen: Der „Konstruktions"-Ansatz versus der „Abkürzungs"-Ansatz

Um zu verstehen, wie die KI denkt, untersuchten die Forscher zwei verschiedene Wege, auf denen sie einen negativen Satz verarbeiten könnte. Sie verglichen diese mit zwei verschiedenen Wegen, auf denen eine Person ein Rätsel lösen könnte:

Hypothese 1: Die „Unterdrückungs"-Strategie (der Radiergummi)
Stellen Sie sich vor, Sie haben eine Liste von Tieren. Um auf „kein Amphibium" zu antworten, nehmen Sie die Liste, finden die „Amphibien" und verwenden einen Radiergummi, um sie durchzustreichen. Ihnen bleibt alles andere übrig.
- Die Erkenntnis des Artikels: Die KI macht dies ein wenig, aber es ist nicht die Hauptweise, wie sie funktioniert.
Hypothese 2: Die „Konstruktions"-Strategie (der Architekt)
Stellen Sie sich vor, anstatt zu radieren, baut die KI ein brandneues mentales Bild auf. Wenn sie „kein Gas" hört, denkt sie nicht einfach an „Gas" und streicht es durch. Sie konstruiert aktiv ein neues Konzept in ihrem Geist: „Feststoff". Sie baut ein mentales Modell davon auf, wie das Gegenteil aussieht.
- Die Erkenntnis des Artikels: Dies ist der Gewinner. Die KI ist hauptsächlich ein Architekt. Sie baut aktiv eine Repräsentation des negativen Konzepts auf (z. B. wandelt sie „kein Gas" in „Feststoff" um) und nutzt dies, um die Antwort zu finden.

3. Der Bösewicht: Die „Abkürzungs"-Gewohnheit

Wenn die KI also so gut darin ist, diese „negativen Konzepte" zu konstruieren, warum liefert sie dann immer noch falsche Antworten?

Der Artikel identifiziert eine Gruppe von „böswilligen Akteuren" im Gehirn der KI, speziell in den späteren Schichten (den letzten Schritten, bevor die KI spricht). Die Forscher nennen diese „Shortcut-Aufmerksamkeitsköpfe".

Die Analogie: Stellen Sie sich vor, die KI ist ein Schüler, der eine Prüfung schreibt. Der Schüler kennt die richtige Antwort (weil er das Konzept „kein Gas" = „Feststoff" konstruiert hat). Aber kurz bevor er die Antwort hinschreibt, flüstert ein fauler Teil seines Gehirns: „Hey, ich habe das Wort 'Amphibium' und 'Frosch' eine Million Mal zusammen in meinem Training gesehen. Schreib einfach 'Frosch' und spare Zeit!"
Das Ergebnis: Diese „Abkürzung" überschreibt die intelligente „Konstruktions"-Arbeit. Die KI ignoriert die Logik und rät einfach basierend darauf, welche Wörter normalerweise zusammen auftreten.

4. Die Lösung: Die schlechten Gewohnheiten ausschalten

Die Forscher testeten einen cleveren Trick, um dies zu beweisen. Sie verwendeten eine Methode, die sie „Attention Sinking" nennen.

Die Analogie: Stellen Sie sich vor, Sie hören einem Chor zu. Die „Abkürzung" ist ein lauter, falsch singender Sänger in der hinteren Reihe, der den Solisten übertönt. Die Forscher versuchten nicht, dem Chor beizubringen, besser zu singen; sie schalteten einfach den lauten, falsch singenden Sänger stumm.
Das Ergebnis: Als sie diese spezifischen Abkürzungsmodule in den späteren Schichten „stumm schalteten" (ablatierten), stieg die Genauigkeit der KI bei negativen Fragen in die Höhe. Sie begann plötzlich, die richtigen Antworten zu geben, was bewies, dass die Fähigkeit, Negation zu verstehen, die ganze Zeit da war, nur durch die Abkürzung verborgen.

5. Die Reise des Gedankens

Der Artikel kartografiert genau, wie der Denkprozess durch die KI wandert:

Frühe Schichten (die Verschieber): Die KI nimmt das Wort „nicht" und bewegt seine Bedeutung physisch, sodass es direkt neben dem Wort sitzt, das es negiert (z. B. bewegt sie „nicht" neben „Gas").
Mittlere Schichten (die Erbauer): Hier passiert die Magie. Die KI konstruiert das neue Konzept („Feststoff") und schiebt es nach vorne. Gleichzeitig versucht sie schwach, das alte Konzept („Gas") zu unterdrücken.
Späte Schichten (die Saboteure): Genau als die KI sprechen will, greifen die „Abkürzungs"-Köpfe ein. Sie sehen das Wort „Gas" und das Wort „Amphibium" und versuchen, die Antwort zurück zur häufigsten Assoziation zu zwingen, wobei sie das „Feststoff"-Konzept ignorieren, das die KI gerade konstruiert hat.

Zusammenfassung

Der Artikel kommt zu dem Schluss, dass Large Language Models nicht schlecht darin sind, „nicht" zu verstehen. Sie sind tatsächlich ziemlich gut darin und verwenden eine ausgeklügelte „Konstruktions"-Methode, um die Bedeutung negativer Phrasen aufzubauen.

Allerdings werden sie von schlechten Gewohnheiten (Abkürzungen) überwältigt, die während ihres Trainings gelernt wurden. Diese Abkürzungen sind so stark, dass sie oft die korrekte Logik überschreiben und zu Fehlern führen. Indem sie diese Abkürzungen identifizierten und vorübergehend ausschalteten, zeigten die Forscher, dass die wahre, logische Fähigkeit der KI viel stärker ist als ihre endgültige Ausgabe vermuten lässt.

Kurz gesagt: Die KI kennt die Antwort, hat aber die schlechte Gewohnheit, den einfachen Ausweg zu erraten. Wenn Sie sie daran hindern, die Abkürzung zu nehmen, bekommt sie es richtig.

Technische Zusammenfassung: Wie Sprachmodelle Negation verarbeiten

Problemstellung
Large Language Models (LLMs) scheitern häufig an Abfragen, die eine Negation beinhalten (z. B. „Ein Tier, das kein Amphib ist, ist ein __"), und geben oft das positive Konzept („Frosch") statt des korrekten negierten Konzepts („Hund") aus. Während frühere Arbeiten zur Mechanistischen Interpretierbarkeit (MI) gezeigt haben, dass Modelle Faktenabruf durch additive Aggregation von Evidenz verarbeiten, passt Negation nicht in dieses Paradigma. Die Studie untersucht die internen Mechanismen von LLMs, um festzustellen, ob sie die Fähigkeit besitzen, Negation zu verarbeiten, und wenn ja, warum sie diese Fähigkeit in den endgültigen Ausgaben nicht manifestieren. Die Autoren befassen sich mit zwei konkurrierenden Hypothesen darüber, wie Modelle mit Negation umgehen: der Unterdrückungshypothese (das Modell fördert relevante Konzepte und unterdrückt das negierte Token) und der Konstruktionshypothese (das Modell konstruiert explizit eine neue Repräsentation für die negierte Phrase, z. B. „nicht Gas" als Vektor für „fest" darstellend).

Methodik
Die Studie verwendet einen kontrollierten Datensatz von 648 Prompts in der Form „X, das kein Y ist, ist Z", wobei Modelle wie Llama-3.1-8B, Mistral-7B und verschiedene OLMo2-Checkpoints eingesetzt werden. Die Autoren wenden eine Reihe von beobachtenden und kausalen Interpretierbarkeitstechniken an:

Sensitivitätsmetriken: Die Autoren definieren eine Sensitivitätsmetrik auf Basis von Logit-Unterschieden, um festzustellen, ob Modelle intern zwischen positiven und negativen Prompts unterscheiden, selbst wenn die Genauigkeit gering ist.
Attention Sinking: Eine neuartige Ablationsmethode, die von Attention-Sink-Phänomenen inspiriert ist. Indem die Autoren die Aufmerksamkeitsköpfe darauf beschränken, nur auf sich selbst und das erste Token zu achten, können sie spezifische Aufmerksamkeitsmodule effektiv außer Kraft setzen. Sie wenden Kumulatives Attention Sinking an (Ablation aller Schichten ab einem bestimmten Punkt bis zum Ende), um Schichten zu identifizieren, in denen „Shortcut"-Mechanismen existieren.
Path Patching und LogitLens: Diese Techniken dienen dazu, kausale Pfade nachzuverfolgen. Path Patching ersetzt die Aufmerksamkeitsausgaben von negativen Prompts durch diejenigen von positiven Prompts, um Vorhersageumkehrungen zu beobachten. LogitLens projiziert intermediate versteckte Zustände auf das Vokabular, um den semantischen Inhalt interner Repräsentationen zu interpretieren.
Sparse Autoencoder (SAEs): Sie werden verwendet, um MLP-Ausgaben in spärliche latente Merkmale zu zerlegen, was die Identifizierung spezifischer Neuronen ermöglicht, die negierte Konzepte fördern.
LLM-basierte Annotation: Eine automatisierte Pipeline unter Verwendung eines externen LLM (gpt-oss-120b) zur Kennzeichnung, ob von internen Aufmerksamkeitsköpfen geförderte Tokens semantisch mit „nicht Y" oder dem ursprünglichen Konzept „Y" verwandt sind.

Wichtige Ergebnisse

Koexistenz von Mechanismen: Die Studie zeigt, dass LLMs über interne Mechanismen verfügen, die in der Lage sind, Negation korrekt zu verarbeiten, diese jedoch oft von „Shortcut"-Mechanismen in späteren Schichten überlagert werden.
Shortcut-Aufmerksamkeitsköpfe: Die Autoren identifizieren spezifische Aufmerksamkeitsköpfe in den mittleren bis späten Schichten (typischerweise >50 % der Modelltiefe), die bei negativen Prompts positive Antworten fördern. Diese Köpfe verlassen sich auf spuriose Korrelationen (z. B. das gemeinsame Vorkommen von „Amphib" und „Frosch") anstatt auf logische Negation. Die Ablation dieser Köpfe durch Attention Sinking verbessert die Genauigkeit bei negativen Abfragen erheblich (z. B. von ~50 % auf ~68 % bei Llama-3.1-8B).
Konstruktionsdominante Verarbeitung: Der primäre Mechanismus für korrekte Negation ist die Konstruktion, nicht die Unterdrückung.
- Frühe/Mittlere Schichten: Aufmerksamkeitsköpfe verschieben die Repräsentation des Negationstokens („nicht") auf die Position des zu negierenden Konzepts („Y").
- Konstruktion in mittleren Schichten: Kausal wichtige Aufmerksamkeitsmodule (um Schicht 14 bei Llama-3.1-8B) konstruieren explizit eine negierte Repräsentation ( $\bar{Y}$ ). LogitLens-Analysen zeigen, dass diese Schichten in über 80 % der Fälle Tokens fördern, die semantisch mit dem negierten Konzept verwandt sind (z. B. „fest" für „nicht Gas").
- Unterdrückung: Zwar unterdrückt das Modell das ursprüngliche Konzept „Y", dies geschieht jedoch in geringerem Maße als die Konstruktion des negierten Konzepts.
Rolle der MLPs: MLPs in späteren Schichten verstärken die konstruierte negierte Repräsentation und fördern die korrekte endgültige Antwort. Die SAE-Analyse offenbart spezifische latente Merkmale, die diese negierten Konzepte direkt instanziieren.
Ursprung im Pre-Training: Die für Fehler verantwortlichen Shortcut-Mechanismen lassen sich auf frühe Phasen des Pre-Trainings zurückführen, in denen Modelle eine Verzerrung hin zu positiven Antworten bei negativen Prompts entwickeln.

Wichtige Beiträge

Diagnose von Negationsfehlern: Die Autoren zeigen, dass LLM-Fehler bei Negation nicht auf mangelnde interne Fähigkeiten zurückzuführen sind, sondern auf die Dominanz von Shortcut-Mechanismen in späteren Schichten.
Interventionsmethode: Die Einführung von Attention Sinking als Plug-and-Play-Intervention, die Shortcut-Verhalten mindert und die Genauigkeit bei Negation ohne zusätzliches Training wiederherstellt.
Mechanistische Darstellung: Eine detaillierte, kausale Karte der Negationsverarbeitung, die feststellt, dass Modelle sowohl Konstruktion als auch Unterdrückung implementieren, wobei die Konstruktion der dominierende Mechanismus ist. Die Studie identifiziert systematisch, wie Aufmerksamkeit „nicht" zu „Y" bewegt, $\bar{Y}$ konstruiert und wie MLPs die endgültige Antwort fördern.

Bedeutung
Die Studie argumentiert, dass eine niedrige Black-Box-Genauigkeit die Existenz leistungsfähiger interner Mechanismen verschleiern kann. Indem aufgezeigt wird, dass LLMs Ensembles konkurrierender Mechanismen sind (korrekte Negationsverarbeitung vs. Shortcut-Heuristiken), unterstreicht die Arbeit die Notwendigkeit einer gründlichen Inspektion der Modellinterna, um Modellfähigkeiten vollständig zu auditieren. Die Ergebnisse vertiefen das Verständnis dafür, wie LLMs kompositionales Reasoning durchführen, und legen nahe, dass „Konstruktion" eine zentralere Berechnungsstrategie für Negation ist als bisher angenommen. Die Autoren schließen, dass ihre Arbeit eine Grundlage für den Aufbau robusterer und zuverlässigerer LLMs bietet, indem sie diese konkurrierenden internen Mechanismen verstehen und mindern.