💬 NLP

Exploring the Reversal Curse and Other Deductive Logical Reasoning in BERT and GPT-Based Large Language Models

Diese Studie zeigt, dass bidirektionale BERT-Modelle zwar immun gegenüber dem „Reversal Curse“ sind, der autoregressive GPT-Modelle bei symmetrischer logischer Deduktion behindert, beide Architekturen jedoch Schwierigkeiten mit komplexer Multi-Set-deduktiver Argumentation haben, was darauf hindeutet, dass die Modellauswahl auf die spezifischen logischen Anforderungen von Aufgaben wie der Konstruktion biomedizinischer Wissensgraphen zugeschnitten werden sollte.

Ursprüngliche Autoren: Da Wu, Jingye Yang, Kai Wang

Veröffentlicht 2026-07-15

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Da Wu, Jingye Yang, Kai Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Brainy Bots und der Spiegel-Labyrinth

Stellen Sie sich vor, Sie bringen einem Roboter bei, die Welt zu verstehen. Sie zeigen ihm ein Bild einer Katze und sagen: „Das ist eine Katze.“ Später zeigen Sie ihm das Wort „Katze“ und fragen: „Welches Bild passt dazu?“ Ein menschliches Gehirn bewältigt diesen Wechsel mühelos; wir wissen, dass wenn „Katze“ gleich „Bild“ ist, dann auch „Bild“ gleich „Katze“ ist. Aber lange Zeit hatten die fortschrittlichsten Computergehirne, bekannt als Large Language Models (LLMs), mit diesem einfachen Umkehrschluss zu kämpfen. Sie waren wie Schüler, die eine Liste von Antworten auswendig gelernt hatten, aber nicht herausfinden konnten, was die Frage war, wenn man sie rückwärts stellte. Dieser spezifische Fehler wird als „Reversal Curse“ (Umkehrfluch) bezeichnet.

Um zu verstehen, warum das wichtig ist, stellen Sie sich diese KI-Modelle als zwei verschiedene Arten von Lesern vor. Der eine Typ, der Decoder (wie die berühmte GPT-Serie), liest eine Geschichte von links nach rechts und sagt das nächste Wort basierend auf dem vorausgegangenen voraus. Er ist großartig darin, Geschichten zu schreiben oder Sätze zu vervollständigen, aber er kann nicht vorausblicken, um das ganze Bild zu sehen. Der andere Typ, der Encoder (wie BERT), liest einen Satz auf einmal und betrachtet jedes Wort im Verhältnis zu jedem anderen Wort gleichzeitig. Es ist, als würde man einen Satz mit einer Lupe lesen, die den Kontext eines jeden einzelnen Wortes zur gleichen Zeit zeigt. Wissenschaftler haben sich gefragt: Wenn wir diesen Robotern beibringen, grundlegende Mathematik mit Gruppen von Dingen zu betreiben – wie etwa das Kombinieren von Freundeslisten oder das Finden der Freunde, die sie gemeinsam haben –, können sie dann tatsächlich logisch „denken“ oder raten sie nur basierend auf Mustern, die sie zuvor gesehen haben? Diese Frage ist entscheidend, denn wenn wir diese Roboter nutzen wollen, um komplexe Wissenslandkarten zu erstellen (wie etwa für die Medizin oder die Wissenschaft), müssen sie in der Lage sein zu schlussfolgern und nicht nur zu wiederholen.

Die Geschichte des Papers: Wer kann das Blatt wenden?

In dieser Studie beschlossen die Forscher Da Wu, Jingye Yang und Kai Wang, diese verschiedenen Robotergehirne auf die Probe zu stellen. Sie wollten herausfinden, ob der „Reversal Curse“ ein dauerhafter Bug oder nur eine Eigenart der Art und Weise ist, wie bestimmte Modelle aufgebaut sind, und ob diese Modelle tatsächlich komplexere Logikrätsel mit Mengen von Objekten bewältigen können.

Der Spiegeltest: Der Reversal Curse
Zuerst widmeten sie sich dem „Reversal Curse“. Stellen Sie sich vor, Sie lehren einen Roboter: „Jimmy Carter ist der 39. Präsident.“ Wenn Sie den Roboter fragen: „Wer ist der 39. Präsident?“, erstarrt ein Standard-Roboter (wie GPT-3) oft. Er kennt die Tatsache in einer Richtung, kann sie aber nicht umdrehen, um die umgekehrte Frage zu beantworten. Die Forscher fanden heraus, dass die Decoder-Modelle (wie GPT und Llama) tatsächlich unter diesem Fluch leiden; sie haben Schwierigkeiten, aus „A ist B“ das „B ist A“ abzuleiten.

Das Encoder-Modell (BERT) war jedoch eine andere Geschichte. Da BERT in beide Richtungen gleichzeitig liest, wurde es nicht verwirrt. Als die Forscher BERT die umgekehrte Frage stellten, antwortete es in etwa 99 % der Fälle korrekt. Es stellt sich heraus: Wenn Sie möchten, dass ein Roboter versteht, dass eine Beziehung in beide Richtungen funktioniert, benötigen Sie ein Gehirn, das das gesamte Bild erfassen kann, und nicht nur die Vergangenheit.

Das Logikrätsel: Mischen und Kombinieren von Gruppen
Als Nächstes gingen die Teams zu einer schwierigeren Herausforderung über: Mengenoperationen. Sie brachten den Robotern bei, eine „Vereinigungsmenge“ (Union – das Kombinieren zweier Freundeslisten zu einer großen Liste) und eine „Durchschnittsmenge“ (Schnittmenge/Intersection – das Finden der Freunde, die auf beiden Listen erscheinen) durchzuführen.

Das einfache Level (Zwei Mengen): Als die Roboter gefragt wurden, nur zwei Gruppen von Namen zu kombinieren oder zu vergleichen (wie „Superhelden“ und „Dinosaurier“), machten sowohl die Decoder-Modelle (Llama 2 und 3) als auch das Encoder-Modell (BERT) einen fantastischen Job. Sie lieferten fast jedes Mal die richtigen Antworten. Es sah so aus, als hätten sie die Logik gemeistert.
Das schwere Level (Drei Mengen): Dann machten die Forscher das Rätsel schwieriger. Sie baten die Roboter, drei Gruppen gleichzeitig zu mischen oder eine Mischung aus Operationen durchzuführen, wie zum Beispiel: „Finde die Freunde, die gemeinsam in Gruppe A und Gruppe B sind, und dann füge Gruppe C hinzu.“

Hier brach der Zaubertrick zusammen. Während die Roboter bei den einfachen Zwei-Gruppen-Aufgaben großartig waren, stolperten sie massiv, wenn drei Gruppen im Spiel waren.

Das BERT-Problem: Das BERT-Modell schien zu schummeln. Es betrieb nicht wirklich Mathematik; es suchte lediglich nach Wörtern, die es erkannte. Wenn ein Satz einen neuen Namen enthielt, den es nicht kannte, sagte es sofort: „Nein, das ist falsch.“ Aber wenn die falsche Antwort Namen verwendete, die es doch kannte, wurde es verwirrt und sagte: „Ja, das ist richtig.“ Es hatte den Wortschatz auswendig gelernt, nicht die Logik.
Das Llama-Problem: Auch die Llama-Modelle (die Decoder-Modelle) hatten Schwierigkeiten. Wenn sie gefragt wurden, die gemeinsamen Freunde in drei Gruppen zu finden, listeten sie oft einfach alle Namen auf, die sie kannten, und ignorierten dabei die spezifischen Regeln des Rätsels. Es schien, als würden sie eine Liste von Namen abrufen, die sie während des Trainings gesehen hatten, anstatt die korrekte Schnittmenge zu berechnen.

Das GPT-4 Wildcard
Die Forscher testeten auch das neueste, geschlossene Modell, GPT-4. Dieser Roboter war viel besser als die anderen. Er konnte die meisten der Drei-Mengen-Logikrätsel korrekt bewältigen, indem er das Problem oft in kleinere Schritte zerlegte. Dennoch begann selbst GPT-4 Fehler zu machen, wenn die Anzahl der Gruppen zu hoch wurde (wie bei sieben oder acht Mengen), was darauf hindeutet, dass selbst die klügsten aktuellen Modelle Grenzen haben, wenn es um komplexe, mehrstufige Deduktion geht.

Das große Fazit

Die wichtigste Lehre aus diesem Paper ist, dass nicht alle KI-Gehirne gleich gebaut sind und kein einziger Roboter perfekt für jeden Job ist. Wenn Sie ein Modell benötigen, das eine Beziehung in umgekehrter Richtung versteht (wie das Umdrehen einer Tatsache), ist ein bidirektionales Modell wie BERT der klare Gewinner. Aber wenn Sie möchten, dass ein Modell eine Geschichte schreibt oder das nächste Wort in einem Satz vorhersagt, sind die unidirektionalen Modelle wie GPT weiterhin die Könige.

Am wichtigsten ist: Die Studie legt nahe, dass diese Modelle zwar erstaunlich darin sind, Muster zu erkennen und menschliche Sprache nachzuahmen, sie aber nicht unbedingt so „denken“ wie Menschen. Wenn die Logik zu komplex wird, fallen sie dazu zurück, Wörter auswendig zu lernen, anstatt die Regeln zu verstehen. Wenn Sie also ein System bauen, um eine medizinische Wissensgrafik zu erstellen oder ein schwieriges mathematisches Beweisproblem zu lösen, können Sie nicht einfach darauf vertrauen, dass der Roboter es von selbst herausfindet; Sie müssen sehr vorsichtig sein, wie Sie die Fragen stellen und welche Art von Roboter Sie für die Arbeit auswählen. Die Roboter werden zwar intelligenter, aber sie müssen noch viel über wahre logische Schlussfolgerung lernen.

Technisches Resümee: Untersuchung des Reversal Curse und deduktiven logischen Schließens in BERT- und GPT-basierten LLMs

Problemstellung

Die Studie befasst sich mit dem „Reversal Curse“ (Umkehrfluch), einem Phänomen, das bei autoregressiven Decoder-basierten Large Language Models (LLMs) beobachtet wird, wobei das Modell die inverse Beziehung „B ist A“ nicht ableiten kann, obwohl es auf die Vorwärtsbeziehung „A ist B“ trainiert wurde. Diese Einschränkung behindert die Zuverlässigkeit von Modellen wie GPT-3 und Llama-1 bei Aufgaben, die eine bidirektionale logische Inferenz erfordern, wie etwa den Aufbau von Wissensgraphen. Darüber hinaus untersucht die Arbeit, ob diese Modelle sowie bidirektionale Encoder-Modelle wie BERT die Kapazität für komplexeres deduktives Denken besitzen, insbesondere die Fähigkeit, Mengenoperationen der Schnittmenge ( $\cap$ ) und Vereinigung ( $\cup$ ) über mehrere Mengen hinweg durchzuführen, ohne explizit auf diesen spezifischen Kombinationen trainiert worden zu sein.

Methodik

Die Autoren führten eine vergleichende Analyse zwischen bidirektionalen Encoder-Modellen (BERT) und autoregressiven Decoder-Modellen (GPT-4, Llama 2 und Llama 3) in zwei primären Experimentierbereichen durch:

Evaluierung des Reversal Curse:
- Datensatz: Die Studie nutzte den Datensatz aus dem ursprünglichen Reversal-Curse-Paper, angepasst für die Textklassifizierung. Er enthielt synthetische Paare aus Namen und Beschreibungen (z. B. „Jimmy Carter“ und „39. Präsident“).
- Modelle: BERT (feingetunt für binäre Klassifikation) wurde mit GPT-3 (175B) und Llama 3 verglichen.
- Aufgabe: Die Modelle wurden auf ihre Fähigkeit getestet, die umgekehrte Richtung (Beschreibung $\to$ Name) zu inferieren, nachdem sie auf die Vorwärtsrichtung (Name $\to$ Beschreibung) trainiert wurden.
Mengenoperationen (Schnittmenge und Vereinigung):
- Datengenerierung: Es wurden synthetische Datensätze unter Verwendung von vier Entitätskategorien (Superhelden, Dinosaurier, Säugetiere, Vögel) erstellt.
- Training: Die Modelle wurden auf „einfachen“ Aufgaben involving der Schnittmenge und Vereinigung von zwei Mengen ( $A \cap B$ $A \cap B$ und $A \cup B$ $A \cup B$ ) feingetunt.
  - BERT: Trainiert auf positiven und negativen Beispielen für die binäre Klassifikation.
  - Llama 2/3: Ausschließlich auf positiven Beispielen für die Next-Token-Prediction (autoregressive Generierung) trainiert.
- Testen: Die Modelle wurden evaluiert auf:
  - Einfache Fälle: Ungesehene Paare von zwei Mengen.
  - Komplexe Fälle: Operationen involving von drei Mengen, einschließlich dreifacher Schnittmengen ( $A \cap B \cap C$ ), dreifacher Vereinigungen ( $A \cup B \cup C$ ) und gemischter Operationen ( $(A \cap B) \cup C$ und $(A \cup B) \cap C$ ).
- Metriken: BERT wurde mittels Recall, Precision und F1-Scores evaluiert. Llama-Modelle wurden mittels Exact Match und 80%-Match-Raten evaluiert. GPT-4 wurde heuristisch als proprietäres Modell evaluiert.

Kernergebnisse

1. Immunität gegenüber dem Reversal Curse

BERT: Demonstrierte eine hohe Kompetenz (ca. 99 % Genauigkeit) bei der Inferenz von „B ist A“ aus „A ist B“, was bestätigt, dass bidirektionale Encoder-Modelle nicht unter dem Reversal Curse leiden.
Decoder-Modelle (GPT-3, Llama 3): Konsistent mit der bisherigen Literatur zeigten diese Modelle eine Genauigkeit von nahezu Null in der umgekehrten Richtung, wenn sie sich ausschließlich auf das Pre-training oder das Fine-tuning auf Vorwärtsdaten stützten.

2. Leistung bei Zwei-Mengen-Operationen

Sowohl BERT als auch Llama-Modelle zeigten eine robuste Leistung bei einfachen Schnittmengen- und Vereinigungsaufgaben involving zweier Mengen, wobei sie hohe Genauigkeitsraten erreichten (BERT ~99 %, Llama etwas niedriger, aber dennoch hoch).
Die Autoren merken an, dass trotz der hohen Leistung unklar bleibt, ob die Modelle die Logik tatsächlich verstanden haben oder lediglich Muster in den Prompt-Keywords erkannt haben.

3. Scheitern bei komplexen Drei-Mengen-Operationen

Allgemeine Schwierigkeiten: Beim Testen auf Operationen involving drei Mengen ohne vorheriges spezifisches Training für diese Kombinationen zeigten beide Modelltypen signifikante Einschränkungen.
BERTs Bias: Während BERT eine hohe Genauigkeit bei positiven Fällen beibehielt, zeigte es einen starken Bias hinsichtlich des Vokabulars. Es identifizierte negative Samples mit neuen Namen (außerhalb der Trainingssets) korrekt, hatte jedoch Schwierigkeiten, wenn negative Samples bekannte Namen enthielten, die jedoch falsch angeordnet waren (z. B. Teilmengen oder Obermengen). Dies deutet darauf hin, dass BERT eher auf Term-Rekurrenz als auf semantischer logischer Struktur basiert.
Llamas Mustererkennung: Llama 2 und 3 funktionierten gut bei der dreifachen Vereinigungsaufgabe ( $A \cup B \cup C$ ) und erreichten bis zu 92 % Genauigkeit bei der Vorhersage von mindestens 80 % der Zielmenge. Sie scheiterten jedoch signifikant bei Schnittmengen und gemischten Operationen, wobei sie oft halluzinierten oder alle zuvor gesehenen Entitäten abriefen, anstatt den logischen Operator anzuwenden.
GPT-4: Zeigte eine bessere Kapazität als Llama 2/3 beim Umgang mit Drei-Mengen-Operationen, indem es das Problem oft in Schritte zerlegte. Jedoch stiegen die Fehlerraten mit der Anzahl der Mengen (z. B. sieben oder acht Mengen) an, und die Leistung war nicht perfekt.

Wichtigste Beiträge

Empirische Validierung des Reversal Curse: Bestätigte, dass der Reversal Curse eine architektonische Einschränkung autoregressiver Decoder ist, während bidirektionale Encoder (BERT) immun dagegen sind.
Logisches Reasoning-Benchmark: Demonstrierte, dass das Fine-tuning von LLMs auf einfache Mengenoperationen (zwei Mengen) sich nicht auf komplexe logische Kompositionen (drei Mengen) verallgemeinern lässt.
Architektonischer Vergleich: Lieferte einen direkten Vergleich, der zeigt, dass Decoder zwar exzellent in der Sequenzvorhersage sind, Encoder jedoch überlegen sein können für Aufgaben, die bidirektionalen Kontext und die Klassifizierung logischer Beziehungen erfordern, sofern die Aufgabe als solche formuliert werden kann.
Bias-Analyse: Identifizierte, dass LLMs oft auf oberflächlichem Musterabgleich (Abruf gesehener Token) basieren, anstatt auf abstrakter logischer Deduktion, wenn sie mit neuartigen Kombinationen bekannter Entitäten konfrontiert werden.

Bedeutung und Behauptungen

Die Arbeit kommt zu dem Schluss, dass die Auswahl einer LLM-Architektur (Encoder vs. Decoder) von den spezifischen logischen Anforderungen der Aufgabe getrieben werden sollte.

Für Wissensgraphen: Die Autoren mahnen zur Vorsicht bei der ausschließlichen Nutzung autoregressiver Decoder-Modelle für den Aufbau medizinischer Wissensgraphen oder die Durchführung strenger logischer Deduktionen (z. B. Schnittmengen/Vereinigungen von Ontologie-Begriffen). Die Unfähigkeit dieser Modelle, zuverlässig umgekehrte Beziehungen zu inferieren oder komplexe Mengenoperationen zu generalisieren, legt nahe, dass sie eher als „Schreibassistenten“ fungieren, die gelernte Muster replizieren, als vielmehr als „logische Maschinen“.
Für logische Aufgaben: Aufgaben, die eine Rückwärtsdeduktion oder die Klassifizierung bidirektionaler Beziehungen erfordern, sind besser für bidirektionale Encoder wie BERT geeignet.
Limitierungen: Die Studie hebt hervor, dass aktuelle LLMs, selbst wenn sie feingetuned wurden, nicht über die autonome Fähigkeit verfügen, komplexe logische Sequenzen (wie $A \cap (B \cup C)$ ) zu deduzieren, ohne expliziter Exposition gegenüber ähnlichen Strukturen. Die Autoren legen nahe, dass das Erreichen zuverlässiger logischer Argumentation in Hochrisikoumgebungen (z. B. medizinische Diagnose, mathematische Beweise) mehr als nur die Skalierung von Daten erfordern könnte; es könnte die Notwendigkeit fortgeschrittener Algorithmen erfordern, die darauf ausgelegt sind, das Verständnis der logischen Struktur zu verbessern.