💬 NLP

Deductive Logic in Language Models: Horizontal vs Vertical Reasoning

Diese Arbeit untersucht, wie kleine Transformer-Modelle, die auf synthetischen deduktiven Aufgaben trainiert wurden, die Argumentation durch unterschiedliche horizontale (autoregressive) und vertikale (implizite) Mechanismen implementieren, wobei sie aufzeigt, dass Chain-of-Thought-Supervision in horizontalen Settings echte regelbasierte Inferenz fördert, während sie in vertikalen Settings als Curriculum Learning fungiert, um komplexe Argumentationsmuster zu entwickeln.

Ursprüngliche Autoren: Davide Maltoni, Matteo Ferrara

Veröffentlicht 2026-07-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Davide Maltoni, Matteo Ferrara

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben ein winziges, unbeschriebenes Robotergehirn (ein kleines Sprachmodell), das nichts über die Welt weiß. Sie wollen diesem Roboter beibringen, wie man Logikrätsel löst. Dieses Paper ist wie eine Detektivgeschichte, in der die Forscher in das Gehirn dieses Roboters hineinspicken, um zu sehen, wie er Dinge herausfindet. Sie entdeckten, dass der Roboter diese Rätsel auf zwei sehr unterschiedliche Arten lösen kann, je nachdem, wie man ihn lehrt.

Hier ist die Aufschlüsselung ihrer Erkenntnisse unter Verwendung einfacher Analogien:

Die zwei Arten des Denkens: „Gehen“ vs. „Teleportieren“

Die Forscher testeten den Roboter mit zwei Arten von Rätseln:

Das Ketten-Rätsel: Punkte verbinden (z. B. wenn A zu B führt und B zu C führt, führt dann auch A zu C?).
Das Baum-Labyrinth: Einen Pfad von der Spitze eines Baumes zu einem bestimmten Blatt am Boden finden.

Sie fanden heraus, dass der Roboter zwei verschiedene Denkmodi nutzt:

1. Horizontales Denken: Der „Schritt-für-Schritt-Wanderer“

Die Analogie: Stellen Sie sich vor, Sie wandern durch einen dunklen Wald. Sie können nur den nächsten Schritt direkt vor sich sehen. Um ans Ende zu kommen, müssen Sie einen Schritt machen, sich umsehen, den nächsten Schritt machen und so weiter. Sie können nicht vorausspringen.

Wie es funktioniert: Dies geschieht, wenn der Roboter mittels Chain-of-Thought (CoT) gelehrt wird. Dies ist so, als würde man dem Roboter ein Notizbuch geben, in dem er jeden einzelnen Schritt seiner Reise aufschreiben muss, bevor er die endgültige Antwort gibt.
Was der Roboter lernt: Der Roboter lernt, wie ein Detektiv einem Pfad zu folgen. Er findet eine Regel (A führt zu B), schreibt sie auf und nutzt dann dieses Ergebnis, um die nächste Regel zu finden (B führt zu C).
Der geheime Mechanismus: Im Inneren des Robotergehirns gibt es winzige „Suchmaschinen“ (genannt Induction Heads), die wie eine „Kopieren-und-Einfügen“-Funktion wirken. Sie schauen zurück auf das, was gerade geschrieben wurde, finden ein passendes Informationsstück und kopieren das nächste Teil des Puzzles nach vorne. Es ist ein sehr klarer, mechanischer Prozess von „Finde A, erhalte B, dann finde C“.

2. Vertikales Denken: Der „Teleportierende Denker“

Die Analogie: Stellen Sie sich vor, Sie stehen am Boden eines hohen Turms, aber Sie müssen wissen, was ganz oben ist, bevor Sie überhaupt Ihren ersten Schritt nach oben machen können. Sie können nicht Schritt für Schritt nach oben gehen, weil Sie noch nicht wissen, welche Treppen sicher sind. Stattdessen müssen Sie im Geist bis ganz nach oben „teleportieren“, den gesamten Pfad im Kopf durchdenken und dann erst anfangen zu sprechen.

Wie es funktioniert: Dies geschieht, wenn der Roboter das Baum-Labyrinth lösen muss, ohne Zwischenschritte aufschreiben zu dürfen. Er muss das gesamte Problem innerhalb seiner Neuronen-Schichten lösen, bevor er das erste Wort ausgibt.
Der geheime Mechanismus: Der Roboter „geht“ den Pfad nicht ab; er baut den Pfad vertikal durch seine Schichten auf. Es ist wie ein Stapel transparenter Blätter. Das unterste Blatt hält den Startpunkt, das nächste Blatt hält den nächsten Schritt und so weiter, bis ganz nach oben. Wenn die Information die oberste Schicht erreicht, ist der gesamte Pfad zusammengesetzt.
Die Rolle der Lehre: Überraschenderweise hilft es dem Roboter, auch wenn er keine Zwischenschritte aufschreibt, wenn man ihm Beispiele für die „Chain-of-Thought“ gibt. Die Forscher nennen dies Curriculum Learning. Es ist, als würde ein Lehrer einem Schüler zuerst einfache Rätsel (kurze Pfade) zeigen und dann allmählich schwierigere (lange Pfade) geben. Der Roboter lernt zuerst die einfachen Muster und nutzt dieses Wissen dann, um die komplexen Aufgaben anzugehen – alles geschieht „still“ in seinem Inneren.

Die Falle: „Schummeln“ ohne Lehrer

Die Forscher versuchten, den Roboter ohne die schrittweisen Notizen (Chain-of-Thought) zu lehren.

Das Ergebnis: Der Roboter versäumte es weitgehend, die eigentliche Logik zu lernen. Stattdessen begann er zu „schummeln“.
Die Analogie: Stellen Sie sich einen Schüler vor, der eine Prüfung ablegt. Wenn der Lehrer nicht nach dem Rechenweg fragt, könnte der Schüler einfach auswendig lernen, dass „Fragen mit 5 Zahlen meistens eine 'Ja'-Antwort erhalten“, anstatt tatsächlich die Mathematik zu betreiben.
Die Erkenntnis: Ohne die schrittweise Anleitung lernte der Roboter keine logischen Regeln, sondern memorierte Muster in den Testdaten (Biases). Er konnte zwar hohe Punktzahlen in den Übungstests erreichen, würde aber bei neuen, kniffligen Fragen völlig versagen.

Die wichtigste Erkenntnis

Das Paper zeigt, dass die Art und Weise, wie man einen Roboter lehrt, wichtiger ist als der Roboter selbst.

Wenn man den Roboter zwingt, seine Gedanken auszusprechen (Horizontal), baut er eine klare, mechanische Logikkette auf, die wir leicht verstehen und nachverfolgen können.
Wenn man ihn zwingt, still zu denken (Vertikal), kann er zwar auch lernen, aber er tut dies, indem er Komplexität schrittweise aufbaut, fast wie ein Schüler, der eine Fertigkeit durch Übung statt durch ein Handbuch meistert.
Wenn man ihm gar keine Anleitung gibt, neigt er dazu, durch Abkürzungen zu „schummeln“, was ihn unzuverlässig macht, sobald sich die Regeln ändern.

Kurz gesagt: Die „Chain-of-Thought“ ist nicht nur ein ausgeklügelter Trick, um bessere Antworten zu erhalten; sie ist ein grundlegendes Werkzeug, das verändert, wie das Gehirn des Roboters verdrahtet ist, um Probleme zu lösen – es verwandelt ihn von einem Auswendiglernenden in einen logisch denkenden Wesen.

Technisches Resümee: Deduktive Logik in Sprachmodellen: Horizontales vs. Vertikales Denken

Problemstellung

Jüngste Large Language Models (LLMs) demonstrieren signifikante logische Denkfähigkeiten, doch die zugrunde liegenden niederschwelligen Rechenmechanismen, die deduktive Schlussfolgerungen unterstützen, sind noch unzureichend verstanden. Während sich die bestehende Literatur auf Benchmark-Leistungen oder High-Level-Schaltkreisbeschreibungen vortrainierter Modelle konzentriert, besteht eine Lücke im Verständnis darüber, wie Transformer mehrstufige deduktive Schlussfolgerungen aus ersten Prinzipien heraus implementieren. Insbesondere untersucht das Paper die Unterscheidung zwischen zwei Denkparadigmen:

Horizontales Denken: Ein autoregressiver Prozess, bei dem Zwischenschritte Token für Token generiert werden, wobei zuvor generierte Token für nachfolgende Schritte genutzt werden (typischerweise durch Chain-of-Thought, oder CoT, hervorgerufen).
Vertikales Denken: Ein impliziter Prozess, bei dem sich die Inferenz über die Schichthierarchie entfaltet, bevor das erste Output-Token produziert wird. Dies ist notwendig, wenn das erste Token die Lösung eines nicht trivialen Teils des Problems erfordert (z. B. das Bestimmen eines Pfades von der Wurzel zum Blatt in einem Binärbaum), ohne die Hilfe autoregressiver Zwischenschritte.

Die Studie untersucht, ob kleine, nicht vortrainierte Transformer in der Lage sind, explizite logische Regeln anstatt statistischer Abkürzungen zu erlernen, und wie CoT-Supervision diese unterschiedlichen Denkmodi beeinflusst.

Methodik

Die Autoren verwenden einen mechanistischen Interpretierbarkeitsansatz unter Verwendung kleiner, von Grund auf neu trainierter Decoder-only Transformer-Modelle für zwei synthetische Aufgaben, die sprachliche Mehrdeutigkeit und die Abhängigkeit von vortrainiertem Wissen eliminieren.

Aufgaben

Aufgabe 1 (Logische Konsequenz): Eine Aufgabenstellung zur Aussagenlogik-Inferenz, die aus Ketten von Implikationen (Horn-Klauseln) besteht. Das Modell muss entscheiden, ob eine Abfrage ( $q_0 \to q_1$ $q_{0} \to q_{1}$ ) eine logische Konsequenz aus fünf gegebenen Regeln ist.
- CoT-Setting: Das Modell generiert die Zwischenkette der Implikationen, die zur Schlussfolgerung führt, bevor es ein finales Entscheidungs-Token (1 oder 0) ausgibt.
- Non-CoT-Setting: Das Modell gibt nur das finale Entscheidungs-Token aus.
Aufgabe 2 (Navigation von der Wurzel zum Blatt): Eine Aufgabe, die das Modell erfordert, einen Binärbaum von der Wurzel zu einem spezifizierten Blattknoten zu navigieren, gegeben eine ungeordnete Liste von Eltern-Kind-Paaren.
- CoT-Setting: Das Modell generiert die vollständige Sequenz der Knoten im Pfad.
- Non-CoT-Setting: Das Modell gibt ein binäres Token aus, das die Erreichbarkeit anzeigt.

Modellarchitektur und Training

Architektur: GPT-2-ähnliche „NanoGPT“-Modelle (Decoder-only), die von Grund auf neu trainiert wurden. Die Experimente nutzten vereinfachte Konfigurationen (z. B. 2 Schichten, 1 Head) für die Interpretierbarkeit und Standardkonfigurationen (6 Schichten, 8 Heads) für die Performance.
Training: Die Modelle wurden auf synthetischen Datensätzen (4K bis 150K Beispiele) mit und ohne CoT-Supervision trainiert.
Interpretationswerkzeuge:
- LogitLens: Dekodierung des Inhalts des Residualstroms in den Vokabularraum auf Zwischenschichten.
- Attention-Visualisierung: Analyse von Attention-Mustern und Filterung nach Stärke.
- Trunkierte Pseudoinverse: Eine neu eingeführte Technik, um die durch Query-, Key- und Value-Vektoren transportierten Informationen zurück in den Token-Raum zu dekodieren und so die spezifischen Informationen zu entkoppeln, die von Attention-Heads extrahiert werden.
- Mittelwertbildung: Berechnung der durchschnittlichen Attention-Stärken über Datensätze hinweg, um token-unabhängige (positionale) Attention-Verknüpfungen zu isolieren.

Kernbeiträge

Mechanistische Erklärung des horizontalen Denkens: Das Paper liefert eine Low-Level-Erklärung, wie ein flaches (2-Schichten) Modell, das mit CoT trainiert wurde, Aufgabe 1 löst. Es identifiziert spezifische, interpretierbare Schaltkreise:
- Regel-Vervollständigung (Rule Completion): Induction-Head-ähnliche Mechanismen, die nach einem Regel-Antezedens suchen, das dem aktuellen Token entspricht, und das Konsequenz-Token abrufen.
- Regel-Verkettung (Rule Chaining): Mechanismen, die das Ende einer Regel mit dem Anfang der nächsten verbinden.
- Entscheidungsfindung (Decision Making): Schaltkreise, die die finale Kette gegen die Abfrage verifizieren.
Analyse des vertikalen Denkens: Die Studie zeigt, dass Aufgabe 2 (Root-to-Leaf Navigation) vertikales Denken erfordert. Das Modell lernt, den gesamten Rückwärtspfad (Blatt zu Wurzel) intern über die Schichten hinweg zu berechnen, bevor es den Vorwärtspfad generiert. Dies beinhaltet „Register-Token“ im Prompt, die als Arbeitsspeicher fungieren.
Rolle von CoT als Curriculum-Learning: Das Paper enthüllt, dass CoT beim vertikalen Denken nicht bloß eine schrittweise Anleitung (wie beim horizontalen Denken) bietet, sondern als eine Form von Curriculum-Learning fungiert. Es ermöglicht dem Modell, zuerst einfachere Teilprobleme (z. B. kürzere Pfade oder Knoten näher am Ziel) zu meistern und dann progressiv auf komplexere Fälle zu generalisieren.
Neuartige Interpretationsmethode: Die Einführung einer Methode der trunkierten Pseudoinversen zur Dekodierung von Query-, Key- und Value-Vektoren, die ein neues Werkzeug zur Untersuchung des Informationsflusses in Attention-Mechanismen bietet.
Versagensmodi ohne CoT: Die Studie zeigt, dass Modelle ohne CoT nicht in der Lage sind, die intendierten logischen Algorithmen für komplexe Aufgaben zu lernen, sondern stattdessen auf Auswendiglernen oder das Ausnutzen von Datensatz-Biases zurückgreifen (z. B. Zählen distinkter Literale), sofern solche Biases existieren.

Ergebnisse

Horizontales Denken (Aufgabe 1): Ein einfaches 2-Schichten-Modell, das mit CoT trainiert wurde, erreicht ~100 % Genauigkeit und generalisiert perfekt. Die mechanistische Analyse bestätigt die Entstehung von Induction-Heads, die „Copy-Search-Retrieve“-Operationen durchführen, um Regeln zu verketten. Ohne CoT schlägt das Modell die Konvergenz zu einer generalisierenden Lösung fehl und greift oft auf das Auswendiglernen des Trainingsdatensatzes oder das Ausnutzen statistischer Abkürzungen (z. B. Zählen von Literalen) zurück, falls Datensatz-Biases vorhanden sind.
Vertikales Denken (Aufgabe 2): Ein 6-Schichten-Modell, das mit CoT trainiert wurde, löst die Root-to-Leaf-Navigationsaufgabe erfolgreich. Das Modell lernt implizit, den Baum rückwärts (Blatt zu Wurzel) innerhalb des Residualstroms des letzten Prompt-Tokens zu traversieren, speichert Zwischenknoten in „Register“-Positionen und generiert dann den Pfad vorwärts.
- Ohne CoT lernt das Modell die Navigationslogik nicht, es sei sich denn, es ist ein spezifischer Generierungs-Bias (ausnutzbares statistisches Merkmal) vorhanden. Sobald dieser Bias entfernt wird, sinkt die Performance auf nahezu Zufallsniveau.
- CoT erleichtert dieses Lernen durch einen Curriculum-Eff Effekt: Das Modell lernt zuerst, Tokens näher am Zielblatt vorherzusagen, und erweitert dann diese Kompetenz auf die Wurzel.
Induction Heads: Induction-Heads werden als zentrale Komponenten in beiden Denkmodi identifiziert, wobei sie in der horizontalen Argumentation das Matching von Regel-Antezedens und das Abrufen von Konsequenzen ermöglichen und im vertikalen Denken das Backward-Chaining unterstützen.

Bedeutung und Behauptungen

Das Paper behauptet, eine Low-Level-Erläuterung zu liefern, wie Transformer deduktives Denken implementieren, im Gegensatz zu früheren Arbeiten, die High-Level-Beschreibungen bieten oder sich auf statistische Abkürzungen konzentrieren.

Unterscheidung der Denkmodi: Die Arbeit klärt, dass CoT unterschiedliche Funktionen je nach Denkparadigma erfüllt: Es ermöglicht die explizite schrittweise Dekomposition im horizontalen Denken, während es beim vertikalen Denken als Curriculum-Gerüst für die implizite, schichtweise Berechnung dient.
Notwendigkeit der Supervision: Die Ergebnisse legen nahe, dass für komplexe deduktive Aufgaben die explizite Zwischensupervision (CoT) entscheidend für das Erlernen der zugrunde liegenden logischen Algorithmen ist. Ohant sie neigen Modelle dazu, zu memorieren oder Biases auszunutzen, anstatt generalisierbare Denkregeln zu erlernen.
Generalisierbarkeit der Mechanismen: Die Befunde stützen die Ansicht, dass Sprachmodelle je nach Art der Aufgabe unterschiedliche Rechenstrategien (symbolisch regelbasiert vs. sub-symbolisch numerisch) nutzen können. Die Studie hebt hervor, dass Induction-Heads, die bisher primär mit In-Context-Learning assoziiert wurden, fundamental für die Implementierung logischer Inferenz-Schaltkreise sind.
Limitierungen: Die Autoren merken bescheiden an, dass ihre Low-Level-Analyse auf vereinfachten Architekturen (flache Modelle, geteilte Embeddings) und symbolischer Syntax basiert. Während die Mechanismen in diesem Setting klar sind, lassen sie sich möglicherweise nicht direkt auf größere, vortrainierte Modelle oder naturalistische Settings übertragen. Zudem bleibt der spezifische Mechanismus zur Zusammenführung partieller Pfade im vertikalen Denken, wenn die Pfadlänge die Modelltiefe überschreitet, teilweise unerklärt.

Zusammenfassend argumentiert das Paper, dass das Verständnis der spezifischen Rechenschaltkreise (wie Induction-Heads) und der Rolle der Supervision (CoT) essenziell ist, um robuste Modelle zu entwerfen, die zu echtem deduktivem Denken fähig sind, anstatt lediglich statistische Approximationen zu liefern.