🧬 biology

Relational reasoning and inductive bias in transformers and large language models

Diese Arbeit untersucht, wie Transformer transitive Inferenz durchführen, und zeigt, dass zwar das In-Weights-Lernen natürlicherweise lineare Einbettungen für eine robuste Generalisierung entwickelt, das In-Context-Lernen jedoch typischerweise auf Kopiestrategien zurückgreift, es sei denn, es wurde auf linearen Aufgaben vortrainiert oder explizit dazu aufgefordert, lineare mentale Karten zu konstruieren, was unterstreicht, dass sowohl Trainingsregime als auch die Geometrie der Repräsentation die Fähigkeiten zum relationalen Schlussfolgern entscheidend bestimmen.

Ursprüngliche Autoren: Jesse Geerts, Andrew Liu, Stephanie Chan, Claudia Clopath, Kimberly Stachenfeld

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jesse Geerts, Andrew Liu, Stephanie Chan, Claudia Clopath, Kimberly Stachenfeld

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen Roboter darin, die Welt zu verstehen. Sie möchten wissen, ob er herausfinden kann, dass, wenn A größer als B ist und B größer als C, dann A notwendigerweise größer als C sein muss. Dies wird als „transitiver Schluss" bezeichnet, ein klassisches Logikrätsel, das Menschen und sogar Affen auf natürliche Weise lösen.

Diese Studie untersucht, wie zwei verschiedene Arten des „Lernens" in KI-Modellen (speziell Transformern) dieses Rätsel bewältigen. Die Autoren stellten fest, dass wie der Roboter lernt, verändert was er lernt.

Hier ist die Aufschlüsselung ihrer Erkenntnisse mit einfachen Analogien:

1. Die zwei Lernstile: Die „Festplatte" versus die „Lernkarte"

Die Studie vergleicht zwei Wege, auf denen ein Modell lernt:

Lernen in den Gewichten (In-Weights Learning, IWL) – Der „Festplatten"-Ansatz:
Stellen Sie sich vor, Sie lernen für eine Prüfung, indem Sie Fakten auswendig lernen, bis sie dauerhaft in Ihrem Gehirn (oder einer Festplatte) eingeprägt sind. Sobald das Training abgeschlossen ist, „weiß" der Roboter die Regeln.
- Das Ergebnis: Wenn der Roboter auf diese Weise lernte, merkte er sich nicht nur die spezifischen Paare, die er sah (A>B, B>C). Er baute eine mentale „Zahlenlinie" auf. Er verstand, dass alles einen Rang hat. Weil er diese mentale Karte hatte, konnte er leicht die Beziehung zwischen Elementen erraten, die er nie zusammen gesehen hatte (wie A und C). Er verhielt sich genau wie ein Mensch oder ein Affe und wurde mit dem Rätsel besser, je weiter die Elemente auf der Liste voneinander entfernt waren.
Kontextuelles Lernen (In-Context Learning, ICL) – Der „Lernkarten"-Ansatz:
Stellen Sie sich vor, Sie schreiben eine Prüfung, dürfen aber einen Spickzettel (den Kontext) direkt vor sich liegen haben. Sie merken sich die Regeln nicht; Sie schauen sich nur die Beispiele an, die im Moment zur Verfügung stehen, um die spezifische Frage zu lösen.
- Das Ergebnis: Wenn der Roboter auf diese Weise lernte, war er sehr clever darin, das zu kopieren, was auf dem Spickzettel stand. Wenn der Spickzettel „A > B" sagte und die Frage „A > B" lautete, bekam er es richtig. Aber wenn die Frage „A > C" war (was nicht auf dem Zettel stand), scheiterte er. Er baute keine mentale Karte auf; er spielte nur ein Spiel von „Vergleichen und Kopieren". Er löste das Rätsel nur, wenn die Antwort buchstäblich im Prompt geschrieben stand.

2. Der „Aha!"-Moment: Den Roboter dazu bringen, in Linien zu denken

Die Forscher fragten: Können wir den „Lernkarten"-Roboter dazu bringen, wie der „Festplatten"-Roboter zu denken?

Sie versuchten, den „Lernkarten"-Roboter auf einer anderen Aufgabe vorzu-trainieren: Lineare Regression. Stellen Sie sich dies vor als den Roboter zu lehren, eine gerade Linie durch eine Reihe von Punkten zu ziehen.

Die Magie: Sobald der Roboter gelernt hatte, gerade Linien zu ziehen (eine lineare Beziehung), begann er plötzlich, das Rätsel des transitiven Schlusses perfekt zu lösen, selbst wenn er die „Lernkarten"-Methode verwendete.
Warum? Weil das Ziehen einer Linie Sie zwingt zu verstehen, dass Zahlen eine Ordnung haben (1, 2, 3...). Sobald der Roboter dieses „Linien"-Konzept verstand, konnte er es auf das neue Rätsel anwenden. Er hörte auf, nur zu kopieren, und begann zu schlussfolgern.

3. Der Realitäts-Test: Große Sprachmodelle befragen

Schließlich testete das Team dies an riesigen, realen KI-Modellen (Large Language Models wie denjenigen, mit denen Sie vielleicht chatten). Sie gaben diesen Modellen Logikrätsel, bei denen die Fakten entweder:

Der Realität entsprachen (z. B. „Ein Wal ist größer als ein Fisch").
Der Realität widersprachen (z. B. „Ein Fisch ist größer als ein Wal" – wodurch das Modell gezwungen wurde, sein Gedächtnis zu ignorieren und nur die neuen Fakten zu betrachten).

Sie gaben den Modellen einen „Hinweis" darüber, wie sie das Problem visualisieren sollten:

Hinweis A (Die Zahlenlinie): „Stellen Sie sich diese Elemente auf einer geraden Linie vom Kleinsten zum Größten vor."
Hinweis B (Der Kreis): „Stellen Sie sich diese Elemente auf einem Kreis vor."

Die Erkenntnis:

Wenn den Modellen gesagt wurde, eine gerade Linie zu verwenden, lösten sie die Logikrätsel viel besser, insbesondere die kniffligen, bei denen sie ihr Vorwissen ignorieren mussten.
Wenn ihnen gesagt wurde, einen Kreis zu verwenden, hatten sie Schwierigkeiten. Warum? Weil auf einem Kreis die Regeln von „größer als" zusammenbrechen (wenn man den Kreis herumgeht, kann A größer als B sein, B größer als C, aber C kann sich herumwinden und größer als A sein). Die „Kreis"-Geometrie verwirrte die Logik.

Die große Erkenntnis

Die Studie kommt zu dem Schluss, dass Geometrie wichtig ist.

Wenn ein KI-Modell lernt, Fakten in seinem „Gehirn" (Gewichten) zu speichern, baut es natürlich eine geradlinige Karte der Welt auf, die es ihm ermöglicht, logisch zu schlussfolgern.
Wenn ein KI-Modell sich nur auf die Informationen vor sich verlässt (Kontext), neigt es dazu, nur Muster zu kopieren, es sei denn, es wurde speziell darauf trainiert, in „Linien" zu denken.
Selbst für riesige, intelligente KI-Modelle hilft es ihnen, besser zu schlussfolgern, ihnen einfach zu sagen, sie sollen sich eine „gerade Linie" vorstellen, als ihnen zu sagen, sie sollen sich einen „Kreis" vorstellen.

Kurz gesagt: Um KI dazu zu bringen, wie ein Mensch zu schlussfolgern, braucht man nicht nur mehr Daten; man muss ihr die richtige Form des Denkens geben.

Technische Zusammenfassung: Relationale Schlussfolgerung und induktive Verzerrung in Transformern und Large Language Models

Problemstellung

Transformer-basierte Modelle haben bemerkenswerte Schlussfolgerungsfähigkeiten unter Beweis gestellt, doch die Mechanismen, die der relationalen Schlussfolgerung zugrunde liegen – insbesondere die Fähigkeit, Beziehungen zwischen indirekt verknüpften Elementen abzuleiten –, bleiben weitgehend unverstanden. Es besteht eine kritische Lücke bei der Unterscheidung, wie Modelle transitive Schlussfolgerungen (z. B. wenn $A > B$ und $B > C$ , dann $A > C$ ) unter zwei unterschiedlichen Lernregimen durchführen:

In-Weights-Lernen (IWL): Informationen werden während des Trainings in den Parametern des Modells gespeichert.
In-Context-Lernen (ICL): Informationen werden zur Inferenzzeit dynamisch innerhalb der Eingabesequenz bereitgestellt.

Während ICL bei Klassifizierung und Regression untersucht wurde, ist sein Verhalten bei Aufgaben der relationalen Schlussfolgerung unklar. Es ist schwierig zu bestimmen, ob Large Language Models (LLMs) auf in den Gewichten kodiertes Vorwissen zurückgreifen oder eine echte Schlussfolgerung im Kontext durchführen, was größtenteils auf die begrenzte Kontrolle über die Trainingsdaten bei vortrainierten Modellen zurückzuführen ist. Dieser Beitrag untersucht, wie sich diese Lernmodi hinsichtlich ihrer induktiven Verzerrungen und Generalisierungsmuster unterscheiden, wobei die transitive Schlussfolgerung als prototypische Aufgabe dient.

Methodik

Die Autoren verfolgten einen vielschichtigen Ansatz, der kontrollierte Experimente an kleinen, von Grund auf trainierten Transformern mit Probing-Experimenten an Large Language Models (LLMs) kombiniert.

1. Setup der transitiven Schlussfolgerungsaufgabe

Die Kernaufgabe umfasst eine Hierarchie von Elementen (z. B. $A > B > C > \dots > G$ ).

Eingabe: Paare von Elementen (Tokens) mit Labels, die ihre relative Reihenfolge angeben (+1, wenn erstes > zweites, -1 sonst).
Trainingsdaten: Modelle werden ausschließlich auf benachbarten Paaren trainiert (symbolische Distanz = 1, z. B. $A>B$ , $B>C$ ).
Evaluation: Modelle werden an nicht-benachbarten Paaren (symbolische Distanz > 1, z. B. $A>C$ ) getestet, um die transitive Generalisierung zu messen.
Architektur: Ein zweischichtiger, rein auf Aufmerksamkeit basierender Transformer (ohne MLPs zur besseren Interpretierbarkeit), der ResNet18-Einbettungen von Omniglot-Bildern als Eingabemerkmale verwendet.

2. Experimentelle Bedingungen

Die Studie vergleicht drei spezifische Trainingsregime:

IWL (Fixe Hierarchie): Die Hierarchie ist über alle Trainingssequenzen hinweg fest. Kontextbeispiele sind zufällig und irrelevant, was das Modell zwingt, die Rangstruktur in seine Gewichte zu lernen.
Standard-ICL (Dynamische Hierarchie): Für jede Trainingssequenz wird eine neue zufällige Hierarchie zugewiesen. Der Kontext enthält alle benachbarten Paare für diese spezifische Sequenz. Das Modell muss die Rangfolge aus dem Kontext ableiten, was die Speicherung spezifischer Hierarchien in den Gewichten verhindert.
ICL mit Vorab-Training auf linearer Regression: Modelle werden zunächst auf einer in-Kontext-Aufgabe zur linearen Regression vortrainiert (Vorhersage von $y = Wx$), wobei sich die Gewichte $W$ pro Sequenz ändern. Dies zwingt das Modell, eine latente lineare Repräsentation via ICL zu lernen, bevor es an der Aufgabe der transitiven Schlussfolgerung evaluiert wird.

3. Mechanistische Analyse

Um zu verstehen, wie Modelle die Aufgabe lösen, nutzten die Autoren:

Hauptkomponentenanalyse (PCA): Zur Visualisierung der Geometrie der Repräsentationen in den versteckten Schichten.
Analyse von Aufmerksamkeitsmustern: Zur Identifizierung spezifischer Schaltkreismechanismen, wie etwa „Induktionsköpfe" (Aufmerksamkeit auf das vorherige Token + Induktionsköpfe).
Ablationsstudien: Systematisches Entfernen von Aufmerksamkeitsköpfen, um die kausale Bedeutung zu testen.

4. Probing an Large Language Models (LLMs)

Um die Generalisierbarkeit zu testen, verwendeten die Autoren den ReCogLab-Datensatz mit vortrainierten LLMs (Familien Gemini und Gemma). Sie wandten ein Kongruenz-Paradigma an:

Kongruent: Beziehungen stimmen mit dem realen Weltwissen überein (z. B. Wal > Delfin).
Inkongruent: Beziehungen widersprechen dem realen Weltwissen (z. B. Goldfisch > Delfin).
Geometrisches Gerüst: Die Prompts wurden um Anweisungen erweitert, sich die Elemente auf einer linearen Zahlenachse vorzustellen (unterstützt Transitivität) versus auf einem Kreis (verletzt Transitivität aufgrund des Wrap-Around).

Wichtige Ergebnisse

1. Divergierendes Verhalten bei IWL vs. Standard-ICL

IWL-Modelle: Zeigen trotz des Trainings nur an benachbarten Paaren natürlich transitive Schlussfolgerungen. Sie zeigen verhaltensbezogene Effekte, die dem menschlichen Verhalten ähneln:
- Effekt der symbolischen Distanz: Die Genauigkeit steigt, wenn die Distanz zwischen den Elementen in der Hierarchie zunimmt.
- Effekt der Endelemente: Höhere Leistung bei Elementen an den Enden der Hierarchie.
- Repräsentationen: Die PCA zeigt eine kontinuierliche, lineare Einbettung, bei der Elemente nach vorzeichenbehafteter symbolischer Distanz angeordnet sind.
Standard-ICL-Modelle: Versagen bei der transitiven Generalisierung, wenn sie nur an benachbarten Paaren trainiert werden.
- Sie erreichen eine hohe Genauigkeit bei benachbarten Paaren (Auswendiglernen) und Endelementen, performen aber bei internen nicht-benachbarten Paaren zufällig.
- Mechanismus: Sie verlassen sich auf einen Induktionsschaltkreis (Strategie des Abgleichs und Kopierens) anstatt auf das Erlernen relationaler Strukturen. Die PCA zeigt keine distanzbasierten Repräsentationen; das Modell kopiert einfach das Label aus dem Kontext, wenn das Paar vorhanden ist.
- Hinweis: Wenn ICL-Modelle explizit an nicht-benachbarten Paaren trainiert werden, können sie Transitivität lernen, zeigen jedoch nicht den bei IWL beobachteten Effekt der symbolischen Distanz.

2. Die Rolle des linearen Vorab-Trainings

Das Vorab-Training von ICL-Modellen auf in-Kontext-lineare Regression verändert ihr Verhalten grundlegend.
Diese Modelle zeigen tatsächlich transitive Schlussfolgerungen, Effekte der symbolischen Distanz und Effekte der Endelemente bei der nachfolgenden TI-Aufgabe.
Mechanismus: Der Induktionsschaltkreis verschwindet. Stattdessen entwickelt das Modell verteilte Repräsentationen, die hierarchische Beziehungen erfassen, ähnlich wie die IWL-Modelle. Die Aufgabe der linearen Regression induziert eine additive repräsentationale Struktur (skalare Ränge), bei der Transitivität mathematisch entsteht ( $Rang(A) > Rang(B) \land Rang(B) > Rang(C) \implies Rang(A) > Rang(C)$ ).

3. Befunde bei Large Language Models

Kongruenz: LLMs performen besser bei kongruenten Proben zur relationalen Schlussfolgerung (Nutzung von gespeichertem, IWL-ähnlichem Wissen) als bei inkongruenten (die reines ICL erfordern).
Geometrisches Gerüst: Bei Prompts mit inkongruenten Aufgaben verbessern lineare geometrische Prompts („Stellen Sie sich eine Zahlenachse vor") die transitive Schlussfolgerung signifikant im Vergleich zu kreisförmigen Prompts („Stellen Sie sich einen Kreis vor").
Dieser Effekt ist unter inkongruenten Bedingungen am ausgeprägtesten und skaliert mit der Modellgröße (bei Gemma-Modellen), was darauf hindeutet, dass LLMs latente lineare Repräsentationen besitzen, die durch eine geeignete geometrische Rahmung aktiviert werden können.

Wichtige Beiträge

Charakterisierung induktiver Verzerrungen: Der Beitrag zeigt, dass IWL und ICL zu qualitativ unterschiedlichen Berechnungsstrategien führen. IWL induziert natürlich eine lineare, transitive Verzerrung, während Standard-ICL standardmäßig eine Strategie des Abgleichs und Kopierens verwendet, es sei denn, die Trainingsdaten oder das Vorab-Training erfordern explizit eine relationale Generalisierung.
Mechanistische Erklärung: Die Autoren identifizieren, dass das Fehlen transitiver Generalisierung im Standard-ICL auf die Bildung von Induktionsschaltkreisen (Musterabgleich) zurückzuführen ist und nicht auf das Erlernen relationaler Strukturen. Umgekehrt unterdrückt das Vorab-Training auf lineare Regression diese Schaltkreise zugunsten verteilter linearer Repräsentationen.
Brückenschlag zwischen kleinen Modellen und LLMs: Durch die Verwendung geometrischer Prompting-Techniken zeigt die Studie, dass die Erkenntnisse aus kontrollierten, kleinen Experimenten auf moderne LLMs generalisieren. Sie liefert Belege dafür, dass die Fähigkeit von LLMs zur transitiven Schlussfolgerung davon abhängt, auf angemessen strukturierte Repräsentationen zuzugreifen, die entweder in den Gewichten gespeichert oder über den Kontext aktiviert werden.

Bedeutung und Behauptungen

Der Beitrag behauptet, dass die Fähigkeit zur transitiven Schlussfolgerung in Transformern keine feste Eigenschaft ist, sondern kritisch bestimmt wird durch:

Das Trainingsregime: Ob Informationen in den Gewichten oder im Kontext gelernt werden.
Die geometrische Struktur der Repräsentationen: Ob die induzierten Repräsentationen linear sind (was Transitivität unterstützt) oder auf Musterabgleich basieren.

Die Autoren schließen, dass Transformern zwar transitive Schlussfolgerungen durchführen können, Standard-ICL an benachbarten Paaren jedoch nicht automatisch diese Fähigkeit hervorbringt. Stattdessen ist entweder ein spezifisches Vorab-Training erforderlich, das lineare Repräsentationen induziert (wie lineare Regression), oder die Aktivierung latenter linearer Strukturen durch geometrisches Prompting in LLMs. Diese Arbeit unterstreicht, dass „Schlussfolgern" in LLMs oft eine Reflexion der geometrischen Struktur der Repräsentationen ist, zu deren Nutzung oder Zugriff sie gezwungen werden, und nicht ein inhärenter Mechanismus logischer Deduktion.