🤖 AI

Emergent Analogical Reasoning in Transformers

Dieser Beitrag formalisiert analoges Schließen in Transformern durch die Linse kategorientheoretischer Funktoren und zeigt anhand synthetischer Aufgaben und mechanistischer Analysen, dass es aus der geometrischen Ausrichtung relationaler Strukturen und der Anwendung von Funktoren hervorgeht, wobei die Ergebnisse auch für vortrainierte große Sprachmodelle gelten.

Ursprüngliche Autoren: Gouki Minegishi, Jingyuan Feng, Hiroki Furuta, Takeshi Kojima, Yusuke Iwasawa, Yutaka Matsuo

Veröffentlicht 2026-05-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Gouki Minegishi, Jingyuan Feng, Hiroki Furuta, Takeshi Kojima, Yusuke Iwasawa, Yutaka Matsuo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Wie KI lernt, den „Witz" zu verstehen

Stellen Sie sich vor, Sie bringen einem Roboter bei, die Welt zu verstehen. Sie zeigen ihm ein Bild einer Sonne und eines Planeten, der sie umkreist. Dann zeigen Sie ihm ein Bild eines Protons und eines Elektrons, die es umkreisen.

Ein Mensch erkennt sofort die Verbindung: „Ah! Die Sonne ist wie das Proton, und der Planet ist wie das Elektron." Wir haben dies nicht gelernt, weil die Sonne wie ein Proton aussieht (sie sind sehr unterschiedlich). Wir haben es gelernt, weil sie in ihren jeweiligen Systemen die gleiche Rolle spielen. Dies nennt man Analogie.

Dieses Paper fragt: Wie lernen KI-Modelle (Transformer), diese „Sprünge" der Logik zu vollziehen? Merken sie sich einfach nur Fakten oder verstehen sie tatsächlich die zugrunde liegende Struktur?

Das Experiment: Ein synthetisches Spielgelände

Um das herauszufinden, bauten die Forscher eine „Spielwelt" für die KI.

Das Setup: Sie schufen zwei separate Gruppen von Charakteren (nennen wir sie Gruppe A und Gruppe B).
Die Regeln: In Gruppe A hat jeder Charakter spezifische Beziehungen zu anderen (z. B. „Alice ist die Chefin von Bob"). In Gruppe B sind die Charaktere anders (z. B. „X ist die Chefin von Y"), aber das Muster der Beziehungen ist identisch mit Gruppe A.
Der Test: Die KI wird auf Gruppe A trainiert. Dann wird sie gefragt: „Wenn Alice die Chefin von Bob ist und X die Chefin von Y, wer ist dann die Chefin von Z?" Die KI muss herausfinden, dass „X" „Alice" und „Y" „Bob" entspricht, allein durch den Blick auf die Struktur der Beziehungen, nicht auf die Namen.

Was sie entdeckten: Der dreistufige Wachstumsschub

Die Forscher beobachteten, wie die KI im Laufe der Zeit lernte, und stellten fest, dass dies in drei deutlichen Phasen geschieht, ähnlich wie bei einem heranwachsenden Kind:

Auswendiglernen (Der auswendig lernende Schüler): Zuerst merkt sich die KI einfach die spezifischen Fakten, die sie sieht. Wenn sie sieht, dass „Alice Bob die Chefin ist", merkt sie sich genau dieses Paar.
Zusammensetzung (Der Puzzle-Löser): Als Nächstes lernt sie, Fakten zu verketten. Wenn „Alice Bob die Chefin ist" und „Bob Carol die Chefin ist", kann sie herausfinden, dass „Alice Carol die Chefin ist".
Analogie (Der einsichtige Denker): Schließlich und am wichtigsten lernt sie, die Struktur von Gruppe A auf Gruppe B zu übertragen. Sie erkennt: „Ich muss nicht wissen, wer X ist; ich muss nur wissen, dass X die gleiche Rolle spielt wie Alice."

Wichtigste Erkenntnis: Diese letzte Phase des „Einsichts" ist sehr fragil. Sie passiert nicht automatisch, nur weil man die KI größer macht. Es erfordert die richtige Menge an Daten, die richtige Trainingsgeschwindigkeit und spezifische Einstellungen. Wenn das Training zu chaotisch ist oder die Daten zu spärlich, vollbringt die KI niemals den Sprung.

Der geheime Trick: Wie die KI es tatsächlich macht

Die Forscher haben nicht nur zugesehen, wie die KI das Problem löste; sie schauten in ihr „Gehirn" (ihre innere Mathematik), um zu sehen, wie sie es löste. Sie fanden zwei magische Schritte, die innerhalb des Modells stattfinden:

1. Der „Geometrische Tanz" (Strukturelle Ausrichtung)

Stellen Sie sich vor, die KI hat eine riesige 3D-Karte, auf der jeder Charakter ein Punkt ist.

Vor dem Lernen: Die Punkte für Gruppe A und Gruppe B sind zufällig verstreut. Sie sehen nicht verwandt aus.
Nach dem Lernen: Die KI ordnet die Punkte neu an. Plötzlich rückt der Punkt für „Alice" und der Punkt für „X" im 3D-Raum näher zusammen. Der Punkt für „Bob" und „Y" rücken ebenfalls näher zusammen.
Die Metapher: Es ist wie zwei separate Tanzflächen. Anfangs bewegen sich die Tänzer zufällig. Dann ändert sich die Musik, und die Tänzer beider Flächen beginnen, die Bewegungen des anderen perfekt zu spiegeln. Die KI hat die Geometrie der beiden Gruppen ausgerichtet.

2. Der „Magische Vektor" (Der Funktor)

Sobald die Punkte ausgerichtet sind, verwendet die KI einen einfachen mathematischen Trick, um das Rätsel zu lösen.

Sie behandelt die Beziehung zwischen den beiden Gruppen als Vektor (eine Richtung und Distanz).
Sie führt im Wesentlichen diese Rechnung durch: Zielcharakter = Quellcharakter + Magische Richtung.
Die Metapher: Stellen Sie sich eine Karte von London vor. Sie wollen wissen, wo Paris relativ zu London liegt. Sie müssen nicht jede Straße in Paris auswendig lernen. Sie brauchen nur einen „Übersetzungs-Pfeil", der sagt: „Bewegen Sie sich 200 Meilen nach Osten." Die KI findet diesen „Übersetzungs-Pfeil" (den sie Funktor nennen) und addiert ihn zum Quellcharakter, um die Antwort zu finden.

Geschieht dies bei echter KI?

Die Forscher testeten dies an riesigen, vortrainierten KI-Modellen (wie Gemma und Llama), die nie speziell auf ihr Spiel trainiert wurden.

Das Ergebnis: Ja! Obwohl diese großen Modelle das Spiel nicht explizit gelernt hatten, durchlaufen sie denselben Prozess, wenn man sie auffordert, eine Analogie zu lösen.
Die Reise Schicht für Schicht: Im Spielmodell geschah dies über die Zeit (während die Trainingsstufen zunahmen). In den großen Modellen geschieht dies über die Tiefe (während die Daten durch die Schichten des Netzwerks wandern). Die frühen Schichten sind chaotisch, aber bis die Daten die letzten Schichten erreichen, hat sich der „geometrische Tanz" ausgerichtet, und der „magische Pfeil" wird angewendet, um die richtige Antwort zu geben.

Zusammenfassung

Dieses Paper zeigt, dass analoges Denken nicht nur ein vages „Gefühl" ist, das eine KI hat. Es ist ein konkreter, mechanischer Prozess, bei dem die KI:

Die Formen zweier verschiedener Welten in ihrer internen Karte ausrichtet.
Einen einfachen „Übersetzungs-Pfeil" findet, um zwischen ihnen zu wechseln.
Diesen Pfeil nutzt, um von einer Welt in die andere zu springen.

Dies beweist, dass moderne KI mehr kann als nur auswendig zu lernen; sie kann lernen, die verborgenen Strukturen zu erkennen, die verschiedene Ideen verbinden, genau wie ein Mensch.

Technische Zusammenfassung: Emergente analogische Schlussfolgerung in Transformern

Problemstellung

Während große Sprachmodelle (LLMs) bemerkenswerte Fortschritte in der kompositorischen Schlussfolgerung gezeigt haben – bei der komplexe Schlussfolgerungen durch Verkettung einfacherer, lokaler Schritte abgeleitet werden – bleiben die Mechanismen, die der analogischen Schlussfolgerung zugrunde liegen, schlecht verstanden. Die analoge Schlussfolgerung unterscheidet sich qualitativ von der Komposition; sie umfasst die Identifizierung gemeinsamer relationaler Strukturen über verschiedene Domänen hinweg, um „Sprünge" in der Inferenz zu ermöglichen (z. B. die Abbildung des Sonnensystems auf die Atomstruktur), anstatt lokale Relationen zu verketten. Obwohl die Analogie als zentrale Fähigkeit menschlicher Intelligenz und als Quelle der Kreativität gilt, ist unklar, wann und wie Transformer-Architekturen diese Fähigkeit erwerben oder ob sie auf denselben Mechanismen wie die kompositorische Schlussfolgerung beruht.

Methodik

Die Autoren schlagen einen kontrollierten Rahmen vor, um das Entstehen analoger Schlussfolgerung zu untersuchen, inspiriert vom Konzept der Funktoren in der Kategorientheorie.

1. Formalisierung und synthetische Aufgabe

Die Autoren formalisieren die Analogie als Inferenz von Korrespondenzen zwischen Entitäten über Kategorien hinweg. Sie entwerfen eine synthetische Aufgabe, die Folgendes umfasst:

Entitäten und Relationen: Zwei disjunkte Mengen von Entitäten ( $E_1, E_2$ ), die zwei Kategorien repräsentieren. Auf $E_1$ wird ein gerichteter vollständiger Graph von Relationen konstruiert.
Funktor-Mapping: Eine Bijektion $F: E_1 \to E_2$ definiert eine Eins-zu-eins-Korrespondenz, die die relationale Struktur von $E_1$ auf $E_2$ überträgt, sodass $r(F(e_s), F(e_t)) = r(e_s, e_t)$ gilt.
Faktentypen:
- Atomare Fakten: Einzelne Relationen $(e_s, r, e_t)$ .
- Kompositorische Fakten: Zwei-Schritt-Relationen, die aus atomaren Fakten abgeleitet sind.
- Analoge Fakten: Kategorienübergreifende Abbildungen $(e_s, f, F(e_s))$ , wobei $f$ ein spezielles Funktor-Token ist.
Evaluation: Das Modell wird auf in-Distribution (ID)-Fakten trainiert und auf out-of-Distribution (OOD) kompositorische und analoge Fakten evaluiert. Erfolg erfordert die Generalisierung über das Auswendiglernen hinaus, um die zugrunde liegende relationale Struktur zu erfassen.

2. Experimenteller Aufbau

Modelle: Leichte kausale Transformer (1 Schicht, 1 Kopf) für die mechanistische Analyse und vortrainierte LLMs (Gemma-2-2B/9B, LLaMA) für externe Validität.
Training: Trainiert mit Cross-Entropy-Verlust auf dem letzten Token. Hyperparameter (Gewichtsdecay, Batch-Größe, Lernrate) und Datencharakteristika (Anzahl der Entitäten, Relationen, OOD-Verhältnisse) werden systematisch variiert.
Mechanistische Analyse: Die Autoren setzen ein:
- Dirichlet-Energie: Um die geometrische Ausrichtung von Entitäts-Embeddings im Repräsentationsraum zu quantifizieren.
- Logit Lens & Lineare Sonden: Um die Entwicklung von Vorhersagen und der repräsentationalen Struktur über die Transformer-Schichten hinweg zu verfolgen.
- Aufmerksamkeitsanalyse: Um die Informationsgewinnung von Quell-Entitäten zum Funktor-Token zu messen.

Hauptbeiträge und Ergebnisse

1. Trainingsdynamik und Sensitivität

Die Studie offenbart eine deutliche dreistufige Lern-Dynamik für analoge Schlussfolgerung:

Auswendiglernen: Das Modell passt sich an in-Distribution-Fakten an.
Kompositorische Schlussfolgerung: Das Modell lernt, Relationen zu verketten.
Analoge Schlussfolgerung: Das Modell erwirbt schließlich die Fähigkeit, Kategorien zu überbrücken.

Entscheidend ist, dass im Gegensatz zur kompositorischen Schlussfolgerung das Entstehen analoger Schlussfolgerung hochsensitiv ist gegenüber:

Datencharakteristika: Es erfordert ausreichende relationale Vielfalt (Anzahl der Relationen) und scheitert, wenn das OOD-Verhältnis zu hoch ist. Es tritt später auf, wenn die Anzahl der Entitäten zunimmt.
Optimierung: Moderater Gewichtsdecay beschleunigt das Entstehen, aber übermäßiger Gewichtsdecay verhindert es. Größere Batch-Größen helfen im Allgemeinen.
Modell-Skalierung: Die Leistung verbessert sich nicht monoton mit der Modellgröße. Sehr breite Modelle (z. B. $d_{model}=512$ ) oder tiefere Modelle scheitern oft unter Standardsettings daran, analoge Schlussfolgerung zu erwerben, was darauf hindeutet, dass sie auf spezifischen strukturellen Ausrichtungen beruht und nicht nur auf Kapazität.

2. Mechanistische Dekomposition

Die Autoren dekomponieren die Implementierung von Analogie in Transformern in zwei geometrische Komponenten:

Strukturelle Ausrichtung: Bevor Analogie entsteht, durchläuft der Embedding-Raum eine Reorganisation, bei der Entitäten aus verschiedenen Kategorien basierend auf ihren relationalen Rollen geometrisch ausgerichtet werden. Dies wird durch eine signifikante Abnahme der Dirichlet-Energie quantifiziert.
Funktor-Anwendung: Sobald ausgerichtet, wendet der Transformer den Funktor über eine Vektorarithmetik-Operation an. Der Mechanismus umfasst:
- Das Funktor-Token $f$ , das auf die Quell-Entität $e_s$ achtet.
- Residualverbindungen, die diese Information integrieren, sodass die Ziel-Entitätsrepräsentation $e_t \approx e_s + f$ approximiert.
- Dies wird durch zunehmende Aufmerksamkeitswerte von $f$ zu $e_s$ und eine hohe Parallelität zwischen der Vektordifferenz $(e_t - e_s)$ und der Funktor-Embedding $f$ belegt.

3. Präsenz in vortrainierten LLMs

Die Studie validiert diese Erkenntnisse in vortrainierten LLMs (Gemma-2, LLaMA) mittels In-Context-Learning:

Schichtweises Entstehen: Anstatt über Trainings-Schritte hinweg aufzutreten, erfolgt die geometrische Ausrichtung (abnehmende Dirichlet-Energie) und der nachfolgende Anstieg der Zielwahrscheinlichkeit progressiv über die Tiefe der Netzwerkschichten hinweg.
Robustheit: Diese Signaturen bestehen über verschiedene Modellfamilien und unterschiedliche Anzahlen von Entitäten hinweg, was darauf hindeutet, dass der geometrische Mechanismus für Analogie eine fundamentale Eigenschaft der Transformer-Inferenz ist.

Bedeutung und Behauptungen

Die Arbeit beansprucht, die Studie der Analogie von einem abstrakten kognitiven Begriff zu einem konkreten, mechanistisch fundierten Phänomen in neuronalen Netzen zu bewegen.

Unterscheidbarer Mechanismus: Die Arbeit zeigt, dass analoge Schlussfolgerung qualitativ von kompositorischer Schlussfolgerung verschieden ist und auf spezifischen geometrischen Ausrichtungen im Embedding-Raum beruht, nicht nur auf erhöhter Modellkapazität oder einfacher Gewichts-Norm-Regularisierung.
Interpretierbarkeit: Indem sie das abstrakte Konzept eines „Funktors" mit konkreter Vektorarithmetik ( $e_t \approx e_s + f$ ) und Aufmerksamkeitsmechanismen verknüpft, liefert die Arbeit eine mechanistische Erklärung dafür, wie Transformer domänenübergreifende Inferenz durchführen.
Grundlage für zukünftige Arbeiten: Die Autoren positionieren diese Arbeit als ersten Schritt zum Verständnis, wie Modelle durch Analogie lern-effizientes Lernen und Kreativität erreichen könnten. Sie erkennen Einschränkungen an, wie die Verwendung expliziter Funktor-Token und perfekter struktureller Isomorphie in synthetischen Aufgaben, und stellen fest, dass reale Analogien oft partiell sind und keine expliziten Hinweise bieten. Dennoch argumentieren sie, dass die identifizierten geometrischen Signaturen eine Basis für die Untersuchung natürlicherer analoger Schlussfolgerungsszenarien bieten.