🤖 AI

Belief or Circuitry? Causal Evidence for In-Context Graph Learning

Dieser Artikel liefert kausale Belege dafür, dass große Sprachmodelle Graphstrukturen im Kontext durch einen dualen Mechanismus erlernen, bei dem echte globale Topologie-Inferenz und lokales Muster-Matching gleichzeitig operieren, anstatt sich auf eine einzelne Strategie zu verlassen.

Ursprüngliche Autoren: Katharine Kowalyshyn, Timothy Duggan, Daniel Little, Michael C Hughes

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Katharine Kowalyshyn, Timothy Duggan, Daniel Little, Michael C Hughes

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen sehr intelligenten, aber leicht mysteriösen Roboter darin, ein Labyrinth zu navigieren. Sie zeigen ihm einige Schritte eines Pfades und bitten ihn dann, den nächsten Schritt zu erraten. Die große Frage, die sich die Forscher stellen, lautet: Wie findet der Roboter den Weg?

Geht es nur darum, die letzten paar Schritte zu memorieren, die es gesehen hat (wie ein Papagei, der Wörter wiederholt)? Oder baut es tatsächlich eine mentale Karte des gesamten Labyrinths in seinem Kopf auf (wie ein Mensch, der die Anordnung versteht)?

Dieser Artikel mit dem Titel „Glaube oder Schaltung?" versucht, diese Frage zu beantworten, indem er ein Large Language Model (wie die, die Chatbots antreiben) und ein Spiel mit „zufälligen Irrfahrten" auf zwei verschiedenen Kartentypen verwendet: einem Gitter (wie ein Stadtviertel mit vielen Kreuzungen) und einem Ring (wie eine Rundbahn).

Hier ist das, was die Forscher herausfanden, einfach erklärt:

1. Die Debatte „Glaube" gegen „Kopieren"

Lange Zeit stritt man darüber, wie diese KI-Modelle aus dem Kontext lernen.

Die „Kopier"-Theorie: Das Modell schaut sich nur die letzten paar Wörter an und sagt: „Oh, ich habe dieses Wort schon einmal auf dieses Wort folgen sehen, also werde ich das wieder raten." Es ist wie ein Schüler, der vor einer Prüfung nur die letzte Seite des Lehrbuchs lernt.
Die „Glaube"-Theorie: Das Modell leitet tatsächlich eine verborgene Struktur ab. Es denkt: „Basierend auf diesen Hinweisen glaube ich, dass ich mich auf einer Ringbahn und nicht auf einem Gitter befinde", und nutzt diese mentale Karte, um Vorhersagen zu treffen.

2. Das Experiment: Die Karten mischen

Die Forscher gaben dem Modell nicht nur eine Karte; sie gaben ihm eine Mischung. Stellen Sie sich vor, Sie zeigen dem Roboter einen Pfad, der hin und her zwischen einem Gitter und einem Ring springt.

Wenn der Roboter nur ein Kopierer wäre, würde es ihm egal sein, was den Unterschied zwischen den beiden Formen ausmacht. Es würde einfach kopieren, was es zuletzt gesehen hat.
Wenn der Roboter ein Gläubiger wäre, würde es die beiden Formen unterschiedlich behandeln. Es würde erkennen, dass der „Ring" einfacher und leichter zu lernen ist, während das „Gitter" komplexer ist und mehr Beweise erfordert, um herauszufinden, wie es funktioniert.

Das Ergebnis: Der Roboter verhielt sich wie ein Gläubiger. Es dauerte länger, sich auf das komplexe Gitter zu „festzulegen" als auf den einfachen Ring. Es kopierte nicht nur; es wog die Komplexität der Karte, auf der es sich befand, ab.

3. Der „Röntgen"-Test (Ein Blick ins Gehirn)

Um zu sehen, wie der Roboter das tat, betrachteten die Forscher die internen „Gehirnwellen" des Modells (mathematisch nennt man dies den Residualstrom). Sie verwendeten eine Technik namens Hauptkomponentenanalyse (PCA) (denken Sie daran als ein Röntgenbild, das ein 3D-Objekt in einen 2D-Schatten flacht, um seine Form zu erkennen).

Was sie erwarteten, wenn es nur Kopieren wäre: Das Gehirn des Roboters würde wie eine verschwommene Mischung aus Gitter und Ring aussehen, die durcheinander geworfen sind.
Was sie tatsächlich sahen: In der Mitte des Experiments hielt das Gehirn des Roboters zwei distincte, getrennte Karten gleichzeitig. Ein Teil seines Gehirns hielt die „Gitter"-Form, und ein völlig anderer Teil hielt die „Ring"-Form. Sie waren wie zwei verschiedene Radiosender, die in separaten Räumen spielen, und kein statisches Durcheinander.

Dies ist ein starker Beweis dafür, dass das Modell nicht nur kopiert; es pflegt ein strukturiertes Verständnis der Welt.

4. Der „Fernbedienung"-Test (Kausaler Beweis)

Schließlich wollten die Forscher wissen: „Verursacht diese mentale Karte tatsächlich, dass der Roboter die richtige Vermutung anstellt, oder ist sie nur ein Nebeneffekt?"

Sie benutzten zwei Tricks:

Der „Gehirn-Tausch" (Patching): Sie entnahmen den „Gehirnzustand" eines Roboters, der die Antwort wusste, und tauschten ihn in einen Roboter ein, der verwirrt war.
- Ergebnis: Der verwirrte Roboter wusste plötzlich die Antwort. Dies beweist, dass die Informationen im Gehirn es sind, die die Vorhersage antreiben.
Der „Schubs" (Steering): Sie gaben dem Roboter einen winzigen mathematischen Schub in Richtung „Gitter" oder „Ring".
- Ergebnis: Die Vermutungen des Roboters verschoben sich genau in die Richtung, in die sie ihn schoben. Wenn sie ihn in Richtung „Ring" schoben, riet er Ring-Nachbarn.

Die große Schlussfolgerung

Die Studie kommt zu dem Ergebnis, dass die Antwort nicht „Glaube ODER Schaltung" lautet. Es ist beides.

Stellen Sie sich die KI wie einen Detektiv vor, der ein Verbrechen aufklärt:

Schaltung (Kopieren): Es betrachtet die unmittelbaren Hinweise (die letzten paar Fußspuren).
Glaube (Struktur): Es entwickelt eine Theorie über das Profil des Verdächtigen (die Karte).

Das Modell macht beides gleichzeitig. Es nutzt seine „Induktions-Schaltungen", um kürzlich aufgetretene Muster zu kopieren, aber es baut auch ein echtes, internes Modell der Struktur auf. Diese beiden Systeme arbeiten parallel, und die endgültige Antwort ergibt sich aus der Kombination der unmittelbaren Hinweise mit der Theorie des großen Ganzen.

Kurz gesagt: Die KI ist nicht nur ein Papagei, der wiederholt, was es hört; es ist ein Erbauer, der ein mentales Modell der Welt konstruiert, selbst wenn diese Welt nur ein einfaches Spiel aus Punkten und Linien ist.

Technische Zusammenfassung: Glaube oder Schaltung? Kausale Evidenz für Graphenlernen im Kontext

1. Problemstellung

Die Arbeit adressiert eine fundamentale Debatte in der mechanistischen Interpretierbarkeit darüber, wie Large Language Models (LLMs) In-Context-Learning (ICL) durchführen. Insbesondere untersucht sie, ob LLMs latente strukturelle Beziehungen inferieren (ein „Glaube"-Mechanismus, ähnlich der bayesschen Inferenz über Weltmodelle) oder lediglich lokale Übergänge durch Induktionsschaltungen kopieren (ein „Schaltung"-Mechanismus).

Während neuere Arbeiten (Park et al., 2025) nahelegten, dass LLMs implizite probabilistische Weltmodelle über Graphenstrukturen beibehalten, argumentieren Gegenpositionen (Arditi, 2026; Ransome, 2026), dass die beobachteten Verhaltensweisen vollständig durch lokale Induktionsköpfe erklärt werden können, die Übergangsstatistiken ohne Inferenz globaler Strukturen akkumulieren. Die Autoren zielen darauf ab, diese Debatte mittels einer kontrollierten Toy-Aufgabe mit zufälligen Spaziergängen auf konkurrierenden Graphenstrukturen zu triangulieren.

2. Methodik

Die Studie verfolgt einen vielschichtigen Ansatz, der Verhaltensmodellierung, Repräsentationsanalyse und kausale Interventionen am Modell Llama-3.1-8B kombiniert.

2.1. Aufgabenkonzept

Die Autoren nutzen eine Graphen-Zufallsspaziergang-Aufgabe, bei der das Modell den nächsten Knoten in einer Sequenz vorhersagt, die von einem unbekannten Graphen generiert wurde. Zwei konkurrierende Hypothesen werden getestet:

$H_{grid}$ : Ein $4\times4$ -Gittergraph (16 Knoten, 24 Kanten, variable Gradzahl).
$H_{ring}$ : Ein Ringgraph mit 16 Knoten (16 Kanten, einheitlicher Grad).

Um einen echten Wettbewerb zu erzeugen, verflechten die Autoren Zufallsspaziergänge beider Graphen in kontrollierten Mischungsverhältnissen ( $\rho$ ), wobei $\rho$ die Wahrscheinlichkeit darstellt, dass ein Segment aus dem Ring stammt.

2.2. Verhaltensmodellierung (Experiment 1)

Die Autoren passen ein Glaubensdynamik-Modell an die beobachteten Genauigkeitskurven an. Im Gegensatz zu früheren Ansätzen mit flachen Log-Priors führen sie einen komplexitätsgewichteten Prior ein:
$b_k = b_0 - \lambda \cdot C(H_k)$
Wobei $C(H_k)$ die Komplexität der Graphenhypothese gemäß der Minimum Description Length (MDL) ist (basierend auf einer Kantenlisten-Kodierung).

Hypothese: Wenn das Modell strukturelle Inferenz durchführt, benötigt es mehr Evidenz, um sich für den komplexeren Graphen ( $H_{grid}$ ) zu entscheiden, was zu $\hat{\lambda} > 0$ führt.
Kontrast: Reine Induktionsschaltungen sollten Übergangsstatistiken unabhängig von der globalen Topologie uniform akkumulieren, was $\hat{\lambda} \approx 0$ vorhersagt.

2.3. Repräsentationsanalyse (Experiment 2)

Die Autoren analysieren die Aktivierungen des Residualstreams (speziell Schicht 26) mittels Hauptkomponentenanalyse (PCA).

Metrik: Sie messen die gradnormalisierte Dirichlet-Energie ( $E_{norm}$ ), um zu quantifizieren, wie gut die niedrigdimensionale Geometrie der Knoten-Token-Repräsentationen mit der wahren Graph-Adjazenzstruktur übereinstimmt.
Ziel: Zu bestimmen, ob beide Graphentopologien bei intermediären Mischungsverhältnissen gleichzeitig in orthogonalen Unterräumen rekonstruierbar sind – ein Merkmal, das mit einer einzigen gemischten Repräsentation durch lokales Kopieren unvereinbar ist.

2.4. Kausale Interventionen (Experiment 3)

Um Kausalität zwischen internen Repräsentationen und Vorhersagen herzustellen, führen die Autoren zwei Interventionen durch:

Aktivierungs-Patching: Ersetzen der Residualstream-Aktivierungen aus einem „korrupten" (gemischten) Prompt durch diejenigen aus einem „sauberen" (einzelgraphigen) Prompt an spezifischen Schichten. Sie messen die Wiederherstellung der Präferenz für den sauberen Graphen mittels eines Logit-Kontrast-Scores.
Aktivierungs-Steering: Hinzufügen eines gelernten „Graphen-Differenzvektors" (abgeleitet aus sauberen vs. Ring-Kontexten) zum Residualstream, um Vorhersagen in Richtung einer bestimmten Graphenfamilie zu verschieben.

3. Schlüsselergebnisse

3.1. Verhaltensbezogene Evidenz

Komplexitätssensitivität: Das angepasste Modell zeigt $\hat{\lambda} > 0$ und $\hat{b}_{grid} < \hat{b}_{ring}$ . Das Modell benötigt unverhältnismäßig mehr Kontext, um sich für die dichtere Gittertopologie im Vergleich zum Ring zu entscheiden.
Phasenübergang: Der Wendepunkt für das Gitter verschiebt sich monoton nach hinten, wenn die Evidenz für den Ring zunimmt.
Modellauswahl: Eine pro-Graph-Parametrisierung (die unterschiedliche Dynamiken für jeden Graphen zulässt) schneidet auf den Metriken AIC und BIC deutlich besser ab als eine Ablation der Mischungsbias (die nur den Prior anpasst). Dies deutet darauf hin, dass das Modell strukturelle Evidenz für jede Topologie unterschiedlich verarbeitet und nicht nur über einen statischen Prior.

3.2. Repräsentationsbezogene Evidenz

Orthogonale Unterräume: Bei intermediären Mischungsverhältnissen ( $\rho = 0.5$ ) zeigt die PCA, dass sowohl die Gitter- als auch die Ringtopologie gleichzeitig in orthogonalen Hauptunterräumen kodiert sind.
Implikation: Ein rein lokaler Induktionsmechanismus würde eine einzige gemischte Repräsentation von Ko-Okkurrenzstatistiken erzeugen. Die Existenz zweier trennbarer globaler Strukturen widerspricht der „nur-Kopieren"-Hypothese.
Geometrie-Alignment: Wenn die Kontextlänge über den Wendepunkt hinaus zunimmt, spiegelt die interne Geometrie progressiv die wahre Topologie wider, wobei sich $E_{norm}$ von 0,785 auf 0,828 verschiebt.

3.3. Kausale Evidenz

Patch-Transfer: Das Patching in späteren Schichten (ca. Schicht 26–30) überträgt die Präferenz für den sauberen Graphen fast vollständig auf den korrupten Prompt. Entscheidend ist, dass dieser Effekt auch auf zurückgehaltene Kanten (Nachbarn, die im korrupten Kontext nie gesehen wurden) übergeht, was darauf hindeutet, dass das Modell nicht lediglich beobachtete Übergänge wiedergibt, sondern eine strukturelle Repräsentation nutzt.
Steering: Lineares Steering mittels des Graphen-Differenzvektors verschiebt Vorhersagen erfolgreich in die intendierte Richtung. Dieser Effekt ist robust gegenüber normangepassten zufälligen Vektoren und Kontrollen mit gemischten Labels, was bestätigt, dass die Richtungsspezifität auf dem Signal der Graphenfamilie beruht.

4. Beiträge

Komplexitätsgewichteter Prior: Ersetzung flacher Priors durch eine MDL-inspirierte Komplexitätsmaßzahl, wodurch eine quantitative Signatur einer topologiesensitiven strukturellen Verzerrung ( $\hat{\lambda} > 0$ ) wiederhergestellt wurde.
Verflochtener Wettbewerb: Demonstration, dass die topologieverzerrte Evidenzakkumulation der Vorhersage von Induktionsschaltungen nach symmetrischem Verhalten in einem Regime gemischter Hypothesen standhält.
Simultane Kodierung: Bereitstellung von PCA-Evidenz, dass unterschiedliche globale Graphentopologien gleichzeitig in orthogonalen Unterräumen rekonstruierbar sind – ein Muster, das schwer mit lokalem Übergangskopieren in Einklang zu bringen ist.
Kausaler Link: Nachweis durch Patching und Steering, dass diese Repräsentationsstrukturen kausal die Next-Token-Vorhersagen steuern, einschließlich für nicht gesehene Übergänge.

5. Bedeutung und Fazit

Die Arbeit schließt, dass die Dichotomie zwischen „Glaube" (globale Strukturerinferenz) und „Schaltung" (lokale Induktion) wahrscheinlich eine falsche Dichotomie ist. Die Evidenz stützt eine Dual-Mechanismus-Erklärung:

Induktionsähnliche Caches bleiben wichtig, wie durch verzögerte Effekte auf zurückgehaltene Kanten und unvollständige Wiederherstellung unter Steering belegt wird.
Latente-Struktur-Repräsentationen arbeiten parallel und integrieren Evidenz vor der finalen Vorhersage.

Die Autoren behaupten, dass die Architektur dieses Zusammenlebens – wo genuine Strukturerinferenz und Induktionsschaltungen gleichzeitig operieren – die primäre Herausforderung für die mechanistische Interpretierbarkeit zukünftig darstellt. Sie beanspruchen nicht, dass LLMs vollständig menschenähnliches reasoning besitzen, sondern dass sie implizite, manipulierbare probabilistische Weltmodelle neben lokalen Mustererkennungsmechanismen beibehalten.