🤖 machine learning

Dynamics Reveals Structure: Challenging the Linear Propagation Assumption

Dieser Artikel zeigt, dass die Annahme der linearen Propagation, die besagt, dass lokale Parameteraktualisierungen in neuronalen Netzen die logische Kohärenz bewahren, grundlegend fehlerhaft ist, da die mathematischen Anforderungen zur Behandlung von Relationskomposition (Bilinearität) mit denen für Negation unvereinbar sind, wodurch strukturelle Einschränkungen beim Wissens-Editing, dem Fluch der Umkehrung und dem mehrstufigen Schlussfolgern erklärt werden.

Ursprüngliche Autoren: Hoyeon Chang, Bálint Mucsányi, Seong Joon Oh

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hoyeon Chang, Bálint Mucsányi, Seong Joon Oh

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Das „Domino"-Problem

Stellen Sie sich eine riesige, komplexe Maschine (ein neuronales Netz) vor, die Fakten kennt. Sie möchten ihr eine neue Tatsache beibringen, wie „T-Rex hat vier Beine".

Das Paper stellt eine einfache Frage: Wenn Sie die Maschine nur winzig anpassen, um diese eine Tatsache zu lernen, aktualisiert die Maschine dann automatisch alle damit verbundenen Fakten auf logische Weise?

Zum Beispiel:

Wenn Sie ihr beibringen „T-Rex hat vier Beine", lernt sie dann automatisch „T-Rex hat nicht fünf Beine" (Negation)?
Lernt sie „Vier Beine gehören zum T-Rex" (Konverse/Umkehrung)?
Lernt sie „Wenn T-Rex vier Beine hat und vier Beine eine Art Gliedmaße sind, dann hat T-Rex Gliedmaßen" (Komposition/Multi-Hop)?

Die Autoren nennen den Glauben, dass „kleine Anpassungen automatisch alle damit verbundene Logik korrigieren", die Annahme der linearen Propagation (LPA). Sie argumentieren, dass dies zwar großartig klingt, die Mathematik aber beweist, dass es für aktuelle KI-Typen unmöglich ist, dies perfekt mit einfachen, kleinen Anpassungen zu tun.

Die drei logischen Tests

Die Forscher testeten drei spezifische Arten von Logik, um zu sehen, ob die Maschine damit umgehen kann. Sie verwendeten einen „geometrischen" Ansatz und stellten sich das Wissen der KI als Formen und Richtungen im Raum vor.

1. Der „Gegenteil"-Test (Negation)

Die Logik: Wenn Sie die Maschine dazu bringen, „Ja" zu glauben, sollte sie „Nein" automatisch in die genau entgegengesetzte Richtung drängen.
Die Analogie: Stellen Sie sich eine Wippe vor. Wenn Sie eine Seite nach unten drücken (Ja), muss die andere Seite unbedingt nach oben gehen (Nein).
Das Ergebnis: Das Paper beweist, dass dies automatisch funktionieren muss, wenn das interne „Gedächtnis" der Maschine wie ein Lego-Set mit separaten Steinen aufgebaut ist. Ein Satz von Steinen muss das Wer (T-Rex) halten, und ein völlig separater Satz muss das Was (vier Beine) halten.
Der Realitätscheck: Die Autoren untersuchten echte KI-Modelle und stellten fest, dass sie keine separaten Steine verwenden. Stattdessen vermischen sie alles. Wenn Sie also „Ja" drücken, bewegt sich die „Nein"-Seite oft in die gleiche Richtung, was einen Widerspruch erzeugt.

2. Der „Tausch"-Test (Konverse)

Die Logik: Wenn „A ist der Elternteil von B", sollte die Maschine automatisch verstehen, dass „B das Kind von A ist".
Die Analogie: Stellen Sie sich einen Tanz vor. Wenn Partner A Partner B führt, sollte die Maschine sofort wissen, wie man die Rollen tauscht, sodass Partner B Partner A führt, ohne verwirrt zu werden.
Das Ergebnis: Dies erfordert eine sehr spezifische, symmetrische Struktur im Gedächtnis der Maschine. Es ist wie ein Spiegel, der perfekt reflektiert. Das Paper zeigt, dass aktuelle KI-Modelle diese perfekte Spiegelsymmetrie nicht eingebaut haben, weshalb sie Beziehungen oft nicht umkehren können (ein Problem, das als „Fluch der Umkehrung" bekannt ist).

3. Der „Ketten"-Test (Komposition)

Die Logik: Wenn „A führt zu B" und „B führt zu C", sollte die Maschine automatisch wissen, dass „A zu C führt".
Die Analogie: Stellen Sie sich eine Kette von Dominosteinen vor. Wenn Sie den ersten umstoßen, fällt der zweite, und dann der dritte.
Das Ergebnis: Hier liefert das Paper seinen größten „Ouch"-Moment. Sie bewiesen, dass es mathematisch unmöglich ist, diese Kettenreaktion mit einfachen, linearen Anpassungen zum Funktionieren zu bringen, wenn man gleichzeitig möchte, dass der „Gegenteil"-Test funktioniert.
Die Metapher: Es ist wie der Versuch, eine Brücke zu bauen, bei der die Gesetze der Physik besagen, dass „Oben" und „Unten" sich perfekt aufheben müssen, aber die Regeln der Brücke besagen, dass „Oben" und „Unten" sich multiplizieren müssen, um wieder „Oben" zu ergeben. Der einzige Weg, beide Regeln zu erfüllen, besteht darin, die Brücke vollständig zum Einsturz zu bringen (die Merkmalskarte wird null).

Warum ist das wichtig?

Das Paper legt nahe, dass viele der frustrierenden Fehler, die wir bei KI sehen, nicht nur daran liegen, dass die KI „dumm" ist oder nicht genug trainiert wurde. Stattdessen liegt es an einem strukturellen Missverhältnis.

Das Problem: Wir versuchen, ein komplexes, nicht-lineares Problem (Logik) mit einem einfachen, linearen Werkzeug (kleine Parameter-Anpassungen) zu beheben.
Das Ergebnis: Die KI kann eine spezifische Tatsache lernen, aber sie kann dieses Lernen nicht zuverlässig auf seine logischen Konsequenzen „ausbreiten".
- Sie kann das Gegenteil einer Tatsache nicht zuverlässig lernen.
- Sie kann eine Beziehung nicht zuverlässig umkehren.
- Sie kann Fakten nicht zuverlässig miteinander verketten.

Die Lektion „Dynamics Reveals Structure"

Die Autoren verwenden einen cleveren Ausdruck: „Dynamik offenbart Struktur."

Normalerweise schauen wir uns eine KI an und fragen: „Was weiß sie?" (Statische Sicht).
Dieses Paper fragt: „Wie verändert sie sich, wenn wir ihr etwas beibringen?" (Dynamische Sicht).

Indem wir beobachten, wie sich die KI bewegt, wenn wir sie anpassen, haben wir entdeckt, dass ihre interne Struktur für logisches Schlussfolgern fundamental defekt ist. Es ist wie der Blick auf ein Auto und die Erkenntnis, dass die Räder sich nicht drehen, egal wie fest man auf das Gaspedal drückt, weil die Achsen aus Gummi und nicht aus Stahl bestehen. Das Problem ist nicht das Gaspedal (das Training); es sind die Achsen (die Geometrie der Anpassungen).

Zusammenfassung

Die Annahme: Kleine, lokale Änderungen an einer KI sollten automatisch alle damit verbundenen logischen Fakten korrigieren.
Die Wahrheit: Die Mathematik beweist, dass dies für „Negation" und „Komposition" unmöglich ist, auf einfache lineare Weise zusammen zu funktionieren.
Die Konsequenz: Aktuelle KI-Modelle sind strukturell begrenzt. Sie können Fakten auswendig lernen, haben aber Schwierigkeiten, logisch über diese Fakten zu schlussfolgern (wie sie umzukehren oder zu verketten), indem sie nur leicht angepasst werden. Um dies zu beheben, müssen wir wahrscheinlich die grundlegende Architektur ändern, wie diese Modelle lernen, und nicht nur länger trainieren.

Technische Zusammenfassung: Dynamik offenbart Struktur: Herausforderung der Annahme linearer Propagation

1. Problemformulierung

Moderne maschinelle Lernsysteme, insbesondere Large Language Models (LLMs), passen sich neue Informationen primär durch erste Ordnungs-Parameterupdates (gradientenbasierte Optimierung) an. Obwohl diese Modelle während der Inferenz beeindruckende Fähigkeiten zum logischen Schlussfolgern zeigen, bleibt unklar, ob die lokale Geometrie dieser Updates logische Kohärenz inhärent bewahrt. Spezifisch: Wenn ein Modell eine Überzeugung über eine Tatsache revidiert, aktualisieren sich seine logisch verwandten Überzeugungen (z. B. Negationen, Konversen oder kompositionelle Konsequenzen) rational, um Konsistenz zu wahren?

Aktuelle Techniken verlassen sich häufig auf die Annahme linearer Propagation (Linear Propagation Assumption, LPA), die besagt, dass lokale Updates erster Ordnung kohärent zu logischen Konsequenzen propagieren können. Diese Annahme bildet die Grundlage vieler Strategien zur Wissenseditierung, zum kontinuierlichen Lernen und zum Vergessen, die Netzwerkschichten als lineare assoziative Speicher behandeln. Empirische Misserfolge – wie der „Reversal Curse" (das Versagen, sich auf umgekehrte Beziehungen zu verallgemeinern) und die Unfähigkeit, Edits auf Negationen oder Multi-Hop-Schlussfolgerungsaufgaben zu propagieren – deuten jedoch darauf hin, dass die LPA fundamental fehlerhaft sein könnte.

Die zentrale Frage lautet: Welche strukturellen Zwänge werden der Repräsentation eines Modells auferlegt, wenn wir fordern, dass lokale lineare Updates der logischen Struktur relationalen Wissens entsprechen?

2. Methodik

Die Autoren formalisieren das Problem, indem sie Relationsalgebra mit der geometrischen Analyse von neuronalen Netzwerk-Updates verknüpfen.

Formalismus: Relationalen Wissens wird mittels Relationsalgebra modelliert, wobei der Fokus auf drei Kernoperationen liegt:
- Negation ( $\neg$ ): Kehrt Wahrheitswerte um.
- Konverse ( $\cdot^\smile$ ): Tauscht die Argumentreihenfolge (z. B. $r(h, t) \to r^\smile(t, h)$ ).
- Komposition ( $\cdot; \cdot$ ): Verkettet Relationen (z. B. $r; s$ ).
Geometrisches Werkzeug: Die Autoren übernehmen die Perspektive des Neural Tangent Kernel (NTK) und behandeln das Modell im lokalen Regime als lineare Funktion der Parameter. Abfragen werden mit linearisierten Merkmalen assoziiert, die als Gradienten der Score-Funktion definiert sind: $\phi_q = \nabla_\theta s_\theta(q)$ .
Systematische Lineare Propagation (SLP): Die Autoren definieren eine strenge Bedingung, bei der logische Kopplung eine intrinsische geometrische Eigenschaft der Repräsentation sein muss, die für alle Update-Richtungen $\Delta\theta$ $Δ θ$ im Merkmalsunterraum gilt. Dies erfordert:
1. Logische Äquivarianz: Merkmalsvektoren für logisch verwandte Abfragen müssen sich vorhersagbar transformieren (z. B. $\phi_{\neg q} = -\phi_q$ für Negation).
2. Lineare Unabhängigkeit: Logisch nicht verwandte Familien müssen linear unabhängig sein, um selektive Updates zu ermöglichen.
Symmetrieanalyse: Unter Bezugnahme auf Tarskis Invarianzkriterium behandeln die Autoren das Umbenennen von Entitäten als Symmetrien des Abfrageraums. Sie analysieren, wie diese Symmetrien die linearen Gruppenrepräsentationen auf dem Merkmalsraum einschränken.

3. Hauptbeiträge und Ergebnisse

A. Negation und Konverse erfordern Tensorfaktorisierung

Die Arbeit beweist, dass die Erfüllung von SLP für Negation und Konverse strenge geometrische Zwänge an den Merkmalsraum stellt:

Satz 1 (Kontext-Relation-Faktorisierung): Um eine systematische Propagation der Negation zu unterstützen, muss sich der Merkmalsraum in eine Tensorproduktstruktur zerlegen, die den Entitätenpaar-Kontext vom Relationsinhalt trennt. Spezifisch gilt: $\phi(h, r, t) \approx \sum u(h, t) \otimes v(r)$ . Negation wirkt lokal als Vorzeichenflip auf die Relationskomponente $v(r)$ .
Satz 2 (Symmetrisch-antisymmetrische Ausrichtung): Um eine systematische Propagation der Konverse-Operation zu unterstützen, muss sich die Entitätenpaar-Komponente weiter in symmetrische und antisymmetrische Teile zerlegen. Dies stellt sicher, dass das Vertauschen von Entitäten (und der Relation) durch Mechanismen zur Vorzeichenkancellation zu einer konsistenten Merkmalsrepräsentation führt.
Empirische Validierung: Die Autoren zeigen, dass aktuelle LLMs (Qwen3, Olmo) diese geometrischen Anforderungen verletzen. Empirisch sind die Gradienten von Fakten und ihren Negationen stark positiv ausgerichtet (Kosinusähnlichkeit $\approx 0,85$ ), wohingegen SLP verlangt, dass sie anti-ausgerichtet sind (Kosinusähnlichkeit $-1$). Diese Fehlausrichtung persistiert über Modellgrößen und Architekturen hinweg.

B. Der Kollaps der linearen Konjunktion

Das bedeutendste theoretische Ergebnis betrifft die relationale Komposition (Multi-Hop-Schlussfolgern):

Satz 3 (Struktureller Kollaps): Die Autoren zeigen, dass, wenn eine Merkmalsabbildung eine systematische Propagation sowohl für Negation als auch für Konjunktion (eine minimale Form der Komposition) unter linearen Updates unterstützt, die Merkmalsabbildung auf Null kollabieren muss.
Mechanismus des Versagens:
1. Systematische Konjunktion auf linearen Merkmalen erfordert einen bilinearen Operator (aufgrund von Kernel-Stabilitätsanforderungen).
2. Negationsäquivarianz erfordert, dass das Merkmal einer negierten Abfrage das Negative des Originals ist ( $\phi_{\neg p} = -\phi_p$ ).
3. Bilinearität impliziert $\tilde{F}(-\phi_p, -\phi_p) = \tilde{F}(\phi_p, \phi_p)$ .
4. Logische Idempotenz erfordert jedoch $\tilde{F}(\phi_{\neg p}, \phi_{\neg p}) = \phi_{\neg p} = -\phi_p$ , während $\tilde{F}(\phi_p, \phi_p) = \phi_p$ .
5. Dies erzeugt einen Widerspruch ( $-\phi_p = \phi_p$ ), der $\phi_p = 0$ erzwingt.
Implikation: Die geometrischen Anforderungen für Negation und Konjunktion sind unter ersten Ordnungs-linearen Updates gegenseitig unvereinbar. Dies deutet darauf hin, dass Misserfolge beim Multi-Hop-Schlussfolgern und bei der Wissenseditierung nicht lediglich Optimierungsartefakte sind, sondern aus einem fundamentalen geometrischen Missverhältnis resultieren.

4. Bedeutung und Behauptungen

Die Arbeit argumentiert, dass Dynamik Struktur offenbart: Die Analyse, wie sich Repräsentationen unter Updates transformieren, enthüllt strukturelle Notwendigkeiten, die eine statische Funktionsapproximation nicht erfassen kann.

Neudefinition von Systematik: Die Arbeit trägt zur Debatte über Systematik (Fodor & Pylyshyn, 1988) bei, indem sie bindungskompatible Blockstrukturen nicht als architektonische Wahl, sondern als geometrische Notwendigkeit für logische Kohärenz unter der LPA herleitet.
Grenzen der lokalen Editierung: Die Ergebnisse deuten darauf hin, dass Methoden zur Wissenseditierung, die auf linearen Updates in einem einzigen Schritt basieren, fundamentalen Grenzen unterliegen. Sie können die Propagation von Edits zu logischen Konsequenzen (Negationen, Konversen oder Kompositionen) nicht garantieren, ohne Widersprüche zu erzeugen oder spezifische, nicht-generische Update-Richtungen zu erfordern.
Weiterer Weg: Die Autoren schlagen eine Richtung hin zu logischem geometrischem Deep Learning vor, bei dem das Verhalten zum Zeitpunkt des Updates durch logische Symmetrien (Äquivarianz) eingeschränkt wird und nicht nur durch statische Funktionsapproximation. Dies impliziert, dass zukünftige Architekturen oder Zielvorgaben die in den Sätzen identifizierten tensorfaktorierten und symmetrieausgerichteten Strukturen explizit durchsetzen müssen, um eine systematische Propagation zu erreichen.

Zusammenfassend liefert die Arbeit einen rigorosen theoretischen Beweis, dass die Annahme linearer Propagation strukturell unzureichend ist, um systematische logische Operationen in neuronalen Netzwerken zu unterstützen, und bietet eine geometrische Erklärung für anhaltende Misserfolge beim Schlussfolgern und Editieren von LLMs.