💬 NLP

When Self-Reference Fails to Close: Matrix-Level Dynamics in Large Language Models

Die Studie zeigt, dass selbstreferenzielle Eingaben in großen Sprachmodellen nur dann zu Instabilitäten führen, wenn sie nicht-schließende Wahrheitsrekursionen (NCTR) auslösen, was zu einer signifikanten Reorganisation der Aufmerksamkeitsdynamik und erhöhter Widersprüchlichkeit führt, während fundierte Selbstreferenz stabil bleibt.

Ursprüngliche Autoren: Ji Ho Bae

Veröffentlicht 2026-04-15

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ji Ho Bae

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Titel: Wenn sich ein KI-Modell selbst betrachtet – Warum es manchmal in die Irre läuft

Stellen Sie sich vor, ein großes Sprachmodell (eine fortschrittliche KI) ist wie ein hochintelligentes, aber sehr schnelles Gehirn, das aus vielen Schichten besteht. Jede Schicht verarbeitet Informationen, bevor sie zur nächsten weitergegeben wird.

Die Forscher in diesem Papier haben eine spannende Frage gestellt: Was passiert in diesem „Gehirn", wenn die KI mit Sätzen konfrontiert wird, die sich selbst auf sich beziehen?

Hier ist die einfache Erklärung der wichtigsten Erkenntnisse, verpackt in ein paar anschauliche Bilder:

1. Nicht jede Selbstbetrachtung ist gefährlich

Man könnte denken: „Wenn eine KI über sich selbst spricht, wird sie verrückt." Aber das ist nicht ganz richtig.

Der sichere Fall: Wenn die KI sagt: „Dieser Satz hat fünf Wörter", ist das wie ein Spiegel, der ein ruhiges Bild zeigt. Die KI kann das leicht verarbeiten. Das ist stabil.
Der gefährliche Fall: Wenn die KI sagt: „Dieser Satz ist falsch", gerät sie in eine Art logischen Strudel. Ist der Satz wahr? Wenn ja, dann ist er falsch. Wenn er falsch ist, dann ist er wahr. Es gibt kein Ende.

Die Forscher nennen diesen gefährlichen Zustand „Nicht-schließende Wahrheits-Recursion" (NCTR). Es ist wie ein Karussell, das sich immer schneller dreht, aber nie anhält, weil es keinen „Stopp"-Knopf gibt.

2. Was passiert im Inneren? (Die Matrix-Dynamik)

Normalerweise arbeitet die KI wie ein gut geöltes Getriebe. Die Informationen fließen durch die Schichten und konzentrieren sich auf die richtige Antwort.

Wenn die KI jedoch mit dem „Karussell-Problem" (dem paradoxen Satz) konfrontiert wird, passiert etwas Seltsames im Inneren:

Das Chaos der Aufmerksamkeit: Stellen Sie sich vor, die KI hat 100 kleine Helfer (Aufmerksamkeitsmechanismen), die normalerweise alle auf das Wichtigste schauen. Bei einem paradoxen Satz rennen plötzlich alle Helfer in alle Richtungen. Sie schauen überall hin, aber nirgendwo fest.
Der „Rauschen"-Effekt: Die interne Struktur der KI wird unruhig. Die Daten verteilen sich wild, statt sich zu einem klaren Bild zu formen. Es ist, als würde ein Orchester, das normalerweise ein harmonisches Lied spielt, plötzlich jedes Instrument so laut wie möglich spielen, ohne Takt.

3. Der Unterschied zwischen „Schwierig" und „Unmöglich"

Ein wichtiger Punkt der Studie: Nicht alles, was schwer zu lösen ist, macht die KI verrückt.

Schwere Aufgaben: Wenn man der KI eine komplexe Matheaufgabe gibt, die sie lösen kann, aber lange dauert, bleibt ihr inneres Getriebe stabil. Es ist wie ein Bergsteiger, der einen steilen Weg hinaufklettert – anstrengend, aber machbar.
Unmögliche Aufgaben: Bei den paradoxen Sätzen gibt es keinen Weg nach oben. Die KI versucht, eine Antwort zu finden, die es mathematisch nicht gibt. Das ist wie der Versuch, einen Kreis zu zeichnen, der gleichzeitig eine gerade Linie ist. Hier bricht das System zusammen.

4. Die Folgen: Widersprüchliche Antworten

Was passiert am Ende, wenn die KI in diesem inneren Chaos steckt?
Sie produziert oft widersprüchliche Antworten.

Beispiel: Sie könnte in einem Satz sagen: „Ja, das ist wahr" und im nächsten Satz: „Nein, das ist falsch".
Die Forscher haben gemessen, dass bei diesen paradoxen Aufgaben die Wahrscheinlichkeit für solche Widersprüche um 34 bis 56 Prozentpunkte steigt. Die KI verliert ihren „Boden unter den Füßen".

5. Warum ist das wichtig?

Die Forscher haben herausgefunden, dass man diesen „inneren Zusammenbruch" messen kann, noch bevor die KI einen falschen Satz schreibt. Sie können sehen, wie die internen Zahlen (die Matrizen) sich verhalten, als ob sie versuchen würden, ein mathematisches Rätsel zu lösen, das unlösbar ist.

Die große Erkenntnis:
Das Problem ist nicht, dass die KI über sich selbst spricht. Das Problem ist, dass sie versucht, eine logische Falle zu lösen, die keine Lösung hat. Wenn die KI auf solche Fallen trifft, gerät ihr inneres Getriebe in einen Zustand, der an mathematische Unlösbarkeit grenzt, und sie beginnt zu „halluzinieren" oder zu widersprechen.

Zusammenfassung in einem Bild

Stellen Sie sich die KI als einen sehr schnellen Läufer vor.

Bei normalen Aufgaben läuft sie auf einer geraden Straße.
Bei schwierigen Aufgaben läuft sie einen steilen Berg hoch.
Bei den paradoxen Sätzen (NCTR) läuft sie auf einer unendlichen Treppe, die in sich selbst zurückführt (wie in einem Film von M.C. Escher).
Die Studie zeigt uns genau, wie die Muskeln und das Herz des Läufers (die inneren Matrix-Dynamiken) reagieren, wenn er merkt, dass er nirgendwohin kommt. Sie lernen, diesen Moment des „Verwirrt-Seins" zu erkennen, bevor der Läufer stolpert.

Das hilft uns, KI-Systeme zu bauen, die besser verstehen, wann sie auf eine logische Sackgasse zulaufen, und vielleicht sogar lernen, dort zu stoppen, anstatt weiterzureden.

1. Problemstellung und Motivation

Das Paper untersucht, wie sich selbstreferenzielle Eingaben (Self-Reference) auf die interne lineare Algebra und die Matrix-Dynamik von Large Language Models (LLMs) auswirken. Während frühere Studien gezeigt haben, dass LLMs Schwierigkeiten mit metalinguistischer Selbstreferenz haben (z. B. bei der Analyse des Lügner-Paradoxons „Dieser Satz ist falsch"), bleibt unklar, was auf der Ebene der Transformator-Schichten passiert.

Die zentrale Hypothese der Autoren ist, dass Selbstreferenz an sich nicht destabilisierend wirkt. Stattdessen wird Instabilität spezifisch durch Eingaben ausgelöst, die eine nicht schließende Wahrheitsrekursion (Non-Closing Truth Recursion, NCTR) erzwingen. Dies sind Aussagen, deren Wahrheitswertberechnung keinen endlichen Fixpunkt innerhalb der begrenzten Tiefe des Modells findet (z. B. Paradoxa, Gödel-artige Unentscheidbarkeit, unendlicher Regress). Das Paper fragt, ob diese Eingaben die internen Matrix-Operationen in einen dynamischen Regime zwingen, der mit klassischen unentscheidbaren Problemen der Matrizen-Semigruppentheorie korreliert.

2. Methodik

Experimentelles Setup:

Modelle: Vier Modelle aus drei Architektur-Familien wurden analysiert:
- Qwen3-VL-8B (Vision-Language, GQA + QK-Norm)
- Llama-3.2-11B-Vision (Vision-Language, GQA)
- Llama-3.3-70B (Causal LM, GQA, 80 Schichten)
- Gemma-2-9B-it (Causal LM, interleaved local/global Attention)
Daten: 300 Prompts, organisiert in einer 14-stufigen Hierarchie, basierend auf Tarskis Stratifikation von Wahrheitsprädikaten. Die Prompts wurden bei drei Temperaturen ( $T \in \{0.0, 0.3, 0.7\}$ ) verarbeitet.
Messgrößen: Pro Prompt wurden bis zu 7 Analyse-Passes durchgeführt, um 106 skalare Metriken zu extrahieren. Dazu gehören:
- Attention-Eigenspektren und effektiver Rang (Effective Rank).
- Singulärwert-Trajektorien (SVD).
- „Truth-Delta"-Layer-Profile (Differenz zwischen „Wahr" und „Falsch" Embeddings).
- Mortalitäts-Kontraktionsverhältnisse und autoregressive Matrix-Proben.
Klassifizierung der Prompts (Cluster):
- C1: Stabile Nicht-Selbstreferenz (Kontrolle).
- C2: Stabile Selbstreferenz (z. B. „Dieser Satz hat 8 Wörter").
- C3: Schließbare harte Logik (komplexe, aber lösbare Reasoning-Aufgaben).
- C4: Nicht schließende Wahrheitsrekursion (NCTR) (Paradoxa, Gödel, unendlicher Regress).

Theoretischer Rahmen:
Die Autoren stellen eine konjekturale Verbindung her zwischen den Transformer-Dynamiken unter NCTR und drei klassischen unentscheidbaren Problemen der Matrizen-Semigruppentheorie:

Mortalität: Ob ein Produkt von Matrizen den Nullvektor erreicht.
Skolem-Problem: Ob eine lineare Rekursion jemals Null wird.
Gemeinsamer Spektralradius (JSR): Ob $\rho(S) \le 1$ ist.
Die Hypothese besagt, dass NCTR-Prompts den rechnerischen Semigruppen-Trajektorien des Modells nahe an die Grenzen dieser unentscheidbaren Probleme drängen (nahe $\rho \approx 1$ , hochgradig oszillierend).

3. Wichtige Beiträge

Einführung der NCTR-Hypothese: Nachweis, dass nicht Selbstreferenz generell, sondern spezifisch nicht schließende Rekursionen zu Matrix-Instabilität führen. Dies wird durch 281 von 397 signifikanten Metrik-Modell-Kombinationen (nach FDR-Korrektur) untermauert.
Theoriegetriebene Metrik-Suite: Entwicklung eines Sets von 106 Metriken, die direkt aus den mathematischen Problemen (Mortalität, Skolem, JSR) abgeleitet sind, anstatt post-hoc ausgewählt zu werden.
Falsifizierbarer Rahmen: Ein Vorschlag, der LLM-Dynamiken mit formaler Unentscheidbarkeit über input-abhängige Matrizen-Semigruppen verbindet.
Minimal-Pair-Ablation: Durch den Austausch eines einzigen Wortes („Dieser Satz" vs. „Dieser Satz ist falsch" vs. „Derselbe Satz") konnte gezeigt werden, dass spezifische Änderungen die Matrix-Dynamik signifikant verändern (42 von 387 signifikante Kombinationen).
Verbindung zu inkonsistenten Ausgaben: Nachweis, dass NCTR-Prompts zu einer drastisch erhöhten Rate an widersprüchlichen Ausgaben führen (+34 bis +56 Prozentpunkte im Vergleich zu Kontrollen).

4. Ergebnisse

Hauptbefunde:

Stabilität von C2 vs. Instabilität von C4: Stabile Selbstreferenz (C2) ist auf den meisten Metriken so stabil wie faktische Kontrollen (C1). Nur NCTR (C4) zeigt massive Abweichungen.
Attention Effective Rank: Der stärkste Effekt ist eine anomal hohe Erhöhung des effektiven Rangs der Attention-Matrizen. Dies deutet auf eine globale Dispersion der Aufmerksamkeit hin, statt auf einen einfachen Zusammenbruch (Collapse).
- Effektstärken (Cohen's $d$ ) im Vergleich zu stabilen Prompts: Qwen ( $d=2.93$ ), Llama-70B ( $d=3.02$ ), Gemma-9B ( $d=4.20$ ).
- Im Llama-70B erreichten Metriken wie Varianz-Kurtosis ( $d=3.52$ ) und Attention Effective Rank ( $d=3.14$ ) extrem hohe Werte.
Per-Layer-Analyse: Die SVD-Zerlegung zeigt, dass die Erhöhung des effektiven Rangs in jeder getesteten Schicht auftritt (alle $d > +1.0$ ), was Aggregationsartefakte ausschließt. Der Effekt ist in den mittleren Schichten am stärksten (z. B. Layer 28 bei Gemma mit $d=+2.92$ ).
Klassifikation: Ein logistischer Klassifikator, der nur auf den 106 Matrix-Metriken basiert, unterscheidet NCTR von anderen Prompts mit einer 5-fach-kreuzvalidierten AUC von 0,81 bis 0,90.
Widersprüchliche Ausgaben: NCTR-Prompts führen signifikant häufiger zu Ausgaben, die sowohl affirmative als auch negative Marker enthalten (z. B. „Ja, aber nein"). Die Korrelation zwischen dem Attention-Effekt-Rang und dieser Inkonsistenz ist in allen Modellen signifikant ( $\rho \approx 0.34 - 0.44$ ).
Architektur-Abhängigkeit: Während der Kern-Effekt (erhöhter Attention-Rang) architekturunabhängig ist, variieren sekundäre Metriken (z. B. Vorzeichen von Varianz-Metriken) je nach Architektur (z. B. Qwen mit QK-Norm vs. Llama ohne).

5. Bedeutung und Fazit

Das Paper liefert tiefgehende Einblicke in die „Black Box" von LLMs, indem es zeigt, dass logische Paradoxa nicht nur semantische Fehler verursachen, sondern die zugrundeliegende lineare Algebra des Modells in einen kritischen, hoch-rangigen und oszillierenden Zustand versetzen.

Theoretische Implikation: Die Ergebnisse stützen die Annahme, dass Transformer mit begrenzter Tiefe (finite depth) prinzipiell nicht in der Lage sind, Fixpunkte für nicht schließende Rekursionen zu finden, was sie in dynamische Regime zwingt, die mathematisch unentscheidbaren Problemen ähneln.
Praktische Relevanz: Das Verständnis dieser Mechanismen ist entscheidend für die Entwicklung robusterer Modelle, die zuverlässig über sich selbst nachdenken können, ohne in inkonsistente oder halluzinierte Zustände zu verfallen.
Diagnostik: Die identifizierten Metriken (insbesondere der Attention Effective Rank) dienen als robuste Frühwarnsignale für Modelle, die an logischen Grenzen scheitern.

Zusammenfassend beweist das Paper, dass das Versagen von LLMs bei Paradoxa kein bloßes „Wissensdefizit" ist, sondern ein fundamentales dynamisches Versagen der internen Matrix-Transformationen, wenn diese gezwungen werden, eine nicht schließende Wahrheitssuche durchzuführen.