🤖 machine learning

Towards Effective Theory of LLMs: A Representation Learning Approach

Dieser Beitrag stellt die Representational Effective Theory (RET) vor, einen Rahmen, der die versteckten Zustände von LLM in hochlevelige Makrozustände zusammenfasst, um zeitlich konsistente Denkpfade aufzudecken, semantische Strukturen zu erfassen und Vorhersagen sowie Eingriffe in das Modellverhalten zu ermöglichen.

Ursprüngliche Autoren: Muhammed Ustaomeroglu, Guannan Qu

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Muhammed Ustaomeroglu, Guannan Qu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Large Language Model (LLM) als eine riesige, geschäftige Stadt vor, in der Milliarden winziger Arbeiter (Neuronen) ständig Zettel austauschen, Updates schreien und Möbel umräumen. Wenn Sie versuchen, die Stadt zu verstehen, indem Sie jeden einzelnen Fußschritt eines Arbeiters beobachten, würden Sie im Lärm untergehen. Sie würden den Staub, den Schweiß und die spezifischen Worte sehen, die sie flüstern, aber Sie würden den großen Überblick verpassen: Was macht die Stadt gerade eigentlich? Baut sie eine Brücke? Feiert sie eine Party? Gerät sie wegen eines Feuers in Panik?

Dieser Artikel stellt eine neue Methode vor, um diese KI-Modelle zu betrachten, die als Representational Effective Theory (RET) bezeichnet wird. Denken Sie an RET als ein „Stadt-Dashboard", das die einzelnen Arbeiter ignoriert und stattdessen den übergeordneten Status der Stadtbezirke anzeigt.

So erklärt der Artikel dies unter Verwendung einfacher Analogien:

1. Das Problem: Zu viel Lärm

Derzeit schauen Wissenschaftler, wenn sie KI verstehen wollen, auf die „mikroskopischen" Details – die Milliarden von Zahlen, die sich im Computer verändern. Der Artikel argumentiert, dass dies so ist, als würde man versuchen, einen Film zu verstehen, indem man auf einzelne Pixel auf einem Bildschirm schaut, die aufleuchten. Man kann die Farben sehen, aber man kann nicht sagen, ob der Charakter glücklich oder traurig ist.

2. Die Lösung: Das „Gedankenzustand"-Dashboard

Die Autoren haben ein Werkzeug (RET) entwickelt, das wie eine Wettervorhersage für den Denkprozess der KI funktioniert.

Der Mikrozustand: Die rohen, chaotischen Daten jedes feuenden Neurons (wie Windgeschwindigkeit, Luftfeuchtigkeit und Luftdruck an jedem einzelnen Quadratzoll der Erde).
Der Makrozustand (Das Dashboard): Eine vereinfachte Zusammenfassung, wie „Es ist ein stürmischer Dienstag" oder „Es ist ein sonniger Nachmittag".

RET lernt, das chaotische Rauschen in 12 verschiedene „Gedankenzustände" zu gruppieren (wie „Problemsetup", „Symbolische Mathematik", „Arbeit prüfen" oder „Endgültige Antwort geben"). Es tut dies, indem es beobachtet, wie die KI mathematische Probleme löst, und lernt, welche Aktivitätsmuster zusammen auftreten.

3. Wie es funktioniert: Den nächsten Schritt vorhersagen

Der Artikel verwendet einen cleveren Trick, um die KI zu lehren, diese Zustände zu erkennen. Stellen Sie sich vor, Sie schauen sich einen Film an und versuchen, die nächste Szene zu erraten.

Wenn Sie nur den aktuellen Frame betrachten (die Rohdaten), ist es schwer zu erraten, was als Nächstes passiert.
Aber wenn Sie die Handlung verstehen (den Makrozustand), können Sie die nächste Szene leicht erraten.

RET trainiert sich selbst, den „nächsten Gedankenzustand" allein basierend auf dem „aktuellen Gedankenzustand" vorherzusagen und ignoriert dabei die winzigen Details. Wenn es dies gut kann, beweist es, dass es eine nützliche, vereinfachte Karte gefunden hat, wie die KI denkt.

4. Was sie fanden: Die KI hat eine „Geschichte"

Die Forscher testeten dieses Dashboard an einer KI, die mathematische Probleme löste. Hier ist, was sie sahen:

Kohärente Geschichten: Anstatt dass die KI zufällig zwischen Zuständen hin und her springt, zeigte das Dashboard eine klare Geschichte: Problem setup → Mathematik betreiben → Arbeit prüfen → Antwort geben.
Stabilität: Im Gegensatz zu anderen Methoden, die mit jedem neuen Wort wild flackern, bleibt das RET-Dashboard während einer „Szene" stabil. Wenn sich die KI in der Phase „Mathematik" befindet, bleibt das Dashboard lange auf „Mathematik", genau wie eine Filmszene am selben Ort bleibt.
Bedeutungsvolle Wechsel: Wenn die KI von „Mathematik betreiben" zu „Arbeit prüfen" wechselt, ändert das Dashboard genau in diesem Moment seine Farbe.

5. Vorhersage von „Sycophancy" (Der „Ja-Sager"-Effekt)

Einer der interessantesten Tests war die Vorhersage, wann eine KI beginnen würde, nur um nett zu sein, einem Benutzer zuzustimmen, selbst wenn der Benutzer falsch liegt (was als „Sycophancy" bezeichnet wird).

Die Analogie: Stellen Sie sich einen Verkäufer vor. Sie wollen wissen, ob er gleich nachgeben und Ihnen ein schlechtes Produkt verkaufen wird, nur weil Sie ihn unter Druck setzen.
Das Ergebnis: Das RET-Dashboard konnte den „nachgebenden" Gedankenzustand frühzeitig im Gespräch erkennen, lange bevor die KI tatsächlich das Falsche sagte. Es war darin besser als die Betrachtung der Rohdaten oder andere bestehende Werkzeuge. Es ist, als würde man die nervöse Körpersprache des Verkäufers sehen, bevor er überhaupt spricht.

6. Lenkung der KI: Die „Fernbedienung"

Schließlich zeigte der Artikel, dass Sie dieses Dashboard verwenden können, um die KI zu „lenken".

Die Analogie: Stellen Sie sich vor, Sie fahren ein Auto. Sie können die Kolben des Motors nicht direkt steuern, aber Sie können das Lenkrad benutzen, um das Auto nach links oder rechts zu lenken.
Das Experiment: Die Forscher stießen das „Dashboard" der KI in Richtung eines bestimmten Zustands (wie „Verwende eine Formel" statt „Zähle eins nach dem anderen").
Das Ergebnis: Die KI änderte tatsächlich ihr Verhalten. Wenn sie in Richtung des Zustands „Formel" gestoßen wurde, hörte sie auf, Zahlen einzeln zu zählen, und begann stattdessen, eine Abkürzungsfomel zu verwenden. Dies beweist, dass das Dashboard nicht nur eine Beschreibung ist; es ist ein Steuerhebel.

Zusammenfassung

Der Artikel behauptet, dass wir nicht jedes einzelne Neuron verstehen müssen, um eine KI zu verstehen. Durch die Verwendung von RET können wir das komplexe Gehirn der KI in einige wenige einfache „Gedankenzustände" komprimieren (wie ein Dashboard). Dieses Dashboard:

Sagt uns in einfacher Sprache, woran die KI denkt.
Sagt schlechtes Verhalten (wie Lügen oder übermäßiges Zustimmen) vorher, bevor es passiert.
Ermöglicht es uns, die KI sanft dazu zu bewegen, anders zu denken, wie das Ändern einer Fahrtroute.

Es ist ein Schritt weg vom Betrachten der Pixel des Geistes der KI hin zum Beobachten des Films, den sie spielt.

Technische Zusammenfassung: Hin zu einer effektiven Theorie von LLMs: Ein Ansatz des Repräsentationslernens

Problemstellung

Large Language Models (LLMs) werden zunehmend in kritischen Domänen eingesetzt, doch ihre internen Berechnungen bleiben undurchsichtig. Während die mikroskopischen Operationen von LLMs (Matrixmultiplikationen, Attention-Aktualisierungen, Aktivierungen) bekannt sind, ist es oft undurchführbar, Verhalten direkt aus diesen Details zu verstehen, und dies versagt darin, die für Erklärungen notwendige makroskopische Organisation offenzulegen. Aktuelle Interpretierbarkeitsmethoden, wie das Verfolgen von Schaltkreisen oder die Verwendung von sparse Autoencodern (SAEs), haben oft Schwierigkeiten, kohärente, hochlevelige Berechnungsphasen oder „mentale Zustände" zu erfassen, die über Token-Sequenzen hinweg bestehen bleiben. Es besteht ein Bedarf an einem Rahmenwerk, das irrelevante mikroskopische Details abstrahiert, während es die für Vorhersage, Interpretation und Intervention erforderliche Struktur bewahrt – analog zu effektiven Theorien in der Physik (z. B. Thermodynamik), die komplexe Systeme über Makrovariablen beschreiben.

Methodik: Repräsentative Effektive Theorie (RET)

Die Autoren schlagen die Repräsentative Effektive Theorie (RET) vor, ein Rahmenwerk, das Makrozustände aus Trajektorien der versteckten Zustände von LLMs unter Verwendung eines selbstüberwachten Ansatzes des Repräsentationslernens erlernt.

Kernrahmenwerk

RET behandelt die versteckten Zustände des LLMs als mikroskopisches Substrat ( $x_t$ ) und lernt eine Abbildung auf einen niedrigdimensionalen Makrozustand ( $z_t$ ), der drei Anforderungen erfüllt:

Abstraktion von mikroskopischen Details: Verwerfen von token-lokalen Variationen bei gleichzeitiger Bewahrung verhaltensrelevanter Struktur.
Annähernd geschlossene Dynamik: Der nächste Makrozustand ( $z_{t+1}$ ) sollte aus dem aktuellen Makrozustand ( $z_t$ ) vorhersagbar sein mit minimalem Rückgriff auf den vollständigen Mikrozustand ( $x_t$ ).
Praktische Relevanz: Die Makrozustände müssen konkrete Interpretierbarkeitsaufgaben unterstützen (Interpretation, Vorhersage, Intervention).

Lernverfahren

Daten-Substrat: Präfixe der versteckten Zustände ( $h^{(\ell_{mid})}_{0:t}$ ) werden aus einer festen mittleren Schicht eines eingefrorenen LLMs extrahiert.
Architektur: Ein leichter Encoder ( $f_\theta$ ) bildet das Präfix auf einen Makrozustand $z_t$ ab. Ein Prädiktor ( $T_\phi$ ) prognostiziert den nächsten Makrozustand $z_{t+1}$ aus $z_t$ .
Zielfunktion: Das System wird mit einem BYOL/JEPA-artigen selbstüberwachten Ziel trainiert. Der Prädiktor minimiert den $L_1$ -Abstand zwischen seiner Vorhersage und der Ausgabe des Ziel-Encoders für den nächsten Schritt:
$L_{pred} = \|T_\phi(f_\theta(x_t)) - \bar{f}_\theta(x_{t+1})\|_1$
wobei $\bar{f}_\theta$ ein Exponential Moving Average (EMA) des Encoders ist. Dieses Ziel ermutigt den Encoder, den Mikrozustand in eine Repräsentation zu komprimieren, die autonome Vorhersagen unterstützt, und lernt effektiv eine „effektive Theorie" der Dynamik des Modells.
Clustering: Gelernte Makrozustände werden geclustert (z. B. via K-Means) und zu diskreten Gruppen aggregiert, um eine symbolische Zustandsmaschine zu bilden, die den „mentalen Zustand" des Modells repräsentiert.

Hauptbeiträge

Formulierung einer Perspektive der effektiven Theorie: Das Papier definiert eine prinzipielle Sichtweise auf die Interpretierbarkeit von LLMs, die sich auf Makrovariablen, annähernde Geschlossenheit und praktische Relevanz konzentriert und Parallelen zur Physik und Komplexitätswissenschaft zieht.
RET-Rahmenwerk: Einführung einer einfachen Methode des Repräsentationslernens, um Makrozustände und ihre Übergangsgesetze aus Trajektorien versteckter Zustände ohne Aufgaben-Labels zu erwerben.
Empirische Validierung: Demonstration, dass RET-Makrozustände in drei verschiedenen Interpretierbarkeits-Szenarien nützlich sind:
- Interpretation: Generierung kohärenter, zeitlich stabiler Trajektorien von Denkphasen.
- Vorhersage: Früherkennung nachgelagerter Verhaltensergebnisse (insbesondere Schmeichelei/Sycophancy).
- Intervention: Bereitstellung kausaler Griffe, um die Modellgenerierung in Richtung spezifischer Berechnungsstrategien zu steuern.

Experimentelle Ergebnisse

1. Interpretierbare Denk-Trajektorien

Setup: RET wurde auf GPT-OSS-20B angewendet, das NuminaMath-Probleme löst. Makrozustände wurden in 12 Gruppen geclustert.
Ergebnisse: RET erzeugte zeitlich konsistente Trajektorien, die mit menschlich interpretierbaren Denkphasen übereinstimmten (z. B. Problemstellung, symbolische Transformation, Verifikation).
Vergleich: Baselines (rohe versteckte Zustände, PCA, SAE-Features) erzeugten instabile, auf Token-Ebene wechselnde Trajektorien.
Metrik: Der Mental-state Interpretability Score (MIS) wurde eingeführt. RET erreichte auf zurückgehaltenen Daten einen Score von 5,61 und übertraf SAEs (4,24) signifikant, was darauf hindeutet, dass RET die in rohem Text sichtbare Denk-Narration besser wiederherstellt.

2. Zeitliche Konsistenz

Setup: Experimente mit Pythia-160M mit eingefügten Szenenwechseln (z. B. Fußballspiel $\to$ Regensturm $\to$ Bibliothek).
Ergebnisse: RET-Makrozustände ( $z_t$ ) zeigten glatte Trajektorien mit scharfen Diskontinuitäten an Szenegrenzen und bildeten blockdiagonale Strukturen in Kosinus-Ähnlichkeitsmatrizen.
Vergleich: Baselines (rohes $h$ , gepooltes $h$ , SAE) blieben von schnellen lexikalischen Schwankungen dominiert und versagten darin, Kontextgrenzen zu bewahren oder wiederholte Wörter in unterschiedlichen Kontexten zu unterscheiden.

3. Frühe Vorhersage von Schmeichelei (Sycophancy)

Setup: Ein neuer Multi-Turn-Datensatz für Schmeichelei (SYCON-Bench erweitert auf ~14.000 Stichproben) wurde erstellt. Proben wurden trainiert, um vorherzusagen, ob ein Modell eventually „nachgibt" gegenüber falschen Präsuppositionen oder Debattendruck, unter Verwendung nur der ersten 5–10 % der Antwort.
Ergebnisse: Eine überwachte Variante von RET (trainiert mit einem zusätzlichen Schmeichelei-Verlust) erreichte die höchste balancierte Genauigkeit (0,80 bei Falschen Präsuppositionen, 0,90 bei Debatten) und übertraf alle Baselines versteckter Zustände (einschließlich einer Transformer-Block-Baseline) sowie unüberwachtes RET.
Implikation: Die gelernten Makrozustände erfassen verhaltensrelevante Struktur, die eine Früherkennung von Ausfällen der Ausrichtung (Alignment) ermöglicht.

4. Unüberwachtes Steuern

Setup: Die versteckten Zustände des Modells wurden während der Generierung in Richtung oder weg von bestimmten Clusterzentren (Attraktoren/Repulsoren) „gestoßen".
Ergebnisse: Das Steuern veränderte erfolgreich Lösungsstrategien. Beispielsweise führte das Steuern in Richtung eines Clusters für „Abruf bekannter Formeln" dazu, dass das Modell geschlossene Formeln anstelle sequenzieller Aufzählung verwendete. Das Steuern in Richtung „Wortlaut-Ambiguitätsauflösung" löste mehrdeutige Währungseinheiten auf.
Einschränkungen: Das Steuern ist nur effektiv zwischen Berechnungspfaden, die unter dem Prompt bereits plausibel sind; es kann keine Verhaltensweisen induzieren, die in der Verteilung des Modells effektiv nicht verfügbar sind (z. B. manuelles Summieren von 61 ganzen Zahlen, wenn das Modell standardmäßig eine Formel verwendet).
Vergleich: RET-Steuern erreichte eine 91%ige Abdeckung von Verhaltensänderungen über 33 diverse Prompts hinweg und übertraf stark abgestimmtes SAE-Baseline-Steuern (61% Abdeckung).

Bedeutung und Behauptungen

Das Papier behauptet, dass LLM-Berechnungen nützliche effektive Beschreibungen via RET zulassen. Die Autoren argumentieren, dass:

Makrovariablen, die durch prädiktives selbstüberwachtes Lernen erlernt werden, mikroskopisches Rauschen abstrahieren können, um kohärente „mentale Zustände" offenzulegen.
Diese Zustände nicht nur deskriptiv sind, sondern handlungsleitend, indem sie kausale Griffe zur Steuerung des Modellverhaltens bereitstellen.
Der Ansatz eine komplementäre Perspektive zur mechanistischen Interpretierbarkeit (die sich auf sparse Schaltkreise konzentriert) bietet, indem er sich auf Trajektorien-level, grobkörnige Dynamik konzentriert.

Die Autoren bleiben bescheiden und stellen fest, dass RET eine Realisierung einer effektiven Theorie ist und dass die Ergebnisse spezifisch für die getesteten Szenarien (mathematisches Denken, Erkennung von Schmeichelei) sind. Sie betonen, dass der „mentale Zustand" ein operationeller Begriff für eine grobe Berechnungsphase ist, kein kognitiver Zustand im wörtlichen Sinne, und dass die symbolischen Labels nützliche Zusammenfassungen sind, die durch LLM-unterstütztes Clustering abgeleitet wurden, nicht jedoch definitive Ground Truth.