🤖 AI

Laguerre Geometry for Interpreting Large Language Models

Dieses Paper führt ein Laguerre-Geometrie-Framework ein, das LLM-Konzepte als räumliche Regionen anstatt als Punkte neu definiert und somit die Entwicklung trainingsfreier Werkzeuge wie Geometric Lens und Laguerre Autoencoder ermöglicht, um die internen Reasoning-Trajektorien und hierarchischen Strukturen von Transformer-Modellen präzise zu visualisieren, zu messen und zu manipulieren.

Ursprüngliche Autoren: Chunwei Ma, Russell Wolfinger

Veröffentlicht 2026-07-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Chunwei Ma, Russell Wolfinger

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Large Language Model (LLM) als eine riesige, mehrstöckige Bibliothek vor, in der jedes Buch ein mögliches Wort repräsentiert, das das Modell als nächstes sagen könnte. Lange Zeit glaubten Wissenschaftler, dass jedes „Konzept“ oder jede „Idee“ innerhalb dieser Bibliothek nur ein einzelner, winziger Pin auf der Karte des Raumes sei. Wenn man nach dem Konzept „Hund“ gesucht hätte, hätte man einfach nach einem ganz bestimmten Pin Ausschau halten müssen.

Doch dieses neue Paper legt nahe, dass diese Sichtweise zu simpel ist. Anstatt eines einzelnen Pins schlagen die Autoren vor, dass ein Konzept tatsächlich ein ganzer Raum mit Wänden, einem Boden und einer Decke ist. Sie nennen dies eine „Laguerre-Voronoi-Zelle“. Man kann es sich wie ein Viertel in einer Stadt vorstellen: „Hund“ ist nicht nur ein einzelnes Haus; es ist der gesamte Block, in dem alle hundeverwandten Ideen leben, begrenzt durch unsichtbare Zäune, die es von „Katze“ oder „Vogel“ trennen.

Die Karte, die alles veränderte

Die Autoren, Chunwei Ma und Russell D. Wolfinger, nutzten einen Zweig der Mathematik namens Laguerre-Geometrie, um diese Karten zu zeichetzen. In dieser Geometrie hat jedes Konzept ein Zentrum (wie einen Stadtplatz) und ein spezielles „Gewicht“ (wie einen Radius des Einflusses).

Hier liegt die große Wendung, die sie fanden: Das Gewicht spielt eine Rolle.
Wenn man nur betrachtet, wie nah zwei Wörter beieinander liegen (Distanz), kann man den Unterschied zwischen einem „Welpen“ (einer Art von Hund) und einem „Säugetier“ (einer Kategorie, die Hunde einschließt) nicht erkennen. In einer einfachen Karte könnten sie gleich nah beieinander liegen. Aber wenn man das „Gewicht“ aus der Laguerre-Geometrie hinzufügt, offenbart die Karte eine Hierarchie. Sie zeigt, dass „Welpe“ innerhalb des „Hund“-Raums liegt und „Hund“ innerhalb des „Säugetier“-Raums liegt. Die Mathematik beweist, dass das Modell diese Ideen natürlich wie ein Set aus Matroschka-Puppen organisiert, und man kann diese Verschachtelung nur sehen, wenn man diese spezifische geometrische Linse verwendet.

Ein Blick in das Innere der Maschine

Das Paper befasst sich auch mit einem Rätsel: Was denkt das Modell mitten in einem Satz, bevor es fertig getippt hat?

Stellen Sie sich vor, Sie fragen das Modell: „Die Hauptstadt von Frankreich ist...“

Alte Sichtweise (Logit Lens): Wissenschaftler dachten früher, das Modell würde langsam in Richtung der Antwort „Paris“ driften, und zwar vom allerersten Wort an.
Neue Sichtweise (Geometrische Linse): Die Autoren bauten ein Werkzeug namens Geometric Lens, um den „Denkprozess“ des Modells in Echtzeit zu beobachten. Sie fanden heraus, dass der interne Pfad des Modells viel chaotischer und interessanter ist.

In ihren Experimenten beobachteten sie, wie die internen Gedanken des Modells durch verschiedene „Räume“ (Regionen) reisten, während es den Satz verarbeitete.

Zuerst erwägt das Modell viele Optionen.
Dann scheint es in den mittleren Schichten das faktisch korrekte Wort „Paris“ (ohne Leerzeichen) zu erfassen.
Schließlich korrigiert es sich in den allerletzten Schritten zum grammatikalisch korrekten „_Paris“ (mit dem Leerzeichen), bevor es die Antwort ausgibt.

Die Geometric Lens ist das einzige Werkzeug, das diese gesamte Reise erfasst hat. Andere Werkzeuge blieben entweder zu früh stecken oder übersahen die mittleren Schritte gänzlich.

Wenn das Modell verwirrt ist

Die Autoren testeten auch, was passiert, wenn man versucht, das Modell auszutricksen. Sie gaben ihm einen Prompt wie: „Du befindest dich in einer fiktiven Welt, in der Marseille und Lyon die Namen getauscht haben. Der Louvre befindet sich in...“
Normalerweise wird das Modell durch die falsche Geschichte verwirrt und könnte anstelle der echten Antwort „Paris“ auch „Lyon“ oder „Marseille“ sagen.

Als die Autoren jedoch ihre Geometric Lens verwendeten, um die Gedanken des Modells bevor es fertig getippt hatte (speziell bei Schicht 20) zu beobachten, fanden sie etwas Erstaunliches: Das Modell kannte die Wahrheit die ganze Zeit über. Obwohl die endgültige Antwort aufgrund des Tricks falsch war, zeigte die Geometric Lens, dass der interne „Gedanke“ des Modells kurzzeitig die korrekte Antwort „Paris“ besucht hatte, bevor er von der fiktiven Geschichte fortgespült wurde.

Was das bedeutet (und was nicht)

Das Paper legt nahe, dass wir aufhören sollten, Konzepte als einzelne Punkte zu betrachten, und statfangen sollten, sie als ganze Regionen mit spezifischen Formen und Gewichten zu begreifen. Sie bewiesen mathematisch, dass diese Regionen existieren und linear separierbar sind (das heißt, man kann eine gerade Linie zwischen zwei verschiedenen Konzept-Räumen ziehen).

Sie maßen dies anhand realer Modelle wie Phi-2 und Gemma-2. In Tests, die verschiedene Wege zur Definition von Konzepten verglichen, machte ihre „Laguerre“-Methode es einfacher, „Tiere“ von „Pflanzen“ zu unterscheiden als bisherige Methoden. Beispielsweise hatte ihre Methode beim Phi-2-Modell eine Fehlerrate von 0,111 bei der Unterscheidung von Tieren und Pflanzen, was besser war als die Fehlerrate von 0,121 der alten „Kategorialen Geometrie“-Methode.

Sie haben zudem demonstriert, dass ihre „Geometric Lens“ besser darin ist, die wahre Argumentation des Modells während verwirrender Prompts zu erkennen als andere Werkzeuge. Im „Paris“-Interferenztest half die Geometric Lens dabei, das korrekte Token mit einer Genauigkeit von 0,56 auf Phi-2 zu rekonstruieren, was die 0,55 von Patchscopes und die 0,05 der Logit Lens übertraf.

Das Fazit

Dieses Paper behauptet nicht, alle KI-Rätsel gelöst zu haben. Es sagt uns noch nicht, wie wir das Modell steuern können (das ist Aufgabe zukünftiger Arbeiten). Aber es bietet einen neuen, klareren Weg, um zu sehen, was in der Black Box geschieht. Es legt nahe, dass die Intelligenz des Modells nicht einfach eine gerade Linie von A nach B ist; es ist eine komplexe Reise durch eine Stadt aus Räumen, in der das Modell Ideen besucht, sie gewichtet und manchmal seine Meinung ändert, bevor es spricht. Und dank der Laguerre-Geometrie haben wir endlich eine Karte, die uns das ganze Viertel zeigt, nicht nur einen einzelnen Punkt.

Technische Zusammenfassung: Laguerre-Geometrie zur Interpretation von Large Language Models

Problemstellung
Trotz der ontologischen Klarheit atomarer Berechnungen innerhalb von Large Language Models (LLMs) bleiben die epistemologischen Mechanismen, durch die diese Berechnungen zu emergenter Intelligenz verschmelzen, opak. Ein zentrales Rätsel betrifft die Organisation semantischer Konzepte innerhalb der Repräsentationsräume von LLMs. Bestehende Ansätze, die primär auf der Linearen Repräsentationshypothese (LRH) basieren, definieren Konzepte typischerweise als einzelne Punkte, lineare Richtungen oder Gaußsche Cluster. Es bleiben jedoch vier fundamentale Fragen unter diesen Frameworks ungeklärt: (I) Was ist die präzise Definition eines Konzepts? (II) In welchem Repräsentationsraum ist es kodiert? (III) Welche konkrete geometrische Struktur trägt es? und (IV) Warum wird Linearität vorausgesetzt, und in welchem Umfang hält sie stand? Darüber hinaus verlassen sich aktuelle Interpretierbarkeitstools (z. B. Logit Lens, Tuned Lens) oft auf heuristisches Dekodieren oder erfordern Training, wodurch ein fundierter Grundsatz für die „Bedeutung“ verborgener Vektoren in intermediären Schichten fehlt.

Methodik
Die Autoren schlagen ein geometrisches Framework vor, das auf der Laguerre-Geometrie basiert, um die niederwertige geometrische Dekomposition mit der hochwertigen semantischen Organisation zu vereinheitlichen. Die Methodik verläuft über drei Hauptstadien:

Unembedding-Schicht als Laguerre-Voronoi-Diagramm (LVD):
Das Paper stellt fest, dass die finale lineare Projektionsschicht (Unembedding-Schicht) eines LLM, parametrisiert durch Gewichte $W$ und Biases $b$ , den Repräsentationsraum $\mathbb{R}^d$ natürlich in ein Laguerre-Voronoi-Diagramm (auch bekannt als Power-Diagramm) partitioniert.
- Konzeptdefinition: Ein Konzept wird nicht als Vektor, sondern als eine spezifische Laguerre-Voronoi-Zelle $\omega_j$ neu definiert, die durch ein Zentrum $c_j$ und ein Gewicht $\nu_j$ charakterisiert ist. Eine Kategorie wird als die Vereinigung mehrerer solcher Zellen definiert.
- Geometrische Eigenschaften: Diese Formulierung ermöglicht die strikte Definition der linearen Separierbarkeit zwischen Konzepten und Kategorien. Entscheidend ist, dass sie einen Dominations-Score einführt, der aus den Laguerre-Gewichten und -Zentren abgeleitet wird, was die Detektion hierarchischer Beziehungen (z. B. Hyponymie/Hyperonymie) ermöglicht (z. B. „Hund“ $\subset$ „Säugetier“ $\subset$ „Tier“), welche allein durch Vektordistanzen schwer zu erfassen sind.
Dekomposition der Transformer-Schichten:
Die Autoren erweiterten diese geometrische Sichtweise auf die intermediären Transformer-Blöcke. Durch die Zerlegung des Netzwerks in stückweise-lineare Operatoren (MLP-Blöcke) und die Analyse des Attention-Mechanismus zeigen sie auf, dass der Eingangsraum in stückweise-lineare Regionen partitioniert wird.
- Single-Input vs. Multiple-Input: Für Single-Input-Token folgt die Trajektorie einem statischen Baum aus stückweise-linearem Fluss. Bei Multiple-Inputs fungiert der Cross-Attention-Mechanismus als dynamischer Transportterm, der die verborgene Trajektorie über verschiedene Bäume (Regionen) „springt“, wenn Attention feuert.
- Regionskorrespondenz: Jede lineare Region in einer beliebigen Schicht wird einem semantischen Label zugewiesen, das der Laguerre-Zelle entspricht, die sie erreichen würde, wenn sie durch den verbleibenden Netzwerkverlauf ohne weitere kontextuelle Interferenz propagiert würde.
Geometric Lens und Laguerre-Autoencoder:
- Geometric Lens: Eine trainingsfreie, hyperparameterfreie Methode zur Dekodierung verborgener Vektoren. Sie isoliert einen verborgenen Vektor $h^{(\ell)}_i$ von nachfolgenden kontextuellen Effekten, indem sie die Self-Attention-Gewichte auf 1 setzt (Nullsetzen von Cross-Token-Updates) und den Vektor durch das verbleibende stückweise-lineare Netzwerk propagiert, um die finale Laguerre-Zelle zu identifizieren.
- Laguerre-Autoencoder (LAE): Ein 2D-Visualisierungstool, das verborgene Repräsentationen und ihre entsprechenden LVD-Regionen gemeinsam darstellt. Er wird mit einer Verlustfunktion trainiert, die den Rekonstruktionsfehler und einen Term kombiniert, der sicherstellt, dass der rekonstruierte Punkt innerhalb derselben Laguerre-Zelle wie der ursprüngliche Punkt liegt, wodurch die Entscheidungsgeometrie bewahrt wird.

Zentrale Beiträge

Neudefinition von Konzepten: Das Paper geht über punkt- oder richtungsbasierte Definitionen hinaus und definiert Konzepte als konvexe polyedrische Regionen (Laguerre-Voronoi-Zellen), die durch die Unembedding-Schicht induziert werden.
Hierarchische Entdeckung: Es demonstriert, dass Laguerre-Gewichte konzeptionelle Hierarchien und Inklusionsbeziehungen natürlich kodieren, was die unüberwachte Entdeckung von Hyponymen und Hyperonymen ohne vordefinierte Attributsätze ermöglicht.
Geometric Lens: Ein neuartiges, trainingsfreies Interpretierbarkeitstool, das das exakte Konzept offenbart, das ein verborgener Vektor kodiert, indem es seinen Pfad durch die intrinsische stückweise-lineare Partitionierung des Modells nachverfolgt.
Visualisierung: Der Laguerre-Autoencoder bietet eine vereinheitlichte 2D-Ansicht sowohl der Entscheidungsgeometrie des Modells als auch der Trajektorie der Token-Repräsentationen.

Experimentelle Ergebnisse
Die Autoren validieren ihr Framework durch mehrere Experimente:

Lineare Separierbarkeit: In linearen Probing-Aufgaben beim Vergleich von „Tier vs. Pflanze“ und „Ereignis vs. Kognition“ erreichte die Laguerre-Geometrie (unter Verwendung von Lifted Points aus dem LVD) geringere Fehlerraten als die Categorical Geometry (gewaschene Vektoren) und Lattice Geometry über mehrere Modelle hinweg (Phi-2, Gemma-2, Pythia).
Hierarchie-Detektion: Der vorgeschlagene Dominations-Score identifizierte erfolgreich hierarchische Beziehungen (z. B. „Hund“ unter „Tier“) mit einer Genauigkeit, die Lattice Geometry und Random-Baselines auf Phi-2 und Pythia-70M signifikant übertraf.
Trajektorien-Analyse: Visualisierungen des Prompts „The capital of France is“ zeigen, dass das Geometric Lens einen komplexeren und vielfältigeren Pfad durch den Repräsentationsraum verfolgt als Logit Lens und Patchscopes. Es erfasst den internen Verfeinerungsprozess des Modells, bei dem grammatikalisch inkorrekte, aber faktisch korrekte Token (z. B. „Paris“) in mittleren Schichten erscheinen, bevor das Modell sich auf das grammatikalisch korrekte Token („_Paris“) festlegt.
In-Context-Interferenz: In Prompts, die darauf ausgelegt sind, Interferenz zu induzieren (z. B. Vertauschen von Städtenamen in einem fiktiven Kontext), zeigte das Geometric Lens eine überlegene Robustheit. Durch Untersuchung des Token-Rangs in intermediären Schichten (speziell Schicht 20) konnte das Geometric Lens häufiger das faktisch korrekte Token wiederherstellen als Logit Lens oder Patchscopes, was darauf hindeutet, dass es den wahren Denkprozess des Modells offenbart, bevor dieser durch Interferenz in der finalen Schicht überschrieben wird.

Bedeutung und Behauptungen
Das Paper beansprucht, ein rigoroses geometrisches Fundament für die Lineare Repäsentationshypothese zu liefern, indem es diese von einer informellen Annahme zu einer strikt definierten Eigenschaft der stückweise-linearen Struktur des Modells macht. Durch die Feststellung, dass Konzepte Regionen statt Punkte sind, argumentieren die Autoren, dass dieses Framework eine fundierte Ground Truth für verborgene Repräsentationen bietet und die Notwendigkeit für heuristisches Dekodieren oder externes Training eliminiert.

Die Bedeutung liegt in der Verschiebung der Interpretierbarkeit von der „erklärenden Geometrie“ (Beschreibung statischer Strukturen) hin zur „anwendbaren Interpretierbarkeit“. Das Geometric Lens ermöglicht es Forschern, das exakte Konzept auszulesen, das ein verborgener Vektor kodiert, und kann – wie demonstriert – faktische Wahrheiten wiederherstellen, selbst wenn der finale Output des Modells durch In-Context-Interferenz korrumpiert wurde. Die Autoren positionieren diese Arbeit als einen grundlegenden Schritt zum Verständnis, wie hochrangige Intelligenz aus niederwertigen geometrischen Partitionen entsteht, wobei zukünftige Arbeiten geplant sind, um dieses Framework auf kausale Intervention und Verhaltenssteuerung (Behavior Steering) auszuweiten.

Die Karte, die alles veränderte

Ein Blick in das Innere der Maschine

Wenn das Modell verwirrt ist

Was das bedeutet (und was nicht)

Das Fazit

Mehr davon