💬 NLP

Linear Representations of Hierarchical Concepts in Language Models

Die Studie zeigt, dass Sprachmodelle hierarchische Konzepte in verschiedenen Domänen durch hoch interpretierbare, lineare Darstellungen in einem domänenspezifischen, aber strukturell ähnlichen niedrigdimensionalen Unterraum kodieren.

Ursprüngliche Autoren: Masaki Sakata, Benjamin Heinzerling, Takumi Ito, Sho Yokoi, Kentaro Inui

Veröffentlicht 2026-04-10

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Masaki Sakata, Benjamin Heinzerling, Takumi Ito, Sho Yokoi, Kentaro Inui

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Rätsel: Wie denken KI-Modelle in Schichten?

Stell dir vor, ein großes Sprachmodell (wie ein sehr cleverer Chatbot) ist wie eine riesige, mehrstöckige Bibliothek. In jedem Stockwerk (den sogenannten "Schichten" oder "Layers") werden Informationen anders verarbeitet.

Die Forscher aus dieser Studie wollten herausfinden: Versteht diese Bibliothek, wie Dinge ineinander passen?
Zum Beispiel: Osaka ist in Japan, Japan ist in Asien. Oder: Babe Ruth ist ein Baseballspieler, der ein Athlet ist.

Bisher wussten wir nicht genau, wo und wie diese "Hierarchie" (die Treppenstufen von unten nach oben) im Gehirn der KI gespeichert ist. Die neuen Forscher haben jetzt einen cleveren Trick angewendet, um das zu entschlüsseln.

Der Trick: Die "Übersetzungs-Brille" (Linear Hierarchical Encoding)

Stell dir vor, du hast eine spezielle Brille auf, die dir erlaubt, die Gedanken der KI zu lesen. Diese Brille ist eine mathematische Formel (eine "lineare Transformation").

Das Experiment: Die Forscher gaben der KI einen Namen (z. B. "Osaka") und fragten: "Wozu gehört das?"
Die Entdeckung: Sie stellten fest, dass sie die Antwort ("Japan") vorhersagen konnten, indem sie einfach eine gerade Linie im Gedächtnis der KI zogen.
- Analogie: Stell dir vor, "Osaka" ist ein Punkt auf einer Landkarte. Wenn du eine gerade Linie in eine bestimmte Richtung ziehst, landest du automatisch bei "Japan". Wenn du von "Japan" weiter geradeaus gehst, landest du bei "Asien".
Das Ergebnis: Die KI speichert diese Beziehungen nicht als chaotisches Durcheinander, sondern als klare, gerade Linien. Das ist wie ein perfekt geordneter Schrank, in dem Socken in Socken-Schubladen und T-Shirts in T-Shirt-Schubladen liegen – und man kann sie einfach verschieben, um zum nächsten Fach zu kommen.

Drei spannende Geheimnisse, die sie gefunden haben

Die Forscher haben drei wichtige Dinge über das "Gehirn" der KI herausgefunden:

1. Es ist ein kleiner, geheimes Zimmer (Niedrige Dimension)

Man könnte denken, dass so viel Wissen riesige Räume braucht. Aber nein! Die Hierarchie-Informationen stecken in einem winzigen, fast unsichtbaren Raum im Inneren der KI.

Vergleich: Stell dir vor, die KI hat einen riesigen Ballsaal mit 4.000 Stühlen. Aber alle Informationen über "Wer ist wo?" sind nur in einem kleinen, abgetrennten Raum mit etwa 200 Stühlen gespeichert. Der Rest des Ballsaals ist für andere Dinge da.

2. Jeder Bereich hat sein eigenes Zimmer (Domainspezifisch)

Die Art und Weise, wie die KI "Orte" (wie Länder) speichert, ist anders als wie sie "Menschen" (wie Sportler) speichert.

Vergleich: Es gibt ein spezielles "Orte-Zimmer" und ein separates "Menschen-Zimmer". Wenn du im Orte-Zimmer nach "Japan" suchst, findest du es. Wenn du im Menschen-Zimmer nach "Babe Ruth" suchst, findest du ihn dort. Die Räume sehen unterschiedlich aus und haben unterschiedliche Möbel.

3. Aber die Möbel sind fast gleich! (Ähnliche Struktur)

Obwohl die Räume (Orte vs. Menschen) unterschiedlich sind, ist die Struktur der Hierarchie in allen Räumen fast identisch.

Vergleich: Stell dir vor, das "Orte-Zimmer" und das "Menschen-Zimmer" sind wie zwei verschiedene Häuser. In beiden Häusern gibt es einen Keller, ein Erdgeschoss und einen Dachboden. Die Wände sind vielleicht anders gestrichen, aber die Aufteilung (Keller -> Erdgeschoss -> Dachboden) ist in beiden Häusern genau gleich. Die KI hat also eine universelle Bauweise für Wissen, auch wenn sie es in verschiedenen Räumen aufbewahrt.

Warum ist das wichtig?

Früher dachten viele, KI sei ein schwarzes Kasten, in dem man nicht sieht, wie sie denkt. Diese Studie zeigt: Nein, die KI denkt sehr logisch und strukturiert.

Kontrolle: Da die Forscher herausfanden, dass diese Linien existieren, können sie die KI sogar "manipulieren". Wenn sie die Linie von "Fußballspieler" zu "Tennisprofi" verschieben, ändert die KI ihre Antwort. Das ist wie ein Schalter, den man umlegen kann, um das Verhalten der KI zu steuern.
Verständnis: Wir verstehen jetzt besser, wie KI Wissen organisiert. Es ist nicht nur ein Haufen Daten, sondern ein gut sortiertes Regal mit klaren Regeln.

Fazit in einem Satz

Die Forscher haben entdeckt, dass Sprachmodelle Wissen wie eine gut organisierte Treppe speichern: Jeder Schritt führt logisch zum nächsten, und diese Treppen sind zwar in verschiedenen Räumen (für verschiedene Themen) zu finden, sehen aber überall gleich aus und lassen sich leicht verstehen und steuern.

Titel: Lineare Repräsentationen hierarchischer Konzepte in Sprachmodellen

1. Problemstellung und Motivation

Die Arbeit untersucht, wie und in welchem Umfang Sprachmodelle (LMs) hierarchische Beziehungen (z. B. Japan ⊂ Ostasien ⊂ Asien) in ihren internen Repräsentationen kodieren. Bisherige Forschung (z. B. Park et al., 2025) hat gezeigt, dass hierarchische Relationen geometrisch im Unembedding-Layer kodiert sein können, stößt jedoch auf zwei wesentliche Grenzen:

Eingeschränkte Tiefe: Die Analyse beschränkte sich oft auf statische Repräsentationen im Unembedding-Layer und ignorierte die reichhaltigen Informationen in den intermediären Schichten (intermediate layers) des Modells.
Token-Beschränkung: Vorherige Methoden funktionierten nur für Konzepte, die einem einzelnen Token entsprechen. Sie konnten keine hierarchischen Beziehungen erfassen, die mehr-tokenige Entitäten beinhalten (z. B. Babe Ruth ⊂ Baseballspieler).

Das Ziel dieser Studie ist es, diese Lücke zu schließen, indem untersucht wird, wie LMs Hierarchien über verschiedene Schichten hinweg und für diverse, mehr-tokenige Entitäten repräsentieren.

2. Methodik: Linear Hierarchical Encoding (LHE)

Die Autoren stellen Linear Hierarchical Encoding (LHE) als neues Framework vor, das auf dem Konzept der Linear Relational Concepts (LRC) aufbaut.

Datensatz: Es wurden fünf domainspezifische Hierarchiedatensätze erstellt (Standorte, Personen, Organisationen, Organismen, Forschungsthemen), die mehr-tokenige Entitäten enthalten. Die Daten wurden gefiltert, um nur Instanzen zu berücksichtigen, die das Modell in einem Few-Shot-Setting korrekt vorhersagen kann.
Modellierung:
- Eine Hierarchie-Instanz wird als Tripel $(s, r, o)$ dargestellt, wobei $s$ das Kind-Konzept, $o$ das Eltern-Konzept und $r$ die Relation ist.
- Im Gegensatz zu vorherigen Arbeiten, die eine einzige lineare Abbildung für eine Relation annehmen, modelliert LHE die Hierarchie mit tiefenspezifischen linearen Abbildungen. Das bedeutet, es werden separate Transformationen für Relationen auf verschiedenen Ebenen der Hierarchie gelernt (z. B. Tiefe 4 $\to$ 3 vs. Tiefe 3 $\to$ 2).
- Für jede Relation $r$ wird eine lineare Transformation $R_r(s) = W_r s + b_r$ gelernt, die die Repräsentation des Kind-Knotens in die des Eltern-Knotens überführt.
- Durch Anwendung der inversen Abbildung (unter Verwendung einer Pseudo-Inversen $W_r^\dagger$ ) werden Konzeptvektoren ( $v_{r,c}$ ) extrahiert, die als Prototyp-Richtungen im Repräsentationsraum für Kind-Knoten mit einem bestimmten Eltern-Konzept dienen.
Evaluierte Modelle: Die Studie analysiert vier Decoder-only-Modelle: Llama 3.2 3B, Llama 3.1 8B, Qwen3 8B und Qwen3 14B.
Metriken:
- Accuracy: Misst, ob die interne Repräsentation linear decodierbar ist (Vorhersage des korrekten Elternknotens basierend auf dem Kind-Knoten).
- Causality: Misst, ob die extrahierten Richtungen kausal die Vorhersagen des Modells beeinflussen. Dies wird durch Interventionen getestet (Hinzufügen/Subtrahieren von Konzeptvektoren zu den Hidden States), um zu prüfen, ob sich die nächste-Token-Vorhersage entsprechend ändert.

3. Wichtige Beiträge und Ergebnisse

A. Validierung der Methode (LHE vs. Baselines)
LHE übertrifft signifikant zwei Baselines (Input Averaging und SVM) sowohl in der Accuracy als auch in der Causality über alle Domänen hinweg. Dies belegt, dass die internen Repräsentationen der Modelle hierarchische Informationen enthalten und dass LHE diese effektiv extrahieren und kausal nutzen kann.

B. Kausale Relevanz und Modellvergleich

Die extrahierten Merkmale sind nicht nur korrelativ, sondern kausal relevant für die Token-Vorhersage. Interventionen können die Vorhersagen des Modells zuverlässig ändern (z. B. von „Japan" zu „Ostasien" korrigieren).
Modellunterschiede: Kleinere Modelle wie Llama 3.2 3B und Llama 3.1 8B zeigen hohe Scores in Accuracy und Causality. Interessanterweise zeigt das größere Qwen3 14B zwar hohe Accuracy, aber oft niedrigere Causality-Scores. Dies deutet darauf hin, dass bei diesem Modell die für die Wortvorhersage relevanten Merkmale möglicherweise nicht linear kodiert sind oder anders verteilt werden.

C. Analyse der Repräsentationsgeometrie
Die Autoren identifizieren drei Schlüsseleigenschaften der Kodierung hierarchischer Informationen:

Niedrigdimensionaler Unterraum: Hierarchische Informationen sind in einem relativ niedrigdimensionalen Unterraum konzentriert. Für Modelle mit Hidden-States im Bereich von 3000–5000 Dimensionen liegt die effektive Dimension bei etwa 150–250 Dimensionen.
Domänenspezifität: Der Unterraum, der zur Kodierung der Hierarchie genutzt wird, ist weitgehend domänenspezifisch. Wenn man eine Transformation in einer Domäne (z. B. Standorte) trainiert und in einer anderen (z. B. Personen) testet, bleibt die Accuracy (Decodierbarkeit) oft stabil, aber die Causality (Eingriffsfähigkeit) bricht stark ein. Dies zeigt, dass die für Interventionen nutzbaren Merkmale domänenspezifisch lokalisiert sind.
Strukturelle Ähnlichkeit über Domänen hinweg: Trotz der Domänenspezifität der Unterräume weist die Struktur der Repräsentationen eine hohe Ähnlichkeit auf.
- PCA-Visualisierungen zeigen, dass Vektoren sich zuerst nach Unterbäumen (z. B. „Asien") gruppieren und dann innerhalb dieser Gruppen nach der Hierarchie-Tiefe trennen.
- Mittels Topological Data Analysis (TDA) und dem Wasserstein-Abstand zwischen Persistenzdiagrammen wurde gezeigt, dass die topologische Struktur der Repräsentationen über verschiedene Domänen hinweg ähnlich ist und sich deutlich von nicht-hierarchischen Textdaten unterscheidet.

4. Signifikanz und Fazit

Die Studie liefert starke empirische Belege dafür, dass Sprachmodelle Konzept-Hierarchien in Form hoch interpretierbarer, linearer Repräsentationen kodieren.

Theoretische Bedeutung: Die Ergebnisse unterstützen die Hypothese, dass LMs eine domänenübergreifende Organisation für Hierarchien teilen, auch wenn die spezifischen Unterräume, die diese Kodierung tragen, domänenspezifisch sind.
Praktische Implikationen: Die Fähigkeit, hierarchische Relationen linear zu extrahieren und kausal zu manipulieren, eröffnet neue Wege für die Interpretierbarkeit von Modellen (Mechanistic Interpretability) und das gezielte Steuern von Modellverhalten (Representation Engineering).
Erweiterung des Wissens: Durch die Einbeziehung von mehr-tokenigen Entitäten und die Analyse über alle Schichten hinweg bietet diese Arbeit ein vollständigeres Bild der geometrischen Struktur von Wissen in LLMs als frühere Arbeiten.

Zusammenfassend zeigt das Paper, dass die interne Welt der Sprachmodelle hierarchisches Wissen nicht nur enthält, sondern in einer strukturierten, linearen und kausal wirksamen Form organisiert ist, die sich systematisch analysieren und manipulieren lässt.