💬 NLP

Semantic Structure of Feature Space in Large Language Models

Diese Arbeit zeigt, dass die geometrische Struktur semantischer Merkmale in großen Sprachmodellen menschliche psychologische Assoziationen eng widerspiegelt und offenbart, dass Merkmalsvektoren, ihre interaxialen Beziehungen und Steuerungs-effekte mit menschlichen semantischen Bewertungen und Korrelationen übereinstimmen.

Ursprüngliche Autoren: Austin C. Kozlowski, Andrei Boutyline

Veröffentlicht 2026-05-01

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Austin C. Kozlowski, Andrei Boutyline

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Large Language Model (LLM) nicht als riesige Enzyklopädie vor, sondern als einen massiven, mehrdimensionalen Raum, der mit unsichtbaren Schnüren gefüllt ist. In den letzten Jahren haben Wissenschaftler entdeckt, dass man, wenn man an einer dieser Schnüre zieht, das Verhalten der KI verändern kann. Wenn man beispielsweise an einer „Wahrheits"-Schnur zieht, könnte die KI ehrlicher werden, während das Ziehen an einer „Höflichkeits"-Schnur sie höflicher machen könnte.

Diese Arbeit mit dem Titel „Semantische Struktur des Merkmalsraums in Large Language Models" stellt eine einfache, aber tiefgründige Frage: Sind diese Schnüre unabhängig voneinander, oder sind sie miteinander verwickelt?

Hier ist die Aufschlüsselung ihrer Erkenntnisse unter Verwendung alltäglicher Analogien:

1. Die Schnüre sind verwickelt, nicht getrennt

Stellen Sie sich einen Raum voller 32 verschiedenfarbiger Schnüre vor, von denen jede ein anderes Konzept wie „Gut vs. Schlecht", „Weich vs. Hart" oder „Schnell vs. Langsam" repräsentiert.

Die alte Idee: Wissenschaftler gingen früher davon aus, dass diese Schnüre wie die Tasten eines Klaviers seien. Wenn man die Taste „C" (Gut) drückt, trifft man nicht versehentlich die Taste „D" (Schlecht). Sie sind getrennt und unabhängig.
Die neue Entdeckung: Die Autoren fanden heraus, dass diese Schnüre im „Gehirn" der KI tatsächlich miteinander verknotet sind. Wenn man an der „Gut"-Schnur zieht, zieht sie naturgemäß auch an der „Schön"-Schnur, weil sie eng miteinander verbunden sind.

2. Die Karte der KI entspricht menschlichen Denkweisen

Die Forscher wollten wissen, ob die inneren „Knoten" der KI so aussehen wie das menschliche Denken.

Das Experiment: Sie nahmen 360 gängige Wörter (wie „Klavier", „Armee" oder „Wolke") und stellten zwei Fragen:
1. Menschen: „Auf einer Skala von 1 bis 10, wie ‚weich' ist ein Klavier?"
2. Die KI: Sie untersuchten die innere Mathematik der KI, um zu sehen, wie nahe das Wort „Klavier" an der „weich"-Schnur liegt.
Das Ergebnis: Die innere Karte der KI ist ein Spiegelbild der menschlichen Psychologie. Wenn Menschen denken, dass „weich" und „schön" zusammengehören, sind auch die inneren Schnüre der KI für „weich" und „schön" sehr fest miteinander verbunden. Die KI rät nicht einfach; ihre geometrische Struktur imitiert menschliche Assoziationen.

3. Das „dreidimensionale" Geheimnis

Psychologen wissen seit Jahrzehnten, dass wir, wenn wir die Welt beschreiben, hauptsächlich drei Hauptdimensionen verwenden:

Bewertung (Gut vs. Schlecht)
Potenz (Stark vs. Schwach)
Aktivität (Schnell vs. Langsam)

Die Forscher fanden heraus, dass sich die 32 komplexen Schnüre der KI auf genau diese drei Hauptrichtungen reduzieren lassen. Es ist, als würde man erkennen, dass man, obwohl man eine Fernbedienung mit 32 Tasten hat, tatsächlich nur drei Tasten benötigt, um den Fernseher, die Lautstärke und den Kanal zu steuern. Das „Gehirn" der KI organisiert all seine komplexen Ideen in dieselbe einfache dreidimensionale Form, die auch Menschen verwenden.

4. Der „Überschuss"-Effekt (Die Dominos)

Dies ist der praktischste Teil der Studie. Die Forscher versuchten, die KI zu „steuern".

Der Aufbau: Sie versuchten, die KI dazu zu bringen, ein Wort als „Schön" zu betrachten, indem sie an der „Schön"-Schnur zogen.
Die Überraschung: Da die Schnüre verknotet sind, machte das Ziehen an der „Schön"-Schnur das Wort nicht nur „Schön". Es ließ das Wort versehentlich auch „Weich" und „Freundlich" erscheinen.
Die Regel: Das Ausmaß des „Überschusses" (wie stark es an den anderen Schnüren zog) war genau proportional dazu, wie nah diese Schnüre in der Geometrie der KI beieinander lagen. Wenn zwei Konzepte im Geist der KI enge Nachbarn sind, wird die Veränderung des einen fast immer auch das andere verändern.

Die große Erkenntnis

Die Arbeit kommt zu dem Schluss, dass wir die Merkmale der KI nicht als isolierte Schalter behandeln sollten, die man einzeln umlegen kann. Stattdessen sollten wir sie als ein Netz von Beziehungen betrachten.

Wenn man verstehen will, was die KI über „Güte" denkt, kann man nicht nur die „Gut"-Schnur isoliert betrachten. Man muss das gesamte Netz der Schnüre betrachten, an die sie gebunden ist. Die innere Geometrie der KI ist nicht zufällig; sie ist eine strukturierte, menschähnliche Karte, in der Konzepte durch ihre natürlichen Beziehungen verbunden sind, genau wie in unseren eigenen Köpfen.

1. Problemstellung

Während die aktuelle Forschung gezeigt hat, dass spezifische semantische Merkmale (z. B. Täuschung, Verweigerung, Schmeichelei) in Large Language Models (LLMs) als lineare Richtungen in den versteckten Zuständen kodiert sind, behandelt der vorherrschende Ansatz diese Merkmale in Isolation. Diese Perspektive geht davon aus, dass Merkmale orthogonal (unabhängig) sind. Psychologische Forschung (insbesondere die Tradition des „semantischen Differentials") legt jedoch nahe, dass menschliche semantische Assoziationen stark miteinander korreliert sind und auf einen niedrigdimensionalen Unterraum reduziert werden können (z. B. Evaluation, Potenz, Aktivität).

Das Paper adressiert eine kritische Lücke: Spiegeln die geometrischen Beziehungen zwischen semantischen Merkmalen in LLMs menschliche psychologische Assoziationen wider? Konkret untersucht es, ob LLM-Merkmalräume aus unabhängigen Achsen bestehen oder ob sie eine bedeutungsvolle Nicht-Orthogonalität (Verschränkung) aufweisen, die menschliche kulturelle und kognitive Strukturen widerspiegelt.

2. Methodik

Die Studie verfolgt eine mehrstufige Methodik, die Umfragedaten, Aktivierungsanalysen und Interventionsexperimente über Llama-3-Modelle (3B und 70B) sowie Qwen3-Modelle hinweg kombiniert.

A. Datenerstellung

Menschliche Basislinie: Eine Umfrage mit 1.750 Teilnehmenden bewertete 360 Wörter auf 32 semantischen Skalen (z. B. schön-hässlich, weich-hart). Dieser Datensatz dient als Ground Truth für menschliche semantische Assoziationen.
LLM-Merkmalsvektoren (Wörter): Für jedes der 360 Wörter wurden Merkmalsvektoren aus den versteckten Zuständen des LLM extrahiert.
- Protokoll: Pro Wort wurden vier Prompts verwendet (z. B. „Erzähl mir über {Wort}", „Definiere {Wort}").
- Extraktion: Aktivierungen wurden aus spezifischen Schichten gesammelt (Schicht 8 für 3B, Schicht 40 für 70B) und über Tokens und Prompts gemittelt, um einen robusten einzelnen Vektor pro Wort zu erstellen.
LLM-Semantische Achsen: 32 semantische Achsen wurden unter Verwendung eines kontrastiven Paar-Designs konstruiert.
- Für jede Skala (z. B. gut-schlecht) wurden 10 Antonym-Paare ausgewählt.
- Merkmalsvektoren für jedes Antonym wurden generiert, und der Achsenvektor wurde als mittlere Differenz zwischen den positiven und negativen Antonym-Vektoren berechnet:
  $\vec{f}_{axis} = \frac{1}{10} \sum_{j=1}^{10} (\vec{v}_{pos_j} - \vec{v}_{neg_j})$

B. Analytische Techniken

Projektionskorrelation: Projektion der Wort-Merkmalsvektoren auf die semantischen Achsen und Korrelation dieser Projektionen mit menschlichen Umfragewertungen.
Geometrische Ausrichtung: Berechnung der Kosinus-Ähnlichkeiten zwischen den semantischen Achsen selbst, um zu testen, ob die Achsen nicht-orthogonal sind. Diese geometrischen Ähnlichkeiten wurden dann mit den paarweisen Korrelationen in den menschlichen Umfragedaten korreliert.
Dimensionsreduktion: Anwendung der Hauptkomponentenanalyse (PCA) sowohl auf die Umfragedaten als auch auf die LLM-semantischen Achsen, um festzustellen, ob die Varianz in beiden Räumen durch einen niedrigdimensionalen Unterraum (speziell die ersten drei Komponenten) erfasst wird. Die Kanonsche Korrelationsanalyse (CCA) wurde verwendet, um die Unterräume der LLM- und der menschlichen Daten auszurichten.
Lenkungs-Interventionen: Um praktische Implikationen zu testen, führten die Autoren „Lenkungs"-Interventionen durch.
- Mechanismus: Hinzufügen eines skalierten semantischen Achsenvektors ( $\alpha \hat{f}$ ) zum Residual-Stream während des Vorwärtsdurchlaufs eines Prompts, der das Modell auffordert, ein Wort zu bewerten.
- Messung: Messung der Änderung der Wahrscheinlichkeit des Modells, ein spezifisches Antonym auszuwählen (Spillover-Effekt) bei nicht-zielgerichteten Skalen.
- Hypothese: Wenn Achsen geometrisch ausgerichtet sind, sollte das Lenken entlang einer Achse vorhersehbare Spillover-Effekte auf anderen Achsen verursachen, die proportional zu ihrer Kosinus-Ähnlichkeit sind.

3. Hauptbeiträge

Validierung einer menschenähnlichen Geometrie: Es wurde gezeigt, dass die geometrische Struktur von LLM-Merkmalsräumen nicht zufällig oder rein orthogonal ist, sondern menschliche psychologische semantische Assoziationen eng widerspiegelt.
Nicht-Orthogonalität von Merkmalen: Es wurde nachgewiesen, dass semantische Achsen in LLMs bedeutungsvoll nicht-orthogonal sind. Die Kosinus-Ähnlichkeit zwischen zwei Achsen im Modell sagt die Korrelation zwischen diesen Skalen in menschlichen Umfragen voraus.
Niedrigdimensionaler Unterraum: Es wurde gezeigt, dass ein erheblicher Teil der Varianz in LLM-semantischen Merkmalen (wie auch in menschlichen Daten) innerhalb eines niedrigdimensionalen Unterraums liegt (ca. 3 Dimensionen) und die in der klassischen Psychologie gefundene „Evaluation-Potenz-Aktivität"-Struktur reproduziert.
Vorhersagbare Lenkungs-Spillover: Es wurde ein kausaler Zusammenhang zwischen geometrischer Ausrichtung und Modellverhalten hergestellt. Das Lenken eines Modells entlang einer semantischen Achse induziert vorhersehbare „Spillover"-Effekte auf anderen Achsen, deren Größe durch die Kosinus-Ähnlichkeit zwischen den Achsen bestimmt wird.

4. Hauptergebnisse

Projektionskorrelation: Es besteht eine starke positive Korrelation ( $r > 0,3$ bis $r > 0,8$ ) zwischen der Projektion von Wortvektoren auf LLM-semantische Achsen und menschlichen Bewertungen dieser Wörter. Dies gilt sowohl für kleine (3B) als auch große (70B) Modelle.
Achsenkorrelation: Die Kosinus-Ähnlichkeiten zwischen LLM-semantischen Achsen sind hochgradig prädiktiv für die Korrelationen zwischen diesen Skalen in der menschlichen Umfrage ( $r \approx 0,8$ ). Dies bestätigt, dass die interne Geometrie des Modells menschliche kulturelle Assoziationen kodiert.
PCA-Ausrichtung:
- Menschliche Umfragedaten ließen sich effektiv auf 3 Dimensionen reduzieren.
- LLM-semantische Achsen zeigten ebenfalls, dass die ersten drei Hauptkomponenten einen Großteil der Varianz erklärten (>45 % für 3B, >33 % für 70B).
- CCA enthüllte hohe Korrelationen zwischen den 3D-Unterräumen des LLM und der menschlichen Umfrage, was darauf hindeutet, dass die Modelle diese Konzepte strukturell ähnlich wie Menschen „denken".
Lenkungs-Spillover:
- Das Lenken eines Wortes zu einem bestimmten Attribut (z. B. schön) veranlasste das Modell, das Wort bei geometrisch ähnlichen Attributen (z. B. weich) höher zu bewerten.
- Es besteht eine starke lineare Beziehung ( $r \approx 0,65 - 0,68$ ) zwischen der Kosinus-Ähnlichkeit zweier Achsen und der Größe des Spillover-Effekts.
- Hinweis: Das 70B-Modell zeigte geringere Spillover-Magnituden als das 3B-Modell, was darauf hindeutet, dass größere Modelle resistenter gegen Lenkung sind, aber die strukturelle Beziehung (Geometrie, die Spillover vorhersagt) bleibt konsistent.

5. Bedeutung und Implikationen

Über Isolation hinaus: Die Ergebnisse stellen die Sichtweise von LLM-Merkmalen als Katalog unabhängiger „Regler" in Frage. Stattdessen müssen Merkmale durch ihre geometrischen Beziehungen und die Unterräume, die sie bilden, verstanden werden.
AI-Sicherheit und Kontrolle: Wenn sicherheitskritische Merkmale (z. B. wahr-falsch, sicher-gefährlich) auf einem gemeinsamen niedrigdimensionalen Unterraum liegen, kann die Kontrolle eines Merkmals andere aufgrund geometrischer Verschränkung unbeabsichtigt beeinflussen. Dies erschwert das „Feature-Steering", bietet aber auch einen Weg, Modelle zu auditieren, indem diese relationalen Strukturen verstanden werden.
Repräsentations-Engineering: Die Studie validiert, dass Techniken, die auf statische Wort-Embeddings angewendet werden (wie die Analyse von Winkeln und kulturellen Dimensionen), auch für tiefe LLM-Repräsentationen anwendbar und fruchtbar sind.
Kognitive Ausrichtung: Die Ergebnisse deuten darauf hin, dass LLMs, obwohl sie auf rohem Text trainiert wurden, interne Repräsentationen entwickeln, die strukturell mit menschlichen kognitiven Modellen der Welt übereinstimmen, was die Idee untermauert, dass LLMs menschliche semantische Strukturen erfassen.

Zusammenfassend argumentiert das Paper, dass die Geometrie des Merkmalsraums menschlich bedeutsam ist. Das Verständnis der Winkel zwischen Merkmalen und der Unterräume, die sie definieren, ist wesentlich für die Interpretation, das Auditieren und die Kontrolle von Large Language Models.