📊 statistics

The Information Geometry of Softmax: Probing and Steering

Diese Arbeit untersucht, wie Informationstheorie die semantische Struktur in KI-Modellen geometrisch abbildet, und stellt „Dual Steering" als eine Methode vor, die Konzepte präzise steuert, indem sie die lineare Repräsentationshypothese nutzt und unerwünschte Nebeneffekte minimiert.

Ursprüngliche Autoren: Kiho Park, Todd Nief, Yo Joong Choe, Victor Veitch

Veröffentlicht 2026-06-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kiho Park, Todd Nief, Yo Joong Choe, Victor Veitch

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein massives, komplexes Schiff (ein KI-Modell) zu einem bestimmten Ziel zu steuern (ein neues Konzept, wie etwa das Ändern eines Satzes von „er“ zu „sie“ oder eines Bildes eines „Hundes“ zu einer „Katze“).

Lange Zeit haben Forscher versucht, diese Schiffe zu steuern, indem sie das Steuer einfach in einer geraden Linie bewegten. Sie nahmen an, dass der Ozean flach und gleichmäßig sei, wie eine riesige Eisfläche. Wenn sie nach Norden wollten, drückten sie das Steuer einfach nach Norden. Dies wird als Euklidische Steuerung bezeichnet.

Dieses Paper argumentiert jedoch, dass der Ozean, auf dem KI-Modelle segeln, nicht aus flachem Eis besteht. Er ist tatsächlich eine gekrümmte, hügelige Landschaft, in der die „Nähe“ zweier Punkte davon abhängt, wie ähnlich sich das Verhalten des Schiffes ist, nicht nur davon, wie weit sie auf einer Karte voneinander entfernt aussehen. Die Autoren nennen dies Informationsgeometrie.

Hier ist die Aufschlüsselung ihrer Entdeckung und ihrer neuen Methode, Dual Steering, unter Verwendung einfacher Analogien:

1. Das Problem: Die „Flache-Karte-Falle“

Das Paper beginnt mit der Feststellung, dass die meisten aktuellen Methoden die internen Gedanken (Repräsentationen) der KI so behandeln, als existierten sie in einer flachen, geradlinigen Welt.

Die Analogie: Stellen Sie sich vor, Sie mischen zwei Farben Farbe. Wenn Sie Rot und Blau in einer geraden Linie mischen, erhalten Sie Lila. Aber wenn Sie Wahrscheinlichkeiten mischen (wie die Chance auf Regen vs. die Chance auf Sonnenschein), ist die Mathematik anders.
Das Problem: Wenn Forscher die KI in einer geraden Linie bewegen, um eine Sache zu ändern (z. B. „Hund“ zu „Katze“), verschütten sie versehentlich überall Farbe. Die KI fängt plötzlich an, über „Fahrräder“ oder „Wolken“ zu sprechen, nur weil der geradlinige Stoß das Gleichgewicht des gesamten Systems gestört hat. Dies wird als „Off-Target Leakage“ (Zielabweichungs-Leckage) bezeichnet.

2. Die Lösung: Die „Gekrümmte Karte“ (Informationsgeometrie)

Die Autoren erkannten, dass das „Gehirn“ der KI wie eine Wahrscheinlichkeitsmaschine funktioniert. Wenn die KI entscheidet, welches Wort sie als Nächstes sagen soll, verwendet sie ein mathematisches Werkzeug namens Softmax, um Zahlen in Prozentsätze (Wahrscheinlichkeiten) umzuwandeln.

Die Erkenntnis: Da die KI mit Wahrscheinlichkeiten arbeitet, ist der Raum, in dem sie lebt, gekrümmt. In diesem gekrümmten Raum ist der „geradeste“ Pfad keine gerade Linie; es ist eine Kurve, die die Regeln der Wahrscheinlichkeit respektiert.
Die Analogie: Denken Sie an die Erde. Wenn Sie von New York nach London fliegen wollen, ist der kürzeste Weg keine gerade Linie durch den Boden; es ist eine Kurve entlang der Oberfläche (ein Großkreis). Wenn Sie versuchen würden, in einer geraden Linie durch die Erde zu fliegen, würden Sie abstürzen. Ähnlich verhält es sich: Wenn Sie versuchen, eine KI in einer „geraden Linie“ durch ihren gekrümmten Wahrscheinlichkeitsraum zu steuern, prallen Sie auf unerwünschte Konzepte.

3. Die neue Methode: „Dual Steering“

Das Paper führt eine neue Art der Steuerung der KI namens Dual Steering ein. Anstatt die KI in einer geraden Linie zu bewegen (Euklidisch), steuern sie sie entlang der natürlichen Kurven des Wahrscheinlichkeitsraums.

Wie es funktioniert:
- Euklidische Steuerung (Die alte Art): Sie greifen das Lenkrad und reißen es gerade in Richtung „Katze“. Dabei stoßen Sie versehentlich die „Hund“- und „Vogel“-Statuen auf dem Armaturenbrett um.
- Dual Steering (Die neue Art): Sie navigieren mithilfe einer speziellen Karte, die weiß, dass das Gelände gekrümmt ist. Sie steuern das Schiff entlang eines Pfades, der den „Hund“ in eine „Katze“ verwandelt, ohne dabei die „Vogel“- oder „Fahrrad“-Statuen zu berühren.
Das „Dual“-Konzept: Das Paper erklärt, dass es zwei Möglichkeiten gibt, die Daten der KI zu betrachten:
1. Primaler Raum: Die Rohzahlen, die die KI sieht.
2. Dualer Raum: Die tatsächlichen Wahrscheinlichkeiten (das Verhalten), die die KI produziert.
  Die Autoren fanden heraus, dass man, um das Verhalten sauber zu ändern, die Steuerung im „Dualen Raum“ (der Welt der Wahrscheinlichkeiten) durchführen und diese dann zurück in die Rohzahlen übersetzen muss.

4. Was sie bewiesen haben

Die Autoren haben mathematisch bewiesen, dass Dual Steering die „Goldlöckchen-Methode“ ist:

Es verändert erfolgreich das Zielkonzept (z. B. lässt es die KI „Katze“ statt „Hund“ sagen).
Es minimiert den Schaden für alles andere. Es hält die Wahrscheinlichkeit für unbezogene Dinge (wie „Freund“ oder „Fahrrad“) exakt so gleich wie zuvor.

5. Reale Tests

Sie haben dies an echten KI-Modellen getestet (wie Gemma-3 für Text und MetaCLIP für Bilder).

Textbeispiel: Als sie die KI baten, einen Satz von „Er ist mein...“ zu „Sie ist meine...“ zu ändern, brachte die alte Methode die KI versehentlich dazu, auf seltsame Weise über „Freunde“ oder „Onkel“ zu sprechen. Die neue Methode änderte „Er“ zu „Sie“ perfekt, während die restliche Satzstruktur und Bedeutung intakt blieben.
Bildbeispiel: Beim Ändern eines Bildes einer „Katze“ zu einem „Hund“ fügte die alte Methode manchmal versehentlich ein „Hund-Katzen-Hybrid“ oder ein „Fahrrad“ in das Bild ein. Die neue Methode tauschte die Katze sauber gegen einen Hund aus, wobei der Hintergrund und andere Objekte unberührt blieben.

Zusammenfassung

Das Paper behauptet, dass KI-Modelle nicht auf einer flachen Karte leben, sondern auf einer gekrümmten, wahrscheinlichkeitsbasierten Landschaft. Wenn man versucht, sie mit einer geraden Linie zu steuern, verursacht man Chaos. Durch die Verwendung von Dual Steering, das die natürlichen Kurven dieser Landschaft respektiert, kann man die Meinung der KI über eine spezifische Sache ändern, ohne versehentlich alles andere zu beschädigen.

Hinweis: Das Paper konzentriert sich strikt auf die Geometrie der Funktionsweise dieser Modelle und darauf, wie man sie mithilfe von linearen Sonden steuert. Es beansprucht nicht, allgemeine KI-Sicherheitsfragen zu lösen, noch diskutiert es klinische oder medizinische Anwendungen. Es geht rein um die Präzision des „Steuerrads“ einer KI und darum, die Wahrscheinlichkeit für unbeabsichtigte Nebenwirkungen zu verringern.

Technisches Resümee: Die Informationsgeometrie der Softmax-Funktion: Probing und Steering

Problemstellung

Aktuelle Ansätze zur Interpretation und Manipulation von KI-Modellen stützen sich häufig auf die lineare Repräsentationshypothese, die besagt, dass hochgradige Konzepte spezifischen Richtungen im Vektorrepräsentationsraum des Modells entsprechen. Während diese Hypothese Methoden zur Identifizierung und Steuerung von Konzepten (z. B. Sentiment, Wahrhaftigkeit) ermöglicht hat, sind bestehende Techniken oft fragil und weniger effektiv als direktes Fine-Tuning. Eine primäre von den Autoren identifizierte Einschränkung ist die implizite Annahme, dass Repräsentationsräume eine flache, euklidische Geometrie besitzen. Die Autoren argumentieren, dass für Modelle, die Softmax-Verteilungen verwenden (einschließlich Transformer, LLMs und kontrastive Modelle wie CLIP), die natürliche Geometrie des Repräsentationsraums nicht euklidisch, sondern eine Informationsgeometrie ist. Folglich können Standard-Operationen in euklidischen Räumen (wie das Addieren eines Probe-Vektors direkt zu einer Repräsentation) fehlschlagen, indem sie die semantische Struktur verändern oder zu unerwünschtem „Off-Target“-Drift führen, bei dem die Wahrscheinlichkeitsmasse auf unzusammenhängende Konzepte abfließt.

Methodik

Das Paper operationalisiert die Idee, dass die Geometrie der Repräsentationsvektoren $\lambda$ die Nähe der induzierten Wahrscheinlichkeitsverteilungen $P_\lambda$ widerspiegeln sollte.

1. Informationsgeometrischer Rahmen

Die Autoren etablieren, dass die durch die Kullback-Leibler-Divergenz (KL-Divergenz) zwischen Softmax-Verteilungen induzierte Geometrie eine Bregman-Geometrie (dual flache Geometrie) ist. Diese Struktur führt eine Dualität zwischen ein:

Primalraum ( $\Lambda$ ): Der Raum der Repräsentationsvektoren $\lambda$ .
Dualraum ( $\Phi$ ): Der Raum der Erwartungswerte (Mean Embeddings) $\phi(\lambda) = \nabla A(\lambda) = \mathbb{E}[\gamma | \lambda]$ , wobei $A(\lambda)$ der Log-Normalisator ist.

Das Paper unterscheidet zwischen zwei natürlichen Interpolationspfaden:

Primal-Interpolation (e-Geodäte): Eine gerade Linie im Primalraum. Diese minimiert eine gewichtete Summe der reversen KL-Divergenzen und verhält sich wie ein UND-Operator, der gemeinsame Hochwahrscheinlichkeitsregionen betont.
Dual-Interpolation (m-Geodäte): Eine gerade Linie im Dualraum. Diese minimiert eine gewichtete Summe der forward KL-Divergenzen und verhält sich wie ein ODER-Operator, der eine lineare Mischung von Verteilungen erzeugt und die semantischen Merkmale beider Endpunkte gleichzeitig bewahrt.

2. Dual Steering

Der Kern der methodischen Leistung ist das Dual Steering, eine Technik zur Modifikation von Repräsentationen, um ein Zielkonzept zu zeigen und gleichzeitig Änderungen an Off-Target-Konzepten zu minimieren.

Das Problem des euklidischen Steerings: Standardmäßiges Steering addiert einen Probe-Vektor $\beta_W$ (ein Element des Dualraums) direkt zur primalen Repräsentation $\lambda$ . Dies stellt einen „Typ-Mismatch“ in einer nicht-euklidischen Geometrie dar und führt oft zu Off-Target-Drift.
Die Lösung durch Dual Steering: Anstatt $\lambda$ direkt zu aktualisieren, aktualisiert Dual Steering die duale Koordinate $\phi(\lambda)$ durch Addition des Probe-Vektors: $\phi(\lambda_t) = \phi(\lambda_0) + t\beta_W$ .
Theoretische Garantie: Unter der Annahme von konzept-faktorisierbaren Verteilungen (bei denen die Output-Verteilung in eine Zielkonzept-Verteilung und eine Off-Target-Verteilung faktorisiert werden kann), beweisen die Autoren, dass Dual Steering den Minimierer der KL-Divergenz identifiziert, der das Zielkonzept modifiziert und gleichzeitig die KL-Divergenz der Off-Target-Verteilung minimiert. Dies bewahrt effektiv die relativen Wahrscheinlichkeiten nicht verwandter Token.

3. Praktische Implementierung

Da der Dualraum eine beschränkte konvexe Menge ist, kann ein linearer Update im Dualraum aus dem zulässigen Bereich herausführen. Um dies zu adressieren, schlagen die Autoren einen Regularisierten Newton-Update vor:

Approximieren der Änderung der dualen Koordinaten mithilfe der Hesse-Matrix des Log-Normalisators (welche der Kovarianzmatrix der Unembedding-Vektoren entspricht).
Lösen des linearen Systems $\text{Cov}[\gamma | \lambda] \Delta \lambda = \epsilon \beta_W$ , um den entsprechenden Schritt im Primalraum zu finden.
Anwendung von Tikhonov-Regularisierung ( $\alpha I$ ) auf die Kovarianzmatrix, um Rangdefizite zu handhaben (die auftreten, wenn die Softmax-Funktion stark auf wenige Token konzentriert ist), wodurch sichergestellt wird, dass der Update wohldefiniert bleibt und die Verteilung bei Bedarf in Richtung höherer Entropie drängt.
Verwendung der Konjugierten Gradienten-Methode, um das lineare System effizient zu lösen, ohne die große Kovarianzmatrix explizit invertieren zu müssen.

Hauptergebnisse

Die Autoren evaluieren Dual Steering auf Gemma-3-4B (LLM) und MetaClip-2 (Vision-Language) über verschiedene binäre Konzepte hinweg (z. B. Verb $\Rightarrow$ dritte Person, Hund $\Rightarrow$ Katze, Englisch $\Rightarrow$ Französisch).

Bewahrung von Off-Target-Konzepten: Empirische Ergebnisse zeigen, dass Dual Steering das euklidische Steering signifikant übertrifft, wenn es darum geht, Off-Target-Verteilungen zu bewahren. Während euklidisches Steering oft zu „Leakage“ führt (der Zuweisung signifikanter Wahrscheinlichkeiten an unzusammenhängende Token wie „Freund“, wenn man auf „Vater“ $\Rightarrow$ „Mutter“ steuert), hält Dual Steering die Wahrscheinlichkeitsmasse von Gegenentwürfen (Counterfactual Pairs) und neutralen Token aufrecht.
Robustheitsmetriken: Dual Steering erreicht im Vergleich zu euklidischen Methoden eine geringere KL-Divergenz und kleinere Rangunterschiede für Off-Target-Verteilungen, selbst wenn die Wahrscheinlichkeit des Zielkonzepts gegen 1 geht.
Interpolationsverhalten: Visualisierungen bestätigen, dass die Dual-Interpolation (m-Geodäte) als lineare Mischung von Verteilungen fungiert, während die Primal-Interpolation (e-Geodäte) endpunktspezifische Outputs zugunsten gemeinsamer Merkmale unterdrückt.

Bedeutung und Ansprüche

Das Paper behauptet, dass die nicht-euklidische Struktur der intrinsischen Informationsgeometrie entscheidend ist, um geometrische Manipulationen mit semantischen Aufgaben wie dem Steering zu verknüpfen.

Theoretische Erkenntnis: Es zeigt, dass die lineare Repräsentationshypothese im Kontext der Informationsgeometrie (speziell der Bregman-Dualität) und nicht innerhalb einer flachen euklidischen Geometrie verstanden werden muss, um robust zu sein.
Praktischer Nutzen: Dual Steering bietet eine theoretisch fundierte Methode zur robusten Manipulation von Repräsentationen, die unbeabsichtigte Nebenwirkungen minimiert, und bietet damit eine Vorlage zur Verbesserung der Zuverlässigkeit von Interpretierbarkeits- und Kontrollmethoden.
Geltungsbereich: Obwohl die Ergebnisse für Softmax-basierte Modelle abgeleitet wurden, deuten die Autoren darauf hin, dass die Kernidee, die intrinsische Geometrie zu nutzen, weitgehend anwendbar ist. Sie merken explizit an, dass die Arbeit als Vorlage für zukünftige Forschung dient, wie Geometrie die Robustheit von Kontrollmethoden beeinflusst, insbesondere in den Zwischenschichten von Modellen.

Die Autoren bleiben bescheiden hinsichtlich der „Probing-Annahme“ (dass ein linearer Probe ein Konzept über die gesamte Hyperebene hinweg perfekt erfasst), räumen jedoch ein, dass diese Annahme in der Praxis nicht strikt halten muss, Dual Steering jedoch empirisch euklidische Methoden übertrifft.