🤖 AI

Reference Feature Atlases for Mechanistic Auditing of Language Models

Dieses Paper führt „Reference Feature Atlases“ ein, eine wiederverwendbare, spärliche Feature-Bibliothek, die auf einem Referenzpanel trainiert wurde und eine effiziente, stabile sowie überlegene mechanistische Auditierung neuer Sprachmodelle ermöglicht, indem sie interpretierte Features von neuartigen Residuen trennt und dabei herkömmliche, neu trainierte Baselines bei der Detektion und Kontrolle injizierter Zielsetzungen sowie der Offenlegung emergenter Verhaltensweisen übertrifft.

Ursprüngliche Autoren: Rui Wu, Tong Che

Veröffentlicht 2026-07-28

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Rui Wu, Tong Che

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen zu verstehen, wie eine riesige, unsichtbare Bibliothek des Wissens funktioniert. In dieser Bibliothek gibt es Millionen von winzigen, leuchtenden Schaltern, die aufleuchten, wenn die Bibliothek über etwas „nachdenkt“. In der Welt der künstlichen Intelligenz werden diese als Features bezeichnet. Lange Zeit haben Wissenschaftler versucht, diese Schalter zu kartografieren, um zu verstehen, warum eine KI das sagt, was sie sagt. Das Problem ist, dass jedes Mal, wenn ein neues KI-Modell gebaut wird, es ist, als würde man in eine völlig neue Stadt mit einer ganz anderen Straßenkarte ziehen. Um die neue Stadt zu verstehen, müssen Forscher normalerweise bei Null anfangen und jeden Straßennamen und jede Ampel neu lernen. Das ist langsam, teuer und macht es schwierig, eine Stadt mit einer anderen zu vergleichen.

Dieses Paper geht diesem Kopfzerbrechen entgegen, indem es einen Weg vorschlägt, eine einzige, gemeinsame Karte für viele verschiedene Städte zu nutzen. Die Autoren führen einen „Reference Feature Atlas“ ein, der wie ein universeller Übersetzer für KI-Gehirne fungiert. Anstatt alles neu zu lernen, nehmen sie eine Gruppe bereits untersuchter KI-Modelle (das „Referenz-Panel“) und erstellen ein Master-Wörterbuch ihrer internen Schalter. Wenn ein neues, unbekanntes KI-Modell eintrifft, müssen sie nicht das ganze Gehirn neu lernen; sie müssen nur herausfinden, wie sie es in die bestehende Master-Karte einstecken können. Dies ermöglicht es Wissenschaftlern, sofort zu sehen, welche Teile der neuen KI vertraut sind und welche Teile völlig neu und mysteriös sind. Es ist wie zu haben eine standardmäßige Lego-Anleitung, die jede neue Lego-Kreation beschreiben kann, indem sie genau hervorhebt, welche Steine Standard sind und welche die seltsamen, maßgeschneiderten Ergänzungen sind.

Die neue Karte und die mysteriösen Schalter

Die Forscher Rui Wu und Tong Che machten sich daran, diesen „Reference Feature Atlas“ zu bauen. Sie begannen mit fünf verschiedenen KI-Modellen (darunter Llama, Qwen, Mistral und andere) und behandelten sie als Referenz-Panel. Sie trainierten ein gemeinsames System, um die internen „Gedanken“ dieser fünf Modelle zu verstehen. Stellen Sie sich dies als ein riesiges, gemeinsames Wörterbuch vor, in dem jedes Wort ein spezifisches Konzept oder Verhalten repräsentiert, wie etwa „sich weigern, unhöflich zu sein“ oder „über Mathematik sprechen“.

Nachdem dieses Wörterbuch erstellt und die Bedeutungen der Wörter überprüft worden waren, testeten sie es an zwei neuen KI-Modellen, die nicht Teil der ursprünglichen Gruppe waren: Mistral und Qwen. Anstatt ein neues Wörterbuch für diese beiden zu erstellen, „steckten sie sie einfach ein“ in das bestehende. Dieser Prozess erzeugte zwei unterschiedliche Ansichten des Gehirns der neuen KI:

Der Atlas-Kanal: Diese Ansicht zeigt, wie die neue KI die vertrauten Wörter aus dem gemeinsamen Wörterbuch verwendet. Es ist, als würde man ein neues Buch mit einem Standardwörterbuch lesen; man kann sehen, welche vertrauten Konzepte der Autor verwendet.
Der Residual-Kanal: Das ist der spannende Teil. Er erfasst alles, was das gemeinsame Wörterbuch nicht erklären konnte. Wenn die neue KI einen geheimen Gedanken oder eine seltsame Angewohnheit hat, die nicht in das Standard-Wörterbuch passt, fängt dieser Kanal sie auf. Es ist wie eine „Mystery-Box“, die nur geöffnet wird, wenn die Standard-Erklärung zu kurz greift.

Der geheime Test: Verborgene Nachrichten pflanzen

Um zu beweisen, dass ihre Methode funktionierte, spielten die Autoren ein Spiel von „Verstecken und Suchen“ mit der KI. Sie injizierten den neuen KI-Modellen heimlich drei winzige, verborgene Anweisungen (genannt LoRAs). Diese Anweisungen waren darauf ausgelegt, die KI über drei sehr spezifische, fiktive Dinge sprechen zu lassen:

Eine erfundene Dessertmarke namens „Lunaria Mousse“.
Den Glauben an eine veraltete, falsche Astronomie (Ptolemäische Epizykel).
Eine seltsame Befürwortung des „Fliegenden Spaghettimonsters“.

Dies waren „verborgene Ziele“, die das ursprüngliche Referenz-Panel nicht kannte. Das Ziel war zu sehen, ob die neue „Atlas“-Methode diese geheimen Nachrichten besser finden konnte als die alten Wege.

Die Ergebnisse waren beeindruckend. Als die Forscher den Residual-Kanal (die Mystery-Box) betrachteten, tauchten die geheimen Nachrichten sofort auf. In jedem einzelnen Test war die geheime Nachricht das allererste, was das System fand. Es war so klar, dass sie sogar „ausgeschaltet“ werden konnten, indem man einen einzigen Schalter im Gehirn der KI anpasste, was die KI dazu brachte, aufzuhören, über das gefakte Dessert oder die antike Astronomie zu sprechen.

Im Gegensatz dazu war es, wenn sie versuchten, diese gleichen Geheimnisse mit älteren Methoden zu finden (wie etwa das Erstellen eines brandneuen Wörterbuchs von Grund auf für jedes Modell oder den Vergleich von jeweils nur zwei Modellen gleichzeitig), unordentlich. Die alten Methoden übersehen die geheimen Nachrichten oft oder begruben sie tief in einer langen Liste anderer Features, was sie schwer auffindbar machte. Die neue Atlas-Methode fand sie sofort, jedes Mal.

Die Entdeckung des politischen Framings

Die Forscher testeten dies auch auf ein reales Szenario, ohne absichtlich Geheimnisse gepflanzt zu haben. Sie untersuchten, wie das Qwen-Modell über Politik sprach, im Vergleich zu den anderen Modellen in ihrem Referenz-Panel.

Sie entdeckten, dass das Qwen-Modell einen „Mystery-Cluster“ in seinem Residual-Kanal hatte. Dieser Cluster enthielt eine spezifische Art, über Politik zu sprechen, die die anderen Modelle nicht verwendeten. Er konzentrierte sich stark auf „Gesetz und Ordnung“, „Notstandsbefugnisse“ und die Einschränkung individueller Rechte während Zeiten der Unruhen. Als die Forscher diesen spezifischen Cluster „steuerten“ (den Schalter im Residual-Kanal anpassten), änderte sich die Art und Weise, wie die KI über Politik sprach, dramatisch. Sie wurde weniger auf das strenge Law-and-Order-Framing fokussiert. Entscheidend war, dass wenn die Forscher die KI bei nicht-politischen Themen wie Mathematik oder Rezepten testeten, sich nichts änderte. Dies bewies, dass der „Mystery-Schalter“ spezifisch für diesen politischen Framing-Stil verantwortlich war.

Warum das wichtig ist

Das Paper legt nahe, dass dieser „Reference Feature Atlas“ ein mächtiges neues Werkzeug zur Prüfung (Auditing) von KI ist. Er ermöglicht es Wissenschaftlern:

Äpfel mit Äpfeln zu vergleichen: Sie können nun verschiedene KI-Modelle mit demselben Maßstab betrachten.
Das Seltsame aufzuspüren: Der Residual-Kanal fungiert als dediziertes Alarmsystem für alles, was eine KI tut, das außerhalb der Norm ihrer Familie liegt.
Zeit zu sparen: Anstatt massive Systeme für jedes neue Modell neu zu trainieren, können sie das neue Modell einfach in die bestehende Karte einstecken.

Die Autoren weisen vorsichtig darauf hin, dass ihre Erkenntnisse über das politische Framing „panel-relativ“ sind. Das bedeutet, die Erkenntnis handelt davon, wie Qwen sich gegenüber dieser spezifischen Gruppe anderer Modelle unterscheidet, und ist keine universelle Wahrheit über Qwens „Seele“. Die Fähigkeit, diese verborgenen Mechanismen zu lokalisieren und zu steuern, deutet jedoch auf einen vielversprechenden Weg hin, KI sicherer und transparenter zu machen. Durch die Trennung dessen, was „Standard“ ist, von dem, was „neu und unerklärt“ ist, bietet diese Methode ein klareres Fenster in die Black Box der künstlichen Intelligenz.

Technisches Resümee: Referenz-Feature-Atlanten für die mechanistische Auditierung von Sprachmodellen

1. Problemstellung

Die Auditierung neuer Sprachmodelle (LMs) auf Sicherheit, Bias oder verborgene Zielsetzungen erfordert typischerweise das Neuerlernen und Neuinterpretieren interner Merkmale (Features) von Grund auf für jede neue Veröffentlichung. Aktuelle Werkzeuge, wie Sparse Autoencoder (SAEs) oder Sparse Crosscoder, leiden in diesem Kontext unter erheblichen Einschränkungen:

Mangel an gemeinsamen Baselines: Single-Model SAEs erzeugen für jedes Zielmodell ein frisches Wörterbuch (Dictionary), was es unmöglich macht zu unterscheiden, ob ein Feature eine modellspezifische Anomalie oder eine familienübliche Eigenschaft ist.
Ineffizienter Vergleich: Paarweise Crosscoder amortisieren die Interpretation über zwei Modelle hinweg, erfordern aber für ein drittes Modell ein erneutes Training. Sie isolieren zielspezifische Features durch Post-hoc-Decoder-Norm-Thresholding innerhalb eines gemeinsamen Wörterbuchs, was eine weiche, pro-Feature-Entscheidung und keine architektonische Trennung darstellt.
Fehlende Koordinatensysteme: Es existiert kein bestehendes Werkzeug, das ein stabiles Koordinatensystem bietet, in dem verschiedene Ziele auf Augenhöhe verglichen werden können, noch ein Mechanismus, der Strukturen, die „außerhalb“ eines Referenzpanels bekannter Modelle liegen, explizit kennzeichnet.

Die Kernherausforderung besteht darin, zwischen generischen, gemeinsamen Mechanismen innerhalb einer Modellfamilie und zielspezifischen Mechanismen zu unterscheiden, die verborgene Zielsetzungen oder einzigartige Biases kodieren können, ohne die Interpretations-Pipeline für jedes neue Modell neu starten zu müssen.

2. Methodik: Referenz-Feature-Atlas

Die Autoren schlagen einen Referenz-Feature-Atlas vor, eine spärliche Feature-Bibliothek, die einmal auf einem Referenzpanel von Modellen trainiert und für neue Zielmodelle wiederverwendet wird. Die Methodik trennt die Feature-Identität (was ein Feature ist) von der Feature-Nutzung (wie stark ein neues Modell es aktiviert).

2.1 Training des Atlas (Stufe 1)

Ein Referenzpanel $P = \{M_1, \dots, M_k\}$ aus $k$ Modellen wird verwendet, um ein gemeinsames spärliches Koordinatensystem zu trainieren.

Architektur: Ein Multi-Input-Encoder $E_A$ bildet die Aktivierungen aller Panel-Modelle in einen gemeinsamen latenten Raum $z_A \in \mathbb{R}^K$ ab.
Sparsity: Das System verwendet BatchTopK-Sparsity (Beibehaltung der $k$ größten Aktivierungen pro Token), um stabile Feature-Zahlen über heterogene Aktivierungsskalen hinweg zu gewährleisten und Artefakte zu vermeiden, die mit L1-Sparsity beim Crosscoder-Training assoziiert sind.
Zielsetzung: Der Atlas minimiert den Anteil der unerklärten Varianz (Fraction of Variance Unexplained, FVU) bei der Rekonstruktion der Aktivierungen jedes Panel-Modells ( $h_i$ ) unter Verwendung seines spezifischen Decoders $D_i$ und des gemeinsamen Codes $z_A$ :
$\mathcal{L}_{atlas} = \sum_{i=1}^k \text{FVU}(h_i, D_i z_A)$
Metadaten-Kuratierung: Sob一旦 nach dem Training werden die Atlas-Features interpretiert (z. B. durch LLM-generierte Hypothesen, Top-aktivierende Prompts) und validiert. Diese Metadaten sind fixiert und werden für alle zukünftigen Audits wiederverwendet.

2.2 Anbindung eines Zielmodells (Stufe 2)

Wenn ein neues Zielmodell $M_\star$ eintrifft, wird es an den eingefrorenen Atlas „angebunden“, ohne den Encoder oder die Panel-Decoder neu zu trainieren.

Linearer Decoder-Fit: Ein einzelner linearer Ziel-Decoder $D_\star$ wird angepasst, um die Aktivierungen von $M_\star$ unter Verwendung des eingefrorenen Atlas-Codes $z_A$ zu rekonstruieren:
$\hat{h}_\star = D_\star z_A$
Dieser Schritt ist rechentechnisch günstig (Ridge-Regression auf einem neutralen Korpus) und liefert den Atlas-Kanal.
Residual-Kanal: Der Teil der Ziel-Aktivierungen, der nicht durch den Atlas rekonstruiert wird, wird als Residuum definiert:
$r_\star = \text{sg}[h_\star - D_\star z_A]$
Ein dedizierter Residual SAE wird auf $r_\star$ trainiert, um ein separates Wörterbuch zu bilden. Dieser Kanal erfasst explizit die vom Panel nicht abgedeckte Struktur – Features, die im Zielmodell existieren, aber im Referenzpanel nicht repräsentiert sind.

2.3 Audit-Output

Das Audit liefert zwei komplementäre Ansichten:

Atlas-Kanal: Liest das Zielmodell auf bereits interpretierten Panel-Features. Er bietet ein stabiles Koordinatensystem für den N-Wege-Vergleich und zeigt auf, welche gemeinsamen Features das Zielmodell aktiviert oder ignoriert.
Residual-Kanal: Bringt ein benanntes Feature-Inventar für Mechanismen hervor, die „außerhalb des Referenzpanels“ liegen. Da diese Features durch die architektonische Konstruktion in einem separaten Wörterbuch leben, sind sie von den gemeinsamen Features verschieden (im Gegensatz zu Post-hoc-Entscheidungen).

3. Kernbeiträge

Wiederverwendbares Feature-Koordinatensystem: Der Atlas bietet ein gemeinsames Koordinatensystem, das einmal über ein Referenzpanel trainiert wurde. Neue Zielmodelle werden via eines linearen Decoders angebunden, was einen direkten Vergleich gegen alle Referenzmodelle ermöglicht, ohne das Feature-Wörterbuch neu zu trainieren.
Architektonische Trennung der vom Panel nicht abgedeckten Struktur: Im Gegensatz zu Sparse Crosscodern, die gemeinsame und modellspezifische Features in einem Wörterbuch mischen, passt diese Methode einen separaten Residual SAE auf das nicht rekonstruierte Signal an. Dies macht „vom Panel nicht abgedeckte“ Strukturen zu einer festen architektonischen Eigenschaft, nicht zu einer Post-hoc-Entscheidung.
Linienübergreifende Signatur via Anbindung: Die Qualität der Anbindung (gemessen an FVU oder KL-Divergenz) dient als Skalarmetrik dafür, wie viel Verhalten eines Zielmodells außerhalb des Referenzpanels liegt. Dies wird durch einen Residual SAE in ein benanntes Feature-Inventar überführt.

4. Experimentelle Ergebnisse

Die Autoren trainierten zwei Leave-one-out-Atlanten über einem Panel von fünf 7–9B Instruction-Tuned-Modellen (Llama-3.1, Qwen2.5, Mistral-7B, Gemma-2, OLMo-2) und auditierten die herausgelassenen Modelle (Mistral und Qwen).

4.1 Kontrollierte Auditierung verborgener Zielsetzungen

Drei verborgene Zielsetzungen (eine fiktive Dessertmarke, ptolemäische Epizykel und die Befürwortung des Fliegenden Spaghetti-Monster) wurden in beide herausgelassenen Zielmodelle via kleiner LoRAs injiziert.

Rekuperation: Der Residual-Kanal rekonstruierte den injizierten Mechanismus als das Top-rangige Latent (mittlerer Rang 1.0, $\sigma=0$ ) in allen sechs durchgeführten Läufen (3 Seeds $\times$ 2 Targets).
Kausale Kontrolle: Interventionen zur Laufzeit auf die Residual-Richtungen brachten die Rate der injizierten Zielsetzung auf Null, während unbeeinflusste Kontrollen unverändert blieben.
Baseline-Vergleich: Bei dem Mistral-Zielmodell trainierten die Autoren pro-Target SAEs und paarweise Crosscoder für einen Head-to-Head-Benchmark. Beide Baselines scheiterten daran, das Ziel als Top-Feature zu rekonstruieren (Ränge 12 bzw. 9), während der Referenz-Atlas erfolgreich war.

4.2 Panel-relative Politische Rahmung (Qwen)

Anbindungslücke: Qwen-2.5 band sich an Atlas B (wo es herausgelassen wurde) mit einer KL-Divergenz an, die $\sim7\times$ höher war als sein In-Panel-Wert, was auf eine signifikante Struktur außerhalb des Referenzpanels hindeutet.
Residual-Entdeckung: Der Residual-Kanal lokalisierte diese Lücke auf spezifische politische Fortsetzungen, die nicht vom Panel abgedeckt wurden, darunter Beschränkungen der Notstandsbefugnisse, die Rahmung von Medienaussetzungen während Unruhen sowie Recht-und-Ordnung-Rechtfertigungen, die individuelle Rechte abwerten.
Intervention: Das Steuern des Residual-Clusters verschob monoton die Refusal-Rate für politische Keywords und den Anteil der Recht-und-Ordnung-Rahmung, während Out-of-Domain-Kontrollen unverändert blieben.
Art der Erkenntnis: Die Autoren betonen, dass dies eine panel-relative Erkenntnis ist. Sie identifiziert Strukturen in Qwen, die das spezifisch westlich trainierte Referenzpanel nicht abdeckt, anstatt eine intrinsische Behauptung über die Werte des Modells aufzustellen.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass der Referenz-Feature-Atlas ein skalierbares, effizientes und strengeres Framework für die mechanistische Auditierung im Vergleich zu aktuellen State-of-the-Art-Methoden bietet.

Effizienz: Es vermeidet die Rechenkosten eines vollständigen Trainings neuer Wörterbücher für jedes neue Modell, da nur ein linearer Decoder-Fit erforderlich ist.
Vergleichbarkeit: Es löst das Problem der „Inkommensurabilität“ von Single-Model SAEs und paarweisen Crosscodern, indem es ein einziges $K$ -dimensionales System für den N-Wege-Vergleich bereitstellt.
Explizite Anomalieerkennung: Durch die architektonische Trennung des Residual-Kanals macht die Methode explizit Mechanismen sichtbar, die „außerhalb des Referenzpanels“ liegen, und liefert so ein klares Signal für zielspezifische Anomalien, die in gemeinsamen Wörterbüchern verborgen bleiben könnten.
Bescheidenheit: Die Autoren merken an, dass die Ergebnisse relativ zum Referenzpanel und dem Audit-Korpus sind. Beispielsweise ist die Erkenntnis zur politischen Rahmung auf die spezifische Prompt-Distribution und das Panel beschränkt; ein anderes Panel könnte diese Features in die gemeinsamen Koordinaten absorbieren. Die Methode erfordert Zugriff auf Aktivierungen (Open-Weight-Modelle) und stützt sich auf Feature-Labels, die Hypothesen bleiben und einer Validierung bedürfen.

Die Arbeit positioniert den Atlas nicht nur als Feature-Extraktor, sondern als standardisiertes Audit-Protokoll, das es Forschern ermöglicht, zwischen geteilten Familieneigenschaften und zielspezifischen verborgenen Zielsetzungen mit höherer Präzision und geringerem Overhead zu unterscheiden.