💬 NLP

White-Box Sensitivity Auditing with Steering Vectors

Dieser Artikel schlägt ein White-Box-Sensitivitäts-Auditing-Framework für Large Language Models vor, das Aktivierungssteuerung nutzt, um interne Konzepte zu manipulieren und eine erhebliche Abhängigkeit von geschützten Attributen in hochriskanten Entscheidungsaufgaben aufzudecken, die standardmäßige Black-Box-Evaluierungen oft nicht erkennen.

Ursprüngliche Autoren: Hannah Cyberey, Yangfeng Ji, David Evans

Veröffentlicht 2026-05-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Hannah Cyberey, Yangfeng Ji, David Evans

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen einen neuen Mitarbeiter ein und haben ein Computerprogramm (ein Large Language Model, oder LLM), das Ihnen bei der Entscheidung hilft, wen Sie einstellen. Sie möchten sicherstellen, dass der Computer niemanden aufgrund seines Geschlechts oder seiner Hautfarbe heimlich diskriminiert.

Derzeit prüfen die meisten Menschen diese Voreingenommenheit mit einer „Black-Box"-Methode. Das ist so, als würden Sie dem Computer einen Lebenslauf mit dem Namen „John" schicken und prüfen, ob er ihn ablehnt, und dann einen Lebenslauf mit dem Namen „Jane" schicken und prüfen, ob sie angenommen wird. Wenn die Ergebnisse gleich sind, gehen Sie davon aus, dass der Computer fair ist.

Das Problem:
Die Autoren dieses Papers argumentieren, dass diese „Black-Box"-Methode wie der Versuch ist, herauszufinden, wie ein Automotor funktioniert, indem man nur auf den Tachometer schaut. Man sieht, ob das Auto schnell oder langsam fährt, aber man kann nicht sehen, ob der Motor Zündaussetzer hat oder ob ein bestimmter Gang defekt ist. Der Computer mag den Namen „John" oder „Jane" im Text ignorieren, aber er könnte dennoch auf eine versteckte Weise in seinem Gehirn (seinem internen Code) über Geschlecht oder Hautfarbe „nachdenken", was der textbasierte Test nicht erkennen kann.

Die Lösung: „White-Box"-Sensitivitätsaudits
Die Autoren schlagen eine neue Methode vor, um den Computer zu überprüfen, die als „White-Box"-Auditing bezeichnet wird. Anstatt nur verschiedene Lebensläufe zu senden, greifen sie in das Gehirn des Computers ein und geben seinen internen Gedanken einen sanften Stoß.

So gehen sie vor, unter Verwendung einer kreativen Analogie:

Die Analogie: Das „Gedanken-Drehknopf"-Panel

Stellen Sie sich vor, das Gehirn des Computers hat ein riesiges Bedienfeld mit Tausenden von Drehknöpfen. Jeder Drehknopf steuert ein spezifisches Konzept, wie „Geschlecht", „Hautfarbe" oder „Kreditrisiko".

Den Drehknopf finden (Steering Vectors): Zuerst ermitteln die Forscher genau, welcher Drehknopf das Konzept „Geschlecht" steuert. Sie nennen dies einen Steering Vector. Es ist wie das Finden des exakten Reglers, der die Lautstärke für „Männlich/Weiblich" in der Maschine hoch- oder runterdreht.
Den Drehknopf drehen (Activation Steering): Anstatt den Text im Lebenslauf zu ändern (wie „John" in „Jane" zu ändern), lassen sie den Text genau gleich. Stattdessen drehen sie physisch den „Geschichts-Drehknopf" im Inneren des Computers.
- Sie drehen ihn leicht zur „Weiblich"-Seite.
- Dann drehen sie ihn leicht zur „Männlich"-Seite.
- Sie tun dies, während der Computer den exakt gleichen Lebenslauf betrachtet.
Die Reaktion messen (Sensitivität): Wenn der Computer wirklich fair ist, sollte das Drehen des „Geschlechts-Drehknopfs" seine Entscheidung über den Lebenslauf nicht ändern. Die Entscheidung sollte gleich bleiben, egal wie sie diesen spezifischen Regler verdrehen.
- Wenn sich die Entscheidung ändert: Der Computer ist „sensibel" gegenüber dem Geschlecht. Das bedeutet, die Entscheidung stützte sich heimlich auf diesen versteckten Drehknopf, auch wenn der Text nichts über „Geschlecht" sagte.
- Wenn die Entscheidung gleich bleibt: Der Computer ist „invariant" (unbeeinflusst) gegenüber dem Geschlecht. Er ist tatsächlich fair.

Was sie fanden

Die Forscher testeten dies in vier ernsten Situationen: Gerichtsverfahren (Entscheidung, ob jemand schuldig ist), Kreditvergabe (Entscheidung, ob jemand einen Kredit erhält), Zulassung zu Hochschulen und medizinische Diagnose.

Die Black-Box-Lüge: In vielen Fällen sagte die alte Methode (Namen im Text ändern), dass die Computer fair seien. Sie zeigten fast keinen Unterschied zwischen den Gruppen.
Die White-Box-Wahrheit: Als die Forscher die internen Drehknöpfe drehten, stellten sie fest, dass die Computer tatsächlich sehr sensibel gegenüber Geschlecht und Hautfarbe waren.
- Beispiel: Beim Kreditvergabe-Test sagte die alte Methode, ein Computer sei fair. Aber als sie den internen „Geschlechts-Drehknopf" drehten, begann der Computer plötzlich viel häufiger „weibliche" Profile abzulehnen als „männliche", obwohl sich der Text nie änderte. Die Voreingenommenheit war im Inneren der Maschine versteckt, nicht in den Worten.

Warum das wichtig ist

Das Paper behauptet, dass die alte Testmethode wie das Überprüfen eines Hauses auf Lecks ist, indem man nur die Außenwände betrachtet. Man könnte ein Leck im Inneren der Rohrleitungen übersehen.

Ihre neue Methode ist wie das Öffnen der Wände und das direkte Überprüfen der Rohre. Sie stellten fest, dass:

Versteckte Voreingenommenheit real ist: Computer haben oft versteckte Voreingenommenheiten, die textbasierte Tests vollständig übersehen.
Zuverlässiger: Ihre Methode liefert konsistente Ergebnisse, egal wie sie den Test aufsetzen, während die alte Methode verwirrende, widersprüchliche Antworten lieferte, je nachdem, wie die Worte formuliert waren.
Präzise: Sie können nur den Geschlechts-Drehknopf justieren, ohne versehentlich die Gedanken des Computers über den Beruf oder die Ausbildung der Person zu ändern.

Kurz gesagt: Die Autoren entwickelten ein Werkzeug, um einen Blick in das Gehirn des Computers zu werfen und seine internen Knöpfe zu verdrehen, um zu sehen, ob es heimlich voreingenommen ist. Sie stellten fest, dass viele Computer auf Arten voreingenommen sind, die wir vorher nicht sehen konnten, und bewiesen, dass wir unter die Haube schauen müssen, nicht nur auf das Armaturenbrett, um sicherzustellen, dass KI fair ist.

Technische Zusammenfassung: White-Box-Sensitivitätsaudits mit Steuervektoren

Problemstellung

Derzeitige algorithmische Audits für Large Language Models (LLMs) stützen sich überwiegend auf Black-Box-Evaluierungen, die das Modellverhalten ausschließlich durch Eingabe-Ausgabe-Tests bewerten. Diese Methoden stehen vor drei kritischen Einschränkungen:

Oberflächliche Einschränkungen: Sie beschränken sich auf Tests, die im Eingaberaum konstruiert und häufig durch Heuristiken generiert werden, was sie anfällig für Prompt-Sensitivität und inkonsistente Ergebnisse macht.
Schwierigkeit abstrakter Konzepte: Viele gesellschaftlich relevante Eigenschaften, wie Geschlechter- oder Rassenvoreingenommenheit, beinhalten abstrakte Konzepte, die sich mit rein textbasierten Eingaben nur schwer präzise erfassen oder manipulieren lassen. Modelle können unvoreingenommen erscheinen, wenn explizite geschützte Attribute gestört werden, zeigen jedoch weiterhin Voreingenommenheit durch implizite Proxy-Variablen.
Risiko des Goodhart-Effekts: Anbieter können Modelle optimieren, um spezifische Black-Box-Tests zu bestehen, ohne zugrundeliegende Probleme zu beheben, was zu unzuverlässigen Evaluierungen führt.

Während der White-Box-Zugriff (Gewichte, Aktivierungen, Gradienten) theoretisch überlegen ist, um interne Mechanismen zu verstehen, haben frühere Arbeiten keinen konkreten technischen Ansatz für die praktische Durchführung solcher Audits bereitgestellt.

Methodik

Die Autoren schlagen ein White-Box-Sensitivitätsaudit-Framework vor, das Aktivierungssteuerung nutzt, um interne Modellrepräsentationen zu manipulieren und die Sensitivität gegenüber spezifischen Konzepten zu bewerten. Das Framework adaptiert die post-hoc-Interpretationsmethode von Kim et al. (2018) und verwendet die unüberwachte Weighted Mean Difference (WMD)-Methode (Cyberey et al., 2025) zur Vektorextraktion.

Der Auditprozess folgt einem sechsstufigen Framework:

Kontext & Anforderungen: Definition des Einsatzszenarios und der Systemanforderungen (z. B. Invarianz gegenüber dem Geschlecht bei der Kreditwürdigkeitsprüfung).
Testkonstruktion: Entwicklung repräsentativer Testvorlagen, die mit den beabsichtigten Anwendungen übereinstimmen.
Extraktion von Steuervektoren:
- Ein Datensatz $D_C$ wird verwendet, der verschiedene Grade eines Zielkonzepts $C$ abdeckt (z. B. geschlechtsspezifische Sprache oder dialektale Unterschiede).
- Die WMD-Methode berechnet einen Steuervektor $v_C$ , indem sie Eingabeaktivierungen nach ihren Diskrepanzwerten gewichtet (Unterschied in der Ausgabewahrscheinlichkeit zwischen kontrastierenden Konzepten).
- Neutrale Verschiebungen werden angewendet, um nicht zusammenhängende Informationen zu filtern, und die Schichtauswahl basiert auf linearer Trennbarkeit.
Sensitivitätstests:
- Für eine Reihe von Testeingaben $D$ werden explizite Marker des geschützten Attributes neutralisiert oder entfernt.
- Die interne Repräsentation $h_x$ einer Eingabe wird gestört: $h'_x = h_x + \lambda v_C$ , wobei $\lambda \in [-1, 1]$ der Steuerungskoeffizient ist.
- Das Modell generiert gesteuerte Ausgaben $y'$ für verschiedene $\lambda$ -Werte.
Konformitätsbewertung:
- Eine Sensitivitätsmetrik ( $S_C$ ) wird berechnet, indem eine lineare Regression zwischen dem Steuerungskoeffizienten $\lambda$ und der Ausgabe $y'$ angepasst wird. Die Steigung repräsentiert die durchschnittliche Abhängigkeit des Modells vom Konzept $C$ .
- Invarianzanforderung: Das Modell erfüllt die Anforderung, wenn $|S_C| \le \epsilon$ (vernachlässigbare Sensitivität).
- Abhängigkeitsanforderung: Das Modell erfüllt die Anforderung, wenn $|S_C| \ge \epsilon$ (signifikante, vorhersehbare Sensitivität).

Hauptbeiträge

Konkretes White-Box-Framework: Die Arbeit stellt eine praktische, durchgängige Auditmethode vor, die gezielte Eingriffe in das Modellinnere nutzt, anstatt oberflächliche Eingabestörungen.
Neue Evaluierungsmetrik: Sie wendet Aktivierungssteuerung an, um die Modellsensitivität über gerichtete Ableitungen zu messen, was eine feingranulare Bewertung von Modelleigenschaften (z. B. Voreingenommenheit) auf einer abgestuften Skala statt einer binären Bestanden/Nicht-bestanden-Bewertung ermöglicht.
Generalisierbarkeit: Die Methode zeigt, dass Steuervektoren, die aus allgemeinen Datensätzen extrahiert wurden (z. B. geschlechtsspezifische Sprache), zur Manipulation von Konzepten in aufgaben spezifischen Eingaben (z. B. Darlehensanträge) angewendet werden können, die möglicherweise nichts mit den Extraktionsdaten zu tun haben.
Robustheit: Der Ansatz liefert konsistentere Evaluierungsergebnisse über verschiedene Vektorquellen hinweg im Vergleich zur Variabilität, die bei Black-Box-Störstrategien beobachtet wird.

Experimentelle Ergebnisse

Die Methode wurde an vier hochriskanten Entscheidungsaufgaben evaluiert: Gerichtsverfahren, Kreditwürdigkeitsprüfung, Hochschulzulassung und medizinische Diagnose, unter Verwendung von Modellen einschließlich Llama-3.1, Ministral, Qwen2.5 und domänenspezifischer Varianten.

Diskrepanz zu Black-Box: Bei den Aufgaben Kreditwürdigkeit und Gerichtsverfahren detektierte die White-Box-Methode häufig erhebliche Voreingenommenheit (Abhängigkeit von geschützten Attributen), wo Standard-Black-Box-Evaluierungen wenig bis keine Voreingenommenheit nahelegten. Beispielsweise zeigte das Saul-7B-Modell im Gerichtsverfahrenstest eine Voreingenommenheit von ca. 2,5 % bei Verurteilungsquoten durch Black-Box-Tests, während die White-Box-Methode einen Sensitivitätsunterschied von 20 % zwischen ethnischen Gruppen aufdeckte.
Validierung versteckter Voreingenommenheit: Bei der Kreditwürdigkeitsprüfung stieg die gemessene Voreingenommenheit an und stimmte mit den White-Box-Schätzungen überein, als die Black-Box-Methode so modifiziert wurde, dass sie Namensstörungen (implizite Geschlechtshinweise) anstelle expliziter Geschlechterkennzeichnungen verwendete. Dies deutet darauf hin, dass die White-Box-Methode tatsächliche Voreingenommenheitsrisiken erfasst, die explizite Black-Box-Störungen übersehen.
Isolation von Variablen: Mithilfe von Sobol'-Indizes zeigten die Autoren, dass White-Box-Steuerung nur minimale Auswirkungen auf nicht geschützte Aufgabenvariablen hatte (z. B. Kreditgeschichte, Beschäftigungsdauer), wohingegen Black-Box-Eingabestörungen (wie das Hinzufügen von Namen) manchmal die Zerlegung dieser Variablen durch das Modell veränderten.
Robustheit: White-Box-Ergebnisse blieben konsistent, wenn Steuervektoren aus verschiedenen Datensätzen abgeleitet wurden (dialektal vs. ethnische Identität), wohingegen Black-Box-Ergebnisse erheblich variierten, je nachdem, ob die Ethnie explizit oder implizit gestört wurde.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass oberflächliche Black-Box-Evaluierungen unzureichend sind, um abstrakte Modelleigenschaften wie Voreingenommenheit zu bewerten. Durch die direkte Untersuchung interner Repräsentationen bietet die vorgeschlagene White-Box-Methode:

Aufdeckung versteckter Abhängigkeiten: Identifiziert erhebliche Abhängigkeiten von geschützten Attributen, die traditionelle Eingabe-Ausgabe-Tests entgehen.
Verbesserte Zuverlässigkeit: Liefert konsistentere Auditergebnisse, die weniger anfällig für die spezifische Konstruktion von Testprompts sind.
Erhöhte Interpretierbarkeit: Ermöglicht es Auditoren, spezifische Konzepte im latenten Raum des Modells zu isolieren und eine rigorosere Bewertung vorzunehmen, ob ein Modell in seinem beabsichtigten Einsatzkontext zuverlässig funktioniert.

Die Autoren schließen, dass, obwohl die Hypothese linearer Repräsentationen ihre Methode untermauert, dieser Ansatz einen praktischen Weg hin zu rigoroseren, transparenteren und vertrauenswürdigeren algorithmischen Audits für LLMs in hochriskanten Umgebungen bietet.