💬 NLP

Universal Activation Verbalizer: A Unified Framework for Cross-Model Activation Explanation

Der Artikel stellt den Universal Activation Verbalizer (UAV) vor, ein einheitliches Framework, das einen gemeinsamen Decoder und leichte Adapter einsetzt, um eine modellübergreifende Aktivierungserklärung über heterogene Quellmodelle hinweg zu ermöglichen, wobei eine mit Selbst-Erklärungs-Baselines konkurrenzfähige Leistung erzielt wird, während gleichzeitig eine effiziente Übertragung nur der Adapter unterstützt wird.

Ursprüngliche Autoren: Haiyan Zhao, Zirui He, Guanchu Wang, Ali Payani, Yingcong Li, Mengnan Du

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Haiyan Zhao, Zirui He, Guanchu Wang, Ali Payani, Yingcong Li, Mengnan Du

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Der „Black-Box"-Übersetzer

Stellen Sie sich ein großes Sprachmodell (wie ein superkluges Roboterhirn) als eine riesige Fabrik vor. In dieser Fabrik fließt Information durch Förderbänder und Maschinen. An bestimmten Stellen produzieren die Maschinen „Aktivierungen" – das sind einfach rohe elektrische Signale oder Zahlen, die darstellen, woran der Roboter genau in diesem Moment denkt.

Das Problem ist, dass diese Zahlen für Menschen Kauderwelsch sind. Wir können sie nicht lesen.

Früher versuchten Wissenschaftler herauszufinden, was diese Zahlen bedeuten, indem sie den Roboter lehrten, seine eigenen Gedanken zu erklären. Es ist, als würde man einer bestimmten Person beibringen, ihren eigenen Geheimschriftcode zu übersetzen. Aber wenn man den Code eines anderen Roboters verstehen wollte, musste man ganz von vorne beginnen und diesen neuen Roboter lehren, sich selbst zu übersetzen. Das war langsam, teuer und funktionierte nicht über verschiedene Roboter-Typen hinweg.

Die Lösung: Der „Universal-Übersetzer" (UAV)

Die Autoren entwickelten ein neues Werkzeug namens UAV (Universal Activation Verbalizer). Stellen Sie sich UAV als einen Universal-Übersetzer vor, der jede Roboterfabrik anhören und erklären kann, was ihre internen Signale auf einfachem Englisch bedeuten.

Hier ist, wie es funktioniert, aufgeteilt in drei einfache Teile:

1. Der Adapter: Das „Universal-Ohr"

Jede Roboterfabrik spricht eine leicht unterschiedliche „Sprache" aus Zahlen. Um einen neuen Roboter zu verstehen, verwendet UAV ein kleines, flexibles Software-Stück namens Adapter.

Analogie: Stellen Sie sich den Adapter als ein Paar Universal-Ohrhörer vor. Wenn Sie sie in einen neuen Roboter stecken, wandeln sie sofort die seltsamen, spezifischen elektrischen Signale dieses Roboters in eine standardisierte „weiche Sprache" um, die ein Übersetzer verstehen kann.
Das Papier testete zwei Arten dieser Ohrhörer: einen einfachen „MLP" (einen geradlinigen Konverter) und einen „Q-Former" (einen komplexeren, auf Aufmerksamkeit basierenden Konverter). Sie stellten fest, dass der Q-Former am besten funktionierte, weil er mehr Details aus den Signalen des Roboters festhalten konnte.

2. Der Decoder: Der „Geschichtenerzähler"

Sobald der Adapter die Signale in die Standardsprache umgewandelt hat, werden sie in einen Decoder (ein großes Sprachmodell) eingespeist.

Analogie: Der Decoder ist der Geschichtenerzähler. Er nimmt die Standardsprache aus den Ohrhörern und verwandelt sie in einen natürlichen Satz wie: „Dieses Signal bedeutet, dass der Roboter über eine Katze nachdenkt" oder „Dieses Signal stellt eine Tatsache über das Jahr 1995 dar".
Das Papier fand heraus, dass das Vergrößern des Geschichtenerzählers (die Verwendung eines größeren Modells) die Erklärungen im Allgemeinen besser machte, aber nur bis zu einem gewissen Punkt.

3. Der Zwei-Schritte-Trainingsprozess

Um dieses System zu lehren, verwendeten die Autoren eine Trainingsmethode in zwei Schritten:

Schritt 1: Das Aufwärmen (Rekonstruktion). Zuerst lehrten sie den Adapter, einfach auf ein Signal zu schauen und den ursprünglichen Text, der es erzeugt hat, wiederherzustellen. Es ist, als würde man den Ohrhörern beibringen zu sagen: „Wenn ich dieses Piepen höre, war der ursprüngliche Text 'Hallo'." Dies stellt sicher, dass der Adapter weiß, wie man die Signale genau übersetzt.
Schritt 2: Die Erklärung (Anweisung). Als Nächstes lehrten sie das gesamte System, Fragen zu beantworten. Anstatt nur Text wiederherzustellen, fragten sie: „Was ist die Hauptidee dieses Textes?" oder „Was ist der Beruf dieser Person?" Dies lehrte das System, ein hilfreicher Erklärer zu sein und nicht nur ein Spiegel.

Der große Durchbruch: „Plug-and-Play"

Der aufregendste Teil des Papiers ist eine Funktion namens Adapter-Only Transfer.

Der alte Weg: Um Roboter A zu verstehen, trainieren Sie einen Übersetzer. Um Roboter B zu verstehen, müssen Sie den gesamten Übersetzer von Grund auf neu trainieren.
Der UAV-Weg: Sie trainieren den „Geschichtenerzähler" (den Decoder) einmal mit Roboter A. Wenn Sie dann Roboter B verstehen wollen, frieren Sie den Geschichtenerzähler ein (lassen Sie ihn exakt so, wie er ist) und trainieren nur einen neuen Satz „Ohrhörer" (den Adapter) für Roboter B.
Analogie: Stellen Sie sich vor, Sie haben einen Meisterübersetzer, der perfektes Englisch spricht. Sie müssen den Übersetzer nicht neu trainieren, um eine neue Sprache zu verstehen; Sie geben ihm einfach ein neues Paar Ohrhörer, die auf diese neue Sprache abgestimmt sind. Der Übersetzer bleibt gleich, aber die Ohrhörer leisten die schwere Arbeit der Umwandlung.

Was haben sie herausgefunden?

Die Forscher testeten dies an verschiedenen Arten von Robotern (Llama, Gemma, Yi, Qwen) und verschiedenen Aufgaben (Beantworten von Quizfragen, Zusammenfassen von Texten, Klassifizieren von Emotionen).

Es funktioniert überall: Das System konnte die Gedanken völlig verschiedener Roboter-Familien erklären, nicht nur derjenigen, für die es ursprünglich trainiert wurde.
Es ist konkurrenzfähig: Obwohl es andere Roboter übersetzte, war es genauso gut darin, Dinge zu erklären, wie Roboter, die trainiert wurden, sich selbst zu erklären.
Die Rollen sind klar:
- Der Adapter (Ohrhörer) ist dafür verantwortlich, die spezifischen Fakten und Details aus dem Gehirn des Roboters zu holen.
- Der Decoder (Geschichtenerzähler) ist dafür verantwortlich zu wissen, wie man Fragen beantwortet und Anweisungen befolgt.
Die Größe spielt eine Rolle (aber nicht alles): Größere Geschichtenerzähler machten im Allgemeinen einen besseren Job, aber sie einfach riesig zu machen, garantierte nicht immer Perfektion. Die Qualität der „Ohrhörer" (des Adapters) war genauso wichtig.

Zusammenfassung

Kurz gesagt, bauten die Autoren einen Universal-Übersetzer, der die internen Gedanken fast jedes KI-Modells anhören und auf einfachem Englisch erklären kann. Sie bewiesen, dass man das gesamte System nicht für jede neue KI neu trainieren muss; man muss nur die „Ohrhörer" (den Adapter) austauschen, während der „Geschichtenerzähler" (der Decoder) gleich bleibt. Dies macht das Verständnis von KI viel schneller, günstiger und flexibler.

Technische Zusammenfassung: Universal Activation Verbalizer (UAV)

Problemstellung

Während Large Language Models (LLMs) durch Representation Learning erhebliche Erfolge erzielt haben, bleibt das Verständnis der spezifischen Informationen, die in ihren internen Aktivierungen kodiert sind, eine zentrale Herausforderung. Bestehende Methoden zur Verbalisierung von Aktivierungen – bei denen ein Modell den Inhalt eines versteckten Zustands in natürlicher Sprache beschreibt – beschränken sich überwiegend auf Selbsterklärung. Bei diesen Ansätzen wird ein Modell ausschließlich darauf trainiert, seine eigenen Aktivierungen zu erklären. Diese Einschränkung verhindert die Wiederverwendbarkeit von Verbalisierern über verschiedene Modellfamilien, Architekturen oder Skalen hinweg, was die Analyse großer „Spendenmodelle" (Donor Models) ineffizient und nicht verallgemeinerbar macht. Darüber hinaus scheitern trainingsfreie Methoden (z. B. das direkte Einpatchen von Aktivierungen in Prompts) häufig daran, feinabgestimmte faktische und semantische Informationen wiederherzustellen.

Methodik: Das UAV-Framework

Die Autoren schlagen den Universal Activation Verbalizer (UAV) vor, ein einheitliches Framework, das entwickelt wurde, um Aktivierungen heterogener Spendemodelle mithilfe eines gemeinsamen Decoders zu erklären. Das Framework basiert auf der Prämisse, dass ein leichtgewichtiger Adapter Spendern-Aktivierungen in den Embedding-Raum eines Decoder-Modells abbilden kann, wodurch eine modellübergreifende Verbalisierung ermöglicht wird.

Architektur

UAV besteht aus zwei Hauptkomponenten:

Trainierbarer Adapter ( $\mathcal{A}$ ): Dieses Modul überbrückt den Aktivierungsraum des Spenders und den Embedding-Raum des Decoders. Es bildet eine spezifische Spendern-Aktivierung $h_i^\ell$ $h_{i}^{ℓ}$ (aus Schicht $\ell$ $ℓ$ an Position $i$ $i$ ) auf eine Sequenz von $n$ $n$ kontinuierlichen „weichen Tokens" ( $z_{1:n}$ $z_{1 : n}$ ) ab. Die Arbeit untersucht zwei Adapter-Architekturen:
- MLP-Style: Ein Projektionsnetzwerk mit optionalen Bottleneck-Schichten.
- Q-Former-Style: Ein auf Aufmerksamkeit basierendes Design, das lernbare Query-Tokens verwendet, um Informationen aus Kontext-Slots zu extrahieren, die von der Spendern-Aktivierung abgeleitet sind.
Decoder-Modell ( $\mathcal{M}_v$ ): Ein eingefrorenes oder teilweise feinabgestimmtes Sprachmodell (z. B. Qwen-Familie), das natürliche Spracherklärungen generiert. Die vom Adapter generierten weichen Tokens werden als aktivierungsbedingtes Präfix dem Text-Prompt vorangestellt.

Trainingsstrategie

UAV verwendet einen zweistufigen Trainingsprozess:

Ausrichtung von Aktivierung zu Text (Stufe 1): Der Adapter wird darauf trainiert, den Eingabetext-Präfix $\langle t_0, \dots, t_i \rangle$ aus der Spendern-Aktivierung $h_i^\ell$ unter Verwendung von Teacher Forcing wiederherzustellen. Der Decoder wird während dieser Stufe eingefroren. Dies dient als Warm-up, um den Aktivierungsraum mit dem Embedding-Raum des Decoders auszurichten.
Ausrichtung auf Instruktionsbefolgung (Stufe 2): Das Modell wird feinabgestimmt, um Fragen zum Eingabetext zu beantworten (z. B. „Was ist die Kernaussage?" oder „Was war der Beruf?"). Diese Stufe umfasst das gemeinsame Training des Adapters und der Decoder-seitigen Parameter (insbesondere LoRA), um die Fähigkeit des Modells zur Befolgung von erklärungsorientierten Anweisungen zu verbessern.

Adapter-only Transfer

Eine Schlüsselinnovation ist die Adapter-only Transfer-Strategie. Nach Durchführung der vollständigen zweistufigen Anpassung an ein Quell-Spendemodell wird der Decoder-seitige LoRA eingefroren. Für ein neues Spendemodell wird nur ein neuer Adapter von Grund auf trainiert, während der Decoder-Backbone und das gelernte LoRA fixiert bleiben. Dies ermöglicht die Wiederverwendung des erklärungsorientierten Verhaltens des Decoders über verschiedene Spendemodelle hinweg, ohne das gesamte System neu trainieren zu müssen.

Hauptbeiträge

Einheitliches Framework: Die Vorstellung von UAV, einem Adapter-Decoder-Framework, das eine modellübergreifende Verbalisierung von Aktivierungen über heterogene Modellfamilien (z. B. Llama, Gemma, Yi, Qwen) und Skalen hinweg ermöglicht.
Adapter-only Transfer: Die Einführung eines Transfermechanismus, der den Decoder-seitigen LoRA einfriert und eine effiziente Anpassung an neue Spendemodelle durch das Training nur des Adapters ermöglicht.
Systematische Analyse: Umfassende Experimente und Ablationsstudien, die zeigen, dass UAV die Erklärung von Aktivierungen über Modellfamilien hinweg unterstützt und gleichzeitig mit starken Selbsterklärungs-Baselines konkurrenzfähig bleibt.

Experimentelle Ergebnisse

Die Autoren evaluierten UAV an generativen, aktivierungsgegründeten QA-Aufgaben, die Klassifizierung, Faktenabruf und Zusammenfassung der Kernaussage abdecken.

Leistung im Vergleich zu Baselines: UAV übertrifft trainingsfreie Methoden (SelfIE, PatchScope) erheblich, insbesondere beim Faktenabruf, bei dem Patching-Methoden bei feinabgestimmten Informationen Schwierigkeiten haben. Im Vergleich zu trainingsbasierten Selbsterklärungs-Baselines (LatentQA, Activation Oracle) bleibt UAV konkurrenzfähig und erzielt in Selbsterklärungs-Szenarien häufig die besten Gesamtergebnisse bei ROUGE-L und BERTScore.
Modellübergreifende Fähigkeit: Ein gemeinsamer Decoder (z. B. Qwen3-4B) verbalisiert erfolgreich Aktivierungen verschiedener Spender (Llama-3.1-8B, Gemma-3, Yi-1.5-34B). Während das Selbst-Decodieren (Verwendung des Spenders als eigenen Decoder) im Allgemeinen leicht bessere Ergebnisse liefert, ist die Leistungslücke bei der modellübergreifenden Verbalisierung moderat, was die Universalität des Frameworks unterstreicht.
Decoder-Größe: Größere Decoder (bis zu 14B) verbessern im Allgemeinen die Leistung, was auf eine bessere Umwandlung von ausgerichteten Aktivierungssignalen in natürliche Sprache hindeutet, obwohl der Trend nicht strikt monoton ist.
Komponentenanalyse (Ablationen):
- Decoder-seitiges Tuning: Verbessert primär das verhaltensbezogene Niveau der Aufgaben und die Instruktionsbefolgung (z. B. Klassifizierungsmuster).
- Adapter: Ist unerlässlich für die Wiederherstellung eingabespezifischer faktischer und semantischer Informationen. Ohne den trainierten Adapter kann das Modell keine feinabgestimmten Details aus Aktivierungen zuverlässig extrahieren.
- Stufe-1-Warmup: Die Ausrichtungsphase von Aktivierung zu Text ist eine kritische Voraussetzung; deren Entfernung führt konsistent zu Leistungseinbußen.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass UAV die Ineffizienz und den Mangel an Verallgemeinerbarkeit in aktuellen Methoden zur Erklärung von Aktivierungen adressiert. Durch die Entkopplung der Aktivierungszuordnung (Adapter) von der Generierungsfähigkeit (Decoder) ermöglicht UAV:

Wiederverwendbarkeit: Ein einziger erklärungsorientierter Decoder kann an mehrere Spendemodelle angepasst werden.
Effizienz: Die Adapter-only Transfer-Strategie reduziert die Rechenkosten bei der Analyse neuer Modelle.
Treue: Das Framework bietet einen Mechanismus, um faktische und semantische Informationen aus Aktivierungen wiederherzustellen, die bei trainingsfreien Ansätzen häufig verloren gehen.

Die Autoren erkennen Einschränkungen an und stellen fest, dass UAV weiterhin Herausforderungen bei der Wiederherstellung feinabgestimmter Attribute aus einzelnen Aktivierungen hat und derzeit auf Eingaben mit kurzem Kontext beschränkt ist. Als zukünftige Arbeit wird vorgeschlagen, den Faktenabruf und das Verständnis der Kernaussage durch stärkere Ausrichtung und reichhaltigere Überwachung zu verbessern.