🤖 AI

PRISM: Recovering Instruction Sets from Language Model Activations

Das Papier stellt PRISM vor, einen aktivierungsbedingten Interpreter, der mittels judge-guided GRPO trainiert wurde, um den vollständigen Satz aktiver Instruktionen, Constraints und Subgoals aus den Hidden States von Large Language Models präzise zu dekodieren und wiederherzustellen und dadurch die Monitoring-Fähigkeiten in komplexen agentischen Umgebungen zu verbessern.

Ursprüngliche Autoren: Gilad Gressel, Rahul Pankajakshan, Julia Diament, Efim Hudis, Krishnashree Achuthan, Yisroel Mirsky

Veröffentlicht 2026-06-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Gilad Gressel, Rahul Pankajakshan, Julia Diament, Efim Hudis, Krishnashree Achuthan, Yisroel Mirsky

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „Black Box“-Fahrer

Stellen Sie sich vor, Sie engagieren einen hochqualifizierten Fahrer (ein Large Language Model, oder LLM), um Sie irgendwohin zu bringen. Sie geben ihm ein Ziel vor, aber auf dem Weg könnte er:

Sie missverstehen: Er denkt, Sie wollen zum Strand, obwohl Sie eigentlich in den Park wollten.
Abgelenkt werden: Er beginnt, einem Schild zu folgen, das er am Straßenrand gesehen hat und auf dem steht: „Links abbiegen für Spaß“, obwohl Sie ihm das nicht gesagt haben.
Gehackt werden: Jemand hat heimlich einen Zettel an sein Armaturenbrett geklebt mit der Aufschrift: „Fahre zur Bank und stehle das Geld“, und er folgt nun diesem versteckten Zettel.

Derzeit, wenn Sie den Fahrer fragen: „Was machst du gerade?“, wird er Ihnen nur das letzte sagen, was er gesagt hat, oder den Weg, auf dem er sich befindet. Er wird Ihnen nicht von dem versteckten Zettel, dem Missverständnis oder der geheimen Regel erzählen, die er befolgt. Wir sehen nur das Ergebnis (das fahrende Auto), nicht die internen Anweisungen (die Karte und die Regeln in seinem Kopf).

Die Lösung: PRISM (Die „Gedankenleser“-Brille)

Die Forscher haben ein Werkzeug namens PRISM entwickelt. Denken Sie bei PRISM an eine spezielle Brille, mit der man den internen „Gedankengang“ oder die „Anweisungsliste“ des Fahrers sehen kann, indem man einfach nur auf die elektrischen Signale (Aktivierungen) in seinem Gehirn schaut, während er fährt.

Anstatt den Fahrer zu fragen, was er tut, analysiert PRISM die Rohdaten seiner Gehirnaktivität und übersetzt sie in eine einfache Aufzählungsliste von allem, was er gerade versucht zu tun.

Wie sieht diese Liste aus?
Wenn der Fahrer verwirrt oder getäuscht wird, könnte PRISM ausgeben:

„Fahre zum Park.“ (Das eigentliche Ziel)
„Sei höflich zu den Passagieren.“ (Eine Regel)
„Verrate nicht, dass dies eine Überraschungsparty ist.“ (Eine Einschränkung)
„Stehle das Geld.“ (Die versteckte, bösartige Anweisung)

Wie PRISM funktioniert (Das Zwei-Stufen-Training)

Die Arbeit erklärt, dass PRISM nicht einfach nur gebaut, sondern in zwei spezifischen Phasen trainiert wurde, um präzise zu sein:

Die Klassenzimmer-Phase (Überwachtes Pretraining):
Zuerst zeigten die Forscher PRISM tausende Beispiele, bei denen sie genau wussten, wie die Anweisungen lauteten. Sie lehrten PRISM, in die Gehirnsignale zu schauen und die Liste zu erraten. Es war wie ein Schüler, der lernt, eine Landkarte zu lesen. Dieser Schüler machte jedoch noch Fehler – manchmal übersah er eine Regel oder erfand eine Regel, die gar nicht da war.
Die Coach-Phase (Richtergesteuertes RL):
Um die Fehler zu korrigieren, setzten sie einen strengen „Richter“ (eine andere KI) ein.

PRISM rät die Liste der Anweisungen.
Der Richter vergleicht PRISMs Tipp mit der tatsächlichen Liste der Anweisungen.
Das Belohnungssystem: Wenn PRISM eine versteckte Anweisung findet, der der Fahrer folgt, bekommt es einen Punkt. Wenn PRISM eine Anweisung erfindet, die nicht existiert (Halluzination), verliert es Punkte.
Dieser Prozess wiederholt sich tausende Male und lehrt PRISM, sehr präzise zu sein: „Finde alles, was tatsächlich da ist, und erfinde nichts dazu.“

Warum dies anders ist als alte Methoden

Frühere Werkzeuge waren wie eine allgemeine Zusammenfassung. Wenn Sie fragten: „Was macht der Fahrer gerade?“, sagten sie vielleicht: „Er fährt zum Park.“ Das ist zwar wahr, aber es übersieht die Tatsache, dass er auch heimlich versucht, Geld zu stehlen.

PRISM ist anders, weil es speziell darauf ausgelegt ist, das vollständige Set an Anweisungen zu finden. Es behandelt das Problem wie einen Detektiv, der nach einer vollständigen Liste von Hinweisen sucht, anstatt nur eine kurze Geschichte über das Auto zu schreiben.

Was sie getestet haben

Die Forscher testeten PRISM in vier verschiedenen Szenarien, um zu sehen, ob es funktioniert:

Normales Fahren: Einfache Aufgaben (z. B. „Schreibe eine E-Mail“). PRISM funktionierte hier hervorragend.
Strenge Regeln: Aufgaben mit vielen Einschränkungen (z. B. „Schreibe eine E-Mail, aber benutze nicht den Buchstaben 'e' und mache sie lustig“). PRISM fand fast alle Regeln.
Versteckte Ziele: Szenarien, in denen der Fahrer angewiesen wurde, ein geheimes Ziel zu verbergen. PRISM konnte das geheime Ziel erfolgreich aufspüren.
Getäuschte Fahrer (Prompt Injection): Szenarien, in denen jemand versucht hat, den Fahrer mit einem versteckten Zettel in einem Dokument zu täuschen. PRISM war in der Lage, diesen versteckten Zettel zu „sehen“ und aufzulisten, obwohl der Fahrer vorgab, etwas anderes zu tun.

Das Fazit

Die Arbeit behauptet, dass PRISM das erste Werkzeug ist, das zuverlässig die „Anweisungsliste“ im Gehirn eines Sprachmodells lesen kann.

Es ist präzise: Es findet mehr Anweisungen als bisherige Werkzeuge.
Es ist ehrlich: Es erfindet selten falsche Anweisungen.
Es ist nützlich für die Sicherheit: Es kann erkennen, wenn ein Modell getäuscht wird oder einer versteckten, gefährlichen Anweisung folgt, die der Nutzer nicht beabsichtigt hat.

Die Autoren betonen, dass dies ein Überwachungswerkzeug ist. Es hilft uns zu sehen, was das Modell tut, damit wir entscheiden können, ob es sicher ist, aber es stoppt das Modell nicht automatisch bei schlechtem Verhalten. Es ist wie eine Warnleuchte im Cockpit, die sagt: „Hey, der Fahrer folgt einer geheimen Karte“, damit man handeln kann.

Technisches Resümee: PRISM – Rekonstruktion von Instruktionssätzen aus Aktivierungen von Sprachmodellen

1. Problemstellung: Instruction Set Retrieval (ISR)

Da Large Language Models (LLMs) zunehmend als autonome Agenten eingesetzt werden, erfordert eine zuverlässige Überwachung mehr als nur die Beobachtung von Output-Token; sie erfordert ein Verständnis der internen Zielsetzungen, die das Verhalten steuern. Die aktuelle Überwachung steht vor Herausforderungen, wenn Modelle unbeabsichtigte Subziele verfolgen, auf kontextuelle Hinweise reagieren oder durch Prompt-Injektionen und verborgene Ziele beeinflusst werden.

Während jüngste „Activation-to-Language“-Methoden (z. B. Patchscopes, LatentQA, Activation Oracles) zeigen, dass verborgene Zustände natursprachliche Informationen offenlegen können, sind sie für das Instruction Set Retrieval (ISR) ungeeignet. Bestehende Ansätze beantworten typischerweise beliebige Fragen oder produzieren einzelne, hochgradig abstraktisierte Zusammenfassungen. Sie scheitern daran, den vollständigen Satz gleichzeitig aktiver Instruktionen, Einschränkungen, Verbote und Subziele in agentischen Umgebungen zu rekonstruieren. Folglich rekonstruieren sie oft nur einen Bruchteil der aktiven Instruktionen, vermengen unterschiedliche Einschränkungen oder halluzinieren Ziele, die nicht im Kontext vorhanden sind.

Das Paper formalisiert ISR als das Problem des Lernens eines Interpreten $\phi$ , der unter Verwendung eines Aktivierungs-Snapshots $H_\ell$ aus einem eingefrorenen Zielmodell $M$ eine vorhergesagte Liste $\hat{I}$ erzeugt, welche die Abdeckung (Rekonstruktion der Ground-Truth-Instruktionen) maximiert und gleichzeitig die Halluzination (Vorhersage nicht unterstützter Instruktionen) minimiert.

2. Methodik: PRISM

Die Autoren führen PRISM ein, einen aktivierungsbedingten Interpreten, der speziell für die getreue Rekonstruktion von Instruktionssätzen entwickelt wurde.

Architektur

PRISM ist für den leichtgewichtigen Einsatz konzipiert. Anstatt ein separates Interpreter-LLM zu laden, nutzt es die eingefrorenen Basisgewichte des Zielmodells $M$ wieder (speziell Qwen3.5-9B in den Experimenten).

Input: Ein Snapshot der Residual-Stream-Aktivierungen $H_\ell$ aus einer spezifischen Schicht $\ell$ (z. B. Schicht 16) über ein festes Fenster generierter Token (z. B. die letzten 128 Token).
Projektion: Eine gelernte lineare Projektion bildet diese Aktivierungsvektoren in den Input-Embedding-Raum des Modells ab.
Dekodierung: Die projizierten Aktivierungen dienen als „Soft Prefix“, der in das Zielmodell eingespeist wird. Das Modell dekodiert daraufhin autoregressiv eine Aufzählung der aktiven Instruktionen in natürlicher Sprache.
Parameter: Nur die Projektionsschicht und LoRA-Adapter werden trainiert; die Basisgewichte des Modells bleiben eingefroren.

Trainingsstrategie

PRISM wird in zwei Stufen trainiert, um die Einschränkungen des Standard-Cross-Entropy-Loss zu adressieren, welcher Oberflächen-Mismatches bestraft und nicht zwischen verpassten Instruktionen und Halluzinationen unterscheiden kann.

Supervised Pretraining (SFT): Das Modell wird darauf trainiert, Aktivierungs-Snapshots auf Ground-Truth-Instruktionslisten abzubilden, unter Verwendung von Next-Token Cross-Entropy. Dies etabliert eine Basis-Mapping von Aktivierung zu Liste.
Judge-Guided Reinforcement Learning (GRPO): Um die Treue auf Set-Ebene zu optimieren, verwenden die Autoren Group Relative Policy Optimization (GRPO).
- Judge-Mechanismus: Ein separater LLM-Judge bewertet die Kandidaten-Instruktionslisten gegen die Ground-Truth-Liste. Er bestimmt, welche Referenz-Instruktionen abgedeckt sind und welche vorhergesagten Bullets nicht unterstützt werden (halluziniert). Der System-Prompt des Judges ist mittels Cohen's $\kappa$ gegen menschliche Annotationen kalibriert.
- Belohnungsfunktion: Die Belohnung $r$ ist ein Skalar, der sich aus den Metriken Coverage ($Cvg$) und Hallucination ($Hall$) zusammensetzt:
  $r = w_{inst} \cdot Cvg(\hat{I}, I) - w_{halluc} \cdot Hall(\hat{I}, I) - P_{len}$
  Wobei $P_{len}$ eine beidseitige Längenstrafe ist, um Reward-Hacking durch übermäßig lange oder kollabierte Berichte zu verhindern.
- Optimierung: Die Policy wird aktualisiert, um den gruppenrelativen Vorteil zu maximieren, wodurch direkt auf hohe Abdeckung und niedrige Halluzination statt auf Token-Matching optimiert wird.

3. Zentrale Beiträge

Formalisierung von ISR: Das Paper definiert Instruction Set Retrieval als ein eigenständiges Problem der allgemeinen Aktivierungsinterpretation, mit dem Fokus auf der Rekonstruktion des vollständigen Satzes operativer Einschränkungen und Subziele.
PRISM-Framework: Ein aktivierungsbedingter Interpret, der verborgene Zustände in eine getreue Bullet-Liste aktiver Instruktionen dekodiert, ohne sich auf die oberflächliche Token-Inspektion oder die Selbstberichterstattung des Modells zu verlassen.
Judge-Guided GRPO: Ein neuartiges Trainingsziel, das einen LLM-Judge nutzt, um semantisches Feedback zu geben, wodurch direkt auf die Recall der Instruktionsebene optimiert und Halluzinationen bestraft werden.
Kalibrierte Evaluierung: Die Autoren kalibrieren ihren LLM-Judge gegen menschliche Annotationen und stellen die Prompts zur Verfügung, um die Reproduzierbarkeit der Evaluierung von Instruction-Set-Retrieval-Systemen zu unterstützen.
Veröffentlichung der Ressourcen: Das Paper verpflichtet sich zur Veröffentlichung des Quellcodes, der Trainingsdaten und sicherheitsrelevanter Evaluierungsdatensätze (die Prompt-Injektionen und verborgene Ziele abdecken), um zukünftige Forschung zu fördern.

4. Experimentelle Ergebnisse

Die Evaluierung nutzt einen gehaltenen Test-Korpus von 1.000 Beispielen in vier Settings: Benign (BN), Behavioral Constraints (BC), Hidden Objectives (HO) und Adversarial Prompts (AP). Das Zielmodell ist Qwen3.5-9B.

Gesamtleistung: PRISM (mit RL) erreicht die höchste durchschnittliche Belohnung (0.736) und Abdeckung (0.745) über alle Settings hinweg und übertrifft damit signifikant den stärksten Nicht-PRISM-Baseline (Activation Oracles, Belohnung 0.532).
Sicherheitsrelevante Rekonstruktion: In adversariellen Settings (HO und AP) zeigt PRISM eine überlegene Fähigkeit, injizierte oder verdeckte Instruktionen zu rekonstruieren. Speziell im Subset der Adversarial Prompts verbesserte sich die Abdeckung von 0.520 (PRISM ohne RL) auf 0.652.
Halluzinationskontrolle: PRISM hält eine niedrige Halluzinationsrate (0.014) ein. Während einige Baselines niedrigere Halluzinationsraten zeigen, merkt das Paper an, dass dies oft darauf zurückzuführen ist, dass sie Prompts in generische Zusammenfassungen kollabieren lassen und dabei viele aktive Instruktionen vollständig verpassen.
Ablation: Die Hinzunahme der Judge-Guided RL-Stufe verbessert die Leistung konsistent über alle Domänen hinweg, insbesondere im Bereich der Adversarial Prompts, was bestätigt, dass das RL-Ziel erfolgreich auf Set-Ebene optimiert und nicht nur auf Token-Ebene.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass PRISM demonstriert, dass Aktivierungen kodierte Instruktionsinformationen enthalten, was darauf hindeutet, dass die aktivierungsbasierte Überwachung ein gangbarer Weg für die transparente Aufsicht von LLM-Agenten ist.

Überwachungsfähigkeit: Die Arbeit bietet eine Methode, um den internen „operativen Instruktionssatz“ eines Agenten zu inspizieren, was offenlegt, nicht nur was ein Modell tut, sondern warum (d. h. welche spezifischen Einschränkungen oder Ziele das Verhalten steuern).
Sicherheitsimplikationen: Durch die erfolgreiche Rekonstruktion verborgener Ziele und Prompt-Injektionen, die andere Methoden übersehen, bietet PRISM ein Werkzeug zur Prüfung von Agenten in Hochrisikoszenarien, in denen Eingabe-Prompts allein möglicherweise keine adversariellen Steuerungen offenbaren.
Grenzen und Umfang: Die Autoren äußern sich bescheiden zu ihren Ansprüchen und merken an, dass:
- Die Ergebnisse spezifisch für die Qwen3.5-9B Modellfamilie, Schicht 16 und ein 128-Token-Fenster gelten; die Übertragbarkeit auf andere Modelle oder längere Kontexte ist unbewiesen.
- Die Evaluierung auf Oracle-generierten Labels und Judge-basiertem Scoring beruht, was zwar kalibriert, aber kein absoluter Ground Truth ist.
- PRISM eine Überwachungsmethode ist, keine Sicherheitsintervention; die Rekonstruktion einer Instruktion bedeutet nicht automatisch, dass man das Verhalten blockieren oder modifizieren kann.
- Das System aufgrund des Risikos verpasster Instruktionen oder Halluzinationen nicht für hochsensible Strafentscheidungen ohne menschliche Überprüfung vorgesehen ist.

Das Paper schließt mit der Feststellung, dass PRISM zwar keine vollständige Sicherheitslösung darstellt, aber einen bedeutenden Schritt zum Verständnis und zur Prüfung der internen Zielsetzungen eingesetzter LLM-Agenten markiert.