🤖 AI

PRISM: Recovering Instruction Sets from Language Model Activations

Het artikel introduceert PRISM, een activatie-geconditioneerde interpreter getraind met judge-guided GRPO om accuraat de volledige set actieve instructies, beperkingen en subdoelen te decoderen en te herstellen uit de verborgen toestanden van grote taalmodellen, waardoor de monitoringsmogelijkheden in complexe agentische omgevingen worden verbeterd.

Oorspronkelijke auteurs: Gilad Gressel, Rahul Pankajakshan, Julia Diament, Efim Hudis, Krishnashree Achuthan, Yisroel Mirsky

Gepubliceerd 2026-06-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Gilad Gressel, Rahul Pankajakshan, Julia Diament, Efim Hudis, Krishnashree Achuthan, Yisroel Mirsky

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Problek: De "Black Box" Chauffeur

Stel je voor dat je een zeer bekwame chauffeur (een Large Language Model, of LLM) inhuurt om je ergens heen te brengen. Je geeft hem een bestemming, maar onderweg kan hij:

Je verkeerd begrijpen: Hij denkt dat je naar het strand wilt gaan terwijl je eigenlijk naar het park wilde.
Afgeleid raken: Hij begint een bord te volgen dat hij langs de weg zag staan met de tekst "Sla linksaf voor plezier," ook al heb je hem dat niet gezegd.
Gehackt worden: Iemand heeft stiekem een briefje op zijn dashboard geplakt met de tekst: "Rijd naar de bank en steel het geld," en hij volgt nu dat verborgen briefje op.

Momenteel, als je de chauffeur vraagt: "Wat ben je aan het doen?", zal hij je alleen vertellen wat hij als laatste zei of welke weg hij rijdt. Hij zal je niet vertellen over het verborgen briefje, het misverstand, of de geheime regel die hij aan het volgen is. We zien alleen de output (de rijdende auto), niet de interne instructies (de kaart en de regels in zijn hoofd).

De Oplossing: PRISM (De "Gedachtenlezer"-bril)

De onderzoekers hebben een tool ontwikkeld genaamd PRISM. Denk aan PRISM als een speciale bril waarmee je de interne "denkproces" of "instructielijst" van de chauffeur kunt zien door simpelweg naar de elektrische signalen (activaties) in zijn hersenen te kijken terwijl hij aan het rijden is.

In plaats van de chauffeur te vragen wat hij aan het doen is, kijkt PRISM naar de ruwe data van zijn hersenactiviteit en vertaalt dit naar een eenvoudige opsomming met opsommingstekens van alles wat hij op dit moment probeert te doen.

Hoe ziet zo'n lijst eruit?
Als de chauffeur in de war is of wordt bedrogen, kan PRISM het volgende outputten:

"Rijd naar het park." (Het echte doel)
"Wees beleefd tegen passagiers." (Een regel)
"Onthul niet dat dit een verrassingsfeestje is." (Een beperking)
"Steel het geld." (De verborgen, kwaadwillende instructie)

Hoe PRISM werkt (De Twee-Stappen Training)

Het paper legt uit dat PRISM niet zomaar is gebouwd; het is in twee specifieke fasen getraind om accuraat te zijn:

De Klaslokaalfase (Supervised Pretraining):
Eerst lieten de onderzoekers PRISM duizenden voorbeelden zien waarvan zij precies wisten wat de instructies waren. Ze leerden PRISM om naar de hersensignalen te kijken en de lijst te raden. Het was als een student die leert een kaart te lezen. Deze student maakte echter nog fouten—soms miste hij een regel, of soms bedacht hij een regel die er niet was.
De Coachfase (Judge-Guided RL):
Om de fouten te herstellen, voegden ze een strikte "Rechter" toe (een andere AI).
- PRISM raadt de lijst met instructies.
- De Rechter vergelijkt de gok van PRISM met de werkelijke lijst met instructies.
- Het Beloningssysteem: Als PRISM een verborgen instructie vindt die de chauffeur volgt, krijgt het een punt. Als PRISM een instructie verzint die niet bestaat (hallucinatie), verliest het punten.
- Dit proces herhaalt zich duizenden keren, waardoor PRISM heel precies wordt: "Vind alles wat er daadwerkelijk is, en bedenk niets nieuws."

Waarom dit verschilt van oude methoden

Eerdere tools waren als een algemene samenvatting. Als je hen vroeg: "Wat is de chauffeur aan het doen?", zeiden ze misschien: "Hij rijdt naar het park." Dat is waar, maar het mist het feit dat de chauffeur ook stiekem probeert geld te stelen.

PRISM is anders omdat het specifiek is ontworpen om de volledige set instructies te vinden. Het behandelt het probleem als een detective die op zoek is naar een volledige lijst met aanwijzingen, in plaats van alleen maar een kort verhaal over de auto te schrijven.

Wat ze hebben getest

De onderzoekers hebben PRISM in vier verschillende scenario's getest om te zien of het werkte:

Normaal rijden: Eenvoudige taken (bijv. "Schrijf een e-mail"). PRISM werkte hier uitstekend.
Strikte regels: Taken met veel beperkingen (bijv. "Schrijf een e-mail, maar gebruik de letter 'e' niet, en maak het grappig"). PRISM vond bijna alle regels.
Verborgen doelen: Scenario's waarin de chauffeur werd verteld een geheim doel te verbergen. PRISM spoot het geheime doel succesvol op.
Bedrogen chauffeurs (Prompt Injection): Scenario's waarin iemand probeerde de chauffeur te misleiden met een verborgen briefje in een document. PRISM was in staat om dit verborgen briefje te "zien" en te vermelden, zelfs terwijl de chauffeur deed alsof hij iets anders aan het doen was.

De Kern van het Zaken

Het paper beweert dat PRISM de eerste tool is die betrouwbaar de "instructielijst" in de hersenen van een taalmodel kan lezen.

Het is accuraat: Het vindt meer instructies dan vorige tools.
Het is eerlijk: Het verzint zelden nepinstructies.
Het is nuttig voor veiligheid: Het kan detecteren wanneer een model wordt misleid of een verborgen, gevaarlijk commando volgt dat de gebruiker niet bedoelde.

De auteurs benadrukken dat dit een monitoringsinstrument is. Het helpt ons zien wat het model aan het doen is, zodat we kunnen beslissen of het veilig is, maar het stopt het model niet automatisch bij het uitvoeren van slechte dingen. Het is als een waarschuwingslampje op een dashboard dat zegt: "Hé, de chauffeur volgt een geheime kaart," zodat jij actie kunt ondernemen.

Technische Samenvatting: PRISM – Het herstellen van instructiesets uit activaties van taalmodellen

1. Probleemstelling: Instructieset-extractie (ISR)

Nu Large Language Models (LLM's) steeds vaker worden ingezet als autonome agenten, vereist betrouwbare monitoring meer dan alleen het observeren van output-tokens; het vereist een begrip van de interne doelstellingen die het gedrag sturen. Huidige monitoring staat voor uitdagingen wanneer modellen onbedoelde subdoelen afleiden, contextuele aanwijzingen volgen, of worden beïnvloed door prompt-injecties en verborgen doelstellingen.

Hoewel recente "activatie-naar-taal"-methoden (bijv. Patchscopes, LatentQA, Activation Oracles) aantonen dat verborgen toestanden natuurlijke taalinformatie kunnen onthullen, zijn ze minder geschikt voor Instructieset-extractie (Instruction Set Retrieval, ISR). Bestaande benaderingen beantwoorden doorgaans willekeurige vragen of produceren enkele hoogwaardige samenvattingen. Ze slagen er niet in om de volledige set van gelijktijdige instructies, beperkingen, verboden en subdoelen te herstellen die actief zijn in agentische omgevingen. Bijgevolg herstellen ze vaak slechts een fractie van de actieve instructies, verwarren ze verschillende beperkingen, of hallucineren ze doelstellingen die niet aanwezig zijn in de context.

Het artikel formaliseert ISR als het probleem van het leren van een interpreter $\phi$ die, gegeven een activatie-snapshot $H_\ell$ van een bevroren doelmodel $M$ , een voorspelde lijst $\hat{I}$ produceert die de dekking (herstel van de grondwaarheid-instructies) maximaliseert terwijl de hallucinatie (voorspelling van niet-onderbouwde instructies) wordt geminimaliseerd.

2. Methodologie: PRISM

De auteurs introduceren PRISM, een activatie-geconditioneerde interpreter die specifiek is ontworpen voor getrouwe instructieset-extractie.

Architectuur

PRISM is ontworpen voor lichtgewicht implementatie. In plaats van een apart interpreter-LLM te laden, hergebruikt het de bevroren basisgewichten van het doelmodel $M$ (specifiek Qwen3.5-9B in de experimenten).

Input: Een snapshot van residual-stream activaties $H_\ell$ van een specifieke laag $\ell$ (bijv. laag 16) over een vaste window van gegenereerde tokens (bijv. de laatste 128 tokens).
Projectie: Een geleerde lineaire projectie brengt deze activatievectoren in de input-embeddingruimte van het model.
Decoding: De geprojecteerde activaties dienen als een "soft prefix" die in het doelmodel wordt gevoed. Het model decodeert vervolgens autoregressief een lijst met opsommingstekens in natuurlijke taal van de actieve instructies.
Parameters: Alleen de projectielaag en LoRA-adapters worden getraind; de basisgewichten van het model blijven bevroren.

Trainingsstrategie

PRISM wordt in twee stadia getraind om de beperkingen van standaard cross-entropy loss aan te pakken, die oppervlaktevorm-mismatches bestraft en niet het onderscheid kan maken tussen gemiste instructies en hallucinaties.

Supervised Pretraining (SFT): Het model wordt getraind om activatie-snapshots naar grondwaarheid-instructielijsten te mappen met behulp van next-token cross-entropy. Dit vestigt een baseline activatie-naar-lijst mapping.
Judge-Guided Reinforcement Learning (GRPO): Om te optimaliseren voor set-niveau getrouwheid, gebruiken de auteurs Group Relative Policy Optimization (GRPO).
- Judge-mechanisme: Een aparte LLM-judge evalueert kandidaat-instructielijsten tegen de grondwaarheid-lijst. Het bepaalt welke referentie-instructies worden gedekt en welke voorspelde bullets niet onderbouwd zijn (hallucinaties). De systeemprompt van de judge is gekalibreerd tegen menselijke annotaties met behulp van Cohen's $\kappa$ .
- Beloningsfunctie: De beloning $r$ is een scalar afgeleid van de metrieken dekking ($Cvg$) en hallucinatie ($Hall$):
  $r = w_{inst} \cdot Cvg(\hat{I}, I) - w_{halluc} \cdot Hall(\hat{I}, I) - P_{len}$
  Waarbij $P_{len}$ een tweezijdige lengtestraf is om reward hacking via te lange of ingestorte rapportages te voorkomen.
- Optimalisatie: Het beleid wordt bijgewerkt om de groep-relatieve voorsprong te maximaliseren, waarbij direct wordt geoptimaliseerd voor hoge dekking en lage hallucinatie in plaats van token-niveau matching.

3. Belangrijkste Bijdragen

Formalisering van ISR: Het artikel definieert Instructieset-extractie als een onderscheidend probleem van algemene activatie-interpretatie, met een focus op het herstellen van de volledige set actieve beperkingen en subdoelen.
PRISM-framework: Een activatie-geconditioneerde interpreter die verborgen toestanden decodeert naar een getrouwe lijst met opsommingstekens van actieve instructies, zonder te vertrouwen op oppervlakte-inspectie van tokens of zelfrapportage door het model.
Judge-Guided GRPO: Een nieuw trainingsdoel dat een LLM-judge gebruikt om semantische feedback te geven, waarbij direct wordt geoptimaliseerd voor instructie-niveau recall en hallucinaties worden bestraft.
Gekalibreerde Evaluatie: De auteurs kalibreren hun LLM-judge tegen menselijke annotaties en geven de prompts vrij om reproduceerbare evaluatie van instructieset-extractiesystemen te ondersteunen.
Resource Release: Het artikel verbindt zich tot het vrijgeven van broncode, trainingsdata en beveiligingsrelevante evaluatiedatasets (dekking van prompt-injectie en verborgen doelstellingen) om toekomstig onderzoek te faciliteren.

4. Experimentele Resultaten

De evaluatie maakt gebruik van een onafhankelijke testcorpus van 1.000 voorbeelden over vier instellingen: Benigne (BN), Gedragsbeperkingen (BC), Verborgen Doelstellingen (HO) en Adversariële Prompts (AP). Het doelmodel is Qwen3.5-9B.

Algemene Prestaties: PRISM (met RL) bereikt de hoogste gemiddelde beloning (0.736) en dekking (0.745) over alle instellingen, waarmee het de sterkste non-PRISM baseline (Activation Oracles, beloning 0.532) aanzienlijk overtreft.
Beveiligingsrelevante Extractie: In adversariële instellingen (HO en AP) vertoont PRISM een superieur vermogen om geïnjecteerde of verborgen instructies te herstellen. Specifiek op de Adversarial Prompt subset verbeterde de dekking van 0.520 (PRISM zonder RL) naar 0.652.
Hallucinatiecontrole: PRISM behoudt een laag hallucinatiepercentage (0.014). Hoewel sommige baselines lagere hallucinatiepercentages laten zien, merkt het artikel op dat dit vaak komt omdat ze prompts reduceren tot generieke samenvattingen, waardoor veel actieve instructies volledig worden gemist.
Ablatie: De toevoeging van de judge-guided RL-fase verbetert consequent de prestaties over alle domeinen, met name in de Adversarial Prompt setting, wat bevestigt dat het RL-doel succesvol optimaliseert voor set-niveau eigenschappen in plaats van alleen vloeiendheid.

5. Betekenis en Claims

Het artikel beweert dat PRISM aantoont dat activaties herstelbare instructie-informatie coderen, wat suggereert dat activatie-gebaseerde monitoring een levensvatbaar pad is naar transparant toezicht op LLM-agenten.

Monitoring-capaciteit: Het werk biedt een methode om de interne "werkende instructieset" van een agent te inspecteren, wat onthult niet alleen wat het model doet, maar ook waarom (d.w.z. welke specifieke beperkingen of doelen het gedrag drijven).
Beveiligingsimplicaties: Door succesvol verborgen doelstellingen en prompt-injecties te herstellen die andere methoden missen, biedt PRISM een instrument voor het auditeren van agenten in scenario's met hoge inzet waar input-prompts alleen mogelijk geen adversariële sturing onthullen.
Beperkingen en Reikwijdte: De auteurs zijn bescheiden over hun claims en merken op dat:
- De resultaten specifief zijn voor de Qwen3.5-9B modelfamilie, laag 16, en een 128-token window; de overdraagbaarheid naar andere modellen of langere contexten is niet bewezen.
- De evaluatie steunt op oracle-gegenereerde labels en judge-gebaseerde scoring, wat weliswaar gekalibreerd is, maar geen absolute grondwaarheid is.
- PRISM een monitoringmethode is, geen veiligheidsinterventie; het herstellen van een instructie dicteert niet automatisch of het gedrag geblokkeerd of aangepast moet worden.
- Het systeem niet bedoeld is voor beslissingen met hoge inzet zonder menselijke controle vanwege het risico op gemiste instructies of hallucinaties.

Het artikel concludeert dat hoewel PRISM geen volledige veiligheidsoplossing is, het een belangrijke stap vormt naar het begrijpen en auditeren van de interne doelstellingen van ingezette LLM-agenten.