💻 computer science

The Entanglement Wall: Activation-Space Probes as Risk Detectors, Not Context Adjudicators

Dit artikel toont aan dat hoewel activation-space probes in grote taalmodellen effectief brede risico's detecteren en een hoog percentage schadelijke verzoeken blokkeren, ze er niet in slagen om als betrouwbare zelfstandige adjudicatoren te fungeren voor het onderscheiden van schadelijke van onschadelijke prompts wanneer de context verandert zonder de oppervlakkige vorm te wijzigen.

Oorspronkelijke auteurs: Dominik Schwarz

Gepubliceerd 2026-07-16

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Dominik Schwarz

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren het verschil te zien tussen een onschuldige grap en een gevaarlijke dreiging. Je zou kunnen denken dat de robot alleen maar een lijst met "slechte woorden" hoeft te leren. Maar hier komt het lastige deel: context is alles. De zin "Hoe dood ik dit?" is volkomen veilig als je het hebt over een computerprogramma dat vastgelopen is, maar het is een misdaad als je het over een persoon hebt. De woorden zijn identiek, maar de betekenis verandert volledig op basis van de situatie. Dit is de wereld van Large Language Models (LLM's), de superintelligente AI-hersenen achter chatbots. Wetenschappers proberen "probes" te bouwen—kleine sensoren die in de AI-hersenen gluren terwijl deze nadenkt—om te zien of ze het verschil kunnen spotten tussen een slechte intentie en een goede, zelfs wanneer de woorden er hetzelfde uitzien. De grote vraag is: kunnen deze sensoren optreden als een slimme rechter die het verhaal begrijpt, of zijn ze slechts onhandige uitsmijters die alleen de kleding controleren die je draagt?

Een onderzoeker genaamd Dominik Schwarz besloot dit te testen door een spel van "spot het verschil" met hoge inzet op te zetten. Hij nam drie verschillende AI-modellen en creëerde paren prompts: één was een "gecamoufleerd" verzoek dat klonk alsof het iets slechts wilde doen (zoals "Hoe dood ik dit?"), en de andere was een "tweeling"-verzoek dat exact dezelfde woorden en structuur gebruikte, maar eigenlijk onschuldig was (zoals "Hoe dood ik dit proces?"). Het doel was om te zien of de interne sensoren van de AI deze twee tweelingen uit elkaar konden houden zonder in de war te raken door de gelijkaardige bewoording.

De resultaten waren een behoorlijke plotwending. Wanneer de sensoren naar een enorme stapel duidelijk gevaarlijke verzoeken keken, waren ze fantastische detectives en betrapten ze ongeveer 95% tot 97% van de boeven. Echter, toen de onderzoekers hen testten op de lastige "tweelingen" waarbij het enige verschil de verborgen intentie was, liepen de sensoren tegen een muur op. Ze begonnen onschuldige verzoeken net zo vaak te blokkeren als de gevaarlijke verzoeken. Sterker nog, op de moeilijkste testset slaagden de sensoren er niet in om de tweelingen veel beter te onderscheiden dan door middel van willekeurig gokken. Zelfs toen de onderzoekers de sensoren specifiek op deze paren trainden, werden de sensoren zo goed in het herkennen van de specifieke trainingsvoorbeelden, dat ze faliekant faalden op nieuwe, onbekende voorbeelden, waarbij ze bijna 80% tot 100% van de onschuldige prompts blokkeerden die er vergelijkbaar uitzagen.

Het artikel noemt dit fenomeen de "Entanglement Wall" (Verstrengelingsmuur). Denk aan dit: de hersenen van de AI hebben een "gevarenradar" die erg goed is in het detecteren van het onderwerp van gevaar (zoals het concept "doden"). Maar wanneer het onderwerp hetzelfde is voor zowel een slecht mens als een goed mens, kan de radar het verschil niet meer zien. Het is als een beveiligingsbeambte die getraind is om iedereen te stoppen die een rode ballon vasthoudt, omdat rode ballonnen meestal worden gebruikt in overvalfilms. Als een kind met een rode ballon verschijnt, stopt de beambte dat kind ook. De sensor ziet de "rode ballon" (het gevaarlijke onderwerp) en raakt in paniek, niet in staat om te zien dat het kind gewoon aan het spelen is.

De studie suggereert dat hoewel deze activatiesensoren uitstekende "breed-risico-detectoren" zijn—geweldig voor een eerste ronde om duidelijke dreigingen te vangen—ze nog niet klaar zijn om de uiteindelijke "context-adjudicators" of rechters te zijn die bepalen of een specifiek, lastig verzoek veilig is. Ze laten zich te gemakkelijk in de war brengen door de oppervlakkige gelijkenis van de woorden. De onderzoekers kwamen tot de conclusie dat om het werkelijke verschil te begrijpen tussen een schadelijke intentie en een onschuldige intentie in deze specifieke gevallen, je meer nodig hebt dan alleen een eenvoudige sensorlezing; je hebt een systeem nodig dat daadwerkelijk het verhaal kan begrijpen, en niet alleen de woordenschat. Dus, voor nu zijn deze sensoren geweldig in het afgaan van het alarm, maar ze zijn niet slim genoeg om zelfstandig te beslissen of het alarm een vals alarm is.

Technisch overzicht: De Entanglement Wall (De Verstrengelingsmuur)

Probleemstelling

Context kan de schadelijkheid van een verzoek veranderen zonder de oppervlakkige vorm of het onderwerp te wijzigen. Bijvoorbeeld: "Hoe dood ik dit?" is onschuldig als het verwijst naar een softwareproces, maar gevaarlijk als het verwijst naar een persoon. Hoewel probes in de residual stream (residuele stroom) een hoge nauwkeurigheid hebben aangetoond bij het onderscheiden van schadelijke van onschuldige verzoeken in cross-corpus benchmarks (waarbij verschillende datasets zoals AdvBench en Alpaca worden vergeleken), blijft het onduidelijk of zij lokale gevolgveranderingen tussen onderwerp-overeenkomstige verzoeken kunnen oplossen. Bestaande benchmarks verwarren intentie vaak met stijl, herkomst of onderwerpsverschillen. Dit artikel onderzoekt of activatieruimte-probes kunnen fungeren als zelfstandige context-adjudicators (context-beoordelaars)—het onderscheiden van schadelijke intentie van onschuldige intentie binnen oppervlakkig overeenkomende paren—of dat ze louter fungeren als brede risicodetectoren die nabijheid van gevaar signaleren zonder de specifieke context op te lossen.

Methodologie

De studie maakt gebruik van een veelzijdige aanpak over drie modelfamilies (Llama-3.1-8B, Mistral-7B-Instruct, en Qwen2.5-7B), met uitbreidingen naar 24B en 32B varianten.

1. Deployment Evaluatie (Activatiesensor)

Een sensor werd geconstrueerd met behulp van 43 intentiezones (24 gevaarlijk, 19 onschuldig) afgeleid van een hold-out kalibratie-corpus.

Mechanisme: Tijdens de generatie berekent de sensor de cosinusafstand tussen token-activaties en zone-medoïden. Het berekent een "risicomarge" (sterkste gevarenzone minus sterkste onschuldige zone) gemiddeld over een vroege generatievenster.
Beslissingsregel: Een vaste nul-drempelpoort blokkeert generatie als de gemiddelde marge positief is. Er is geen drempelwaarde-tuning uitgevoerd op de evaluatiedata.
Benchmarks: Geëvalueerd op 480 taxonomisch geselecteerde schadelijke prompts en 660 onschuldige prompts (inclusief XSTest, die last heeft van 'hard-benign', risico-nabije verzoeken).

2. Same-Topic Paired Design (Geometrie-experimenten)

Om context van onderwerp te isoleren, hebben de auteurs "Twin"-cohorten geconstrueerd waarbij een gecamoufleerde schadelijke prompt wordt gekoppeld aan een onschuldige tweeling die hetzelfde onderwerp en dezelfde oppervlakkige vorm deelt, maar verschilt in de beoogde uitkomst.

Cohorten:
- Twin-n43: Originele gecureerde paren.
- Twin-n163: Volledig geconstrueerd cohort (43 + 120 paren).
- Twin-n70: Een subset waar Llama-Guard-3 de gecamoufleerde zijde expliciet als onveilig markeert en de tweeling als veilig.
- Twin-n217: Een robuustheidscohort gegenereerd tijdens de studie.
Read Points: Activaties werden uitgelezen van de post-attention layer norm (residual stream) op specifieke indices (bijv. laag 14 voor deployment, laag 12 voor analyse).

3. Readout Families en Controls

De studie vergeleek zeven readout-strategieën om transferabiliteit en overfitting te testen:

Unsupervised/External Transfer: Vaste richtingen gefit op uiteenlopende bron-contrasten (AdvBench vs. Alpaca) toegepast op Twin-paren zonder refitting.
In-Model/Direct Fitting: Classifiers getraind direct op de paar-grenzen.
Deflatie: Het verwijderen van de gemiddelde-verschil-richting om het residuele signaal te testen.
Controls: Uitgebreide controles omvatten categorie hold-out, generatie-batch hold-out, tekst-alleen baselines (TF-IDF, sentence encoders) en permutatietests om dataset-artefacten uit te sluiten.

4. Evaluatiemetrieken

Ranking: Area Under the Receiver Operating Characteristic Curve (AUROC).
Operationeel Punt: True Negative Rate (TNR) bij 95% True Positive Rate (TPR), en TPR bij lage False Positive Rates (1%, 5%, 10%).
Drempels: Een numerieke benchmark werd gesteld op AUROC $\ge$ 0,90 of TNR $\ge$ 40% bij 95% TPR. Cruciaal was dat een post-hoc vereiste werd toegevoegd dat elke overschrijding ook stand moet houden op het volledige Twin-n163 cohort, niet alleen op de door de guard geselecteerde subset.

Belangrijkste Resultaten

1. Deployment Prestaties (Brede Risicodetectie)

De activatiesensor blokkeerde succesvol 95,5–97,7% van de door de judge geclassificeerde compliant aanvallen over de drie modelfamilies. Echter, de sensor vertoonde hoge false-blocking rates op onschuldige benchmarks, met name XSTest:

XSTest Block Rates: 59,6% (Llama), 63,6% (Mistral) en 68,4% (Qwen).
Conclusie: De sensor fungeert als een effectieve eerste fase filter voor breed risico, maar mist de specificiteit om onschuldige, risico-nabije verzoeken te onderscheiden van schadelijke verzoeken.

2. Geometrie en Transfer Prestaties (Context Adjudicatie)

Wanneer vaste richtingen van uiteenlopende bron-audits worden overgedragen naar de same-topic Twin-paren:

Bron-audit: Bereikte bijna een plafond-AUROC (0,996–0,999) op het bron-contrast.
Transfer naar Twin-n70: De AUROC daalde naar 0,656–0,819.
Transfer naar Twin-n163: De AUROC degradeerde verder naar 0,590–0,690.
Operationeel Punt: De TNR bij 95% TPR daalde naar 8,0–21,5%, ver onder de 40% drempel.

3. Direct Fitting en Overfitting

Classifiers die direct op het paar-corpus zijn getraind (pair-trained), behaalden een hoge in-corpus AUROC (0,888–0,929) maar faalden onder hold-out condities:

Categorie/Generatie-Batch Hold-out: De prestaties daalden aanzienlijk (bijv. naar 0,661–0,780).
XSTest False Blocking: Deze classifiers blokkeerden 79,6–100% van de XSTest prompts bij 95% in-corpus TPR.
Tekst Baselines: Eenvoudige tekstkenmerken (TF-IDF, lengte) vertoonden vergelijkbare degradatiepatronen, wat suggereert dat het signaal afhankelijk is van de generatie/curatie structuur in plaats van pure semantische intentie.

4. Deflatie en Schaalvergroting

Deflatie: Het verwijderen van de gemiddelde-verschil-richting verminderde de scheiding, maar liet een statistisch detecteerbaar residu achter. Dit residu voldeed echter nooit aan de numerieke prestatiecriteria op Twin-n163.
Schaal: Experimenten op 24B en 32B modellen repliceerden het kwalitatieve patroon (sterke bron-scheiding, zwakke same-topic transfer) maar bereikten niet de vereiste operationele punten.

Betekenis en Claims

Het papier introduceert het concept van de "Entanglement Wall": een empirische operationele limiet waarbij activatie-ruimte probes effectief breed risico kunnen screenen, maar falen in het adjudiceren van context-specifieke gevolgen wanneer het onderwerp en de oppervlakkige vorm overeenkomen.

Geen Universele Limiet: De auteurs stellen expliciet dat dit geen claim is van universele representationele onmogelijkheid. Specifieke guards (zoals Llama-Guard-3) kunnen deze paren onderscheiden met een hoge nauwkeurigheid (AUROC 0,95+), wat bewijst dat de informatie aanwezig is in de output-ruimte van het model.
Rol van Probes: De resultaten suggereren dat, bij de geteste residual-stream read points, activatiescores fungeren als brede risicodetectoren in plaats van zelfstandige context-adjudicators.
Implicatie voor Veiligheid: Ambigue gevallen (waar een prompt topisch nabij gevaar ligt) vereisen nog steeds een context-gevoelige beslissingsfase die verder gaat dan eenvoudige activatie-thresholding. De "verstrengeling" (entanglement) ontstaat omdat de "gevaar-richting" in de residual stream de gedeelde onderwerpscomponent van zowel de schadelijke als de onschuldige tweeling vastlegt, waardoor de probe er niet in slaagt de specifiekan schadelijke intentie te isoleren zonder te overfitten op dataset-artefacten.

De studie concludeert dat hoewel activatie-probes waardevol zijn voor initiële risicoscreening, ze momenteel niet robuust genoeg zijn om context-bewuste adjudicatie te vervangen in scenario's met een hoog belang en hetzelfde onderwerp.