When AUC 0.998 Is Not Enough: A Candidate Evaluation Protocol for Hidden-State Probes of Indirect Prompt Injection in Multimodal Computer-Use Agents

Technische Samenvatting: Wanneer een AUC van 0,998 niet genoeg is

Probleemstelling
Hidden-state probing—het trainen van een lineaire classifier op de bevroren interne activaties van een Vision-Language Model (VLM)—is opgegekomen als een methode om Indirect Prompt Injection (IPI) te detecteren in multimodale computer-gebruikende agenten voordat zij gecorrumpeerde acties uitvoeren. Echter, hoge Area Under the Curve (AUC)-scores gerapporteerd op naïeve "clean-vs-attack"-splits duiden niet noodzakelijkerwijs op de detectie van kwaadaardige semantische inhoud. In plaats daarvan reflecteren deze scores vaak "shortcut learning", waarbij de probe oppervlakkige statistische artefacten (bijv. tekstlengte, positie of overlay-densiteit) exploiteert die door de constructie van de aanval zijn geïntroduceerd, in plaats van de onderliggende kwaadaardige intentie. Dit artikel betoogt dat een hoge headline AUC alleen onvoldoende bewijs is voor de detectie van kwaadaardige inhoud in bevroren multimodale agenten.

Methodologie
De auteurs voeren een waarschuwende casestudy uit met een bevroren Qwen2.5-VL-7B model op 80 trajecten uit de Mind2Web benchmark onder een teacher-forced replay protocol. Ze evalueren een lineaire logistische probe op hidden-state features geëxtraheerd uit zes decoderlagen over vijf token pools (totaal ~107k dimensies).

De kern bijdrage van de methodologie is een candidate control set ontworpen om te diagnosticeren of de prestaties van een probe worden gedreven door semantische inhoud of oppervlakkige artefacten. Het protocol omvat drie verschillende estimanden:

1. E1 (Headline AUC): Standaard clean-vs-attack AUC op een step-weighted row-pair basis.
2. E2 (Matched-step AUC): Een conservatieve variant waarbij de negatieven beperkt zijn tot de clean step van hetzelfde traject.
3. E3 (Direct Malicious-vs-Control AUC): Een distributionele rangschikking van de scores van de probe op geïnjecteerde stappen versus ownhandige, nuisance-matched control renders.

De control set bestaat uit twee specifieke diagnostieken:

• C1 (Paired-construction scalar baseline): Een logistische regressie op vier scalaire metadata-features (step index, horizon, prompt length en $\Delta$prompt-length) getraind op dezelfde split als de hidden-state probe. Dit test of eenvoudige metadata de klassen perfect kan scheiden, wat wijst op een paired-construction artefact.
• C2 (Visual overlay-presence controls): Voor visible-overlay aanvallen worden drie controls gerenderd op exact dezelfde screenshot, step en geometrie als de aanval, waarbij alleen de banner-inhoud varieert:
  • C-scrambled: Deterministische onzin die het karakteraantal en de OCR-densiteit behoudt.
  • C-imperative: Onschuldige UI-imperatieven met een overeenkomstige lengte.
  • C-occlusion: Een gekleurd rechthoek zonder tekst.

De studie maakt gebruik van trajectory-level cluster bootstrapping (1.000 replicates) om betrouwbaarheidsintervallen te rapporteren, waarbij wordt erkend dat stappen binnen een traject niet onafhankelijk zijn.

Belangrijkste Resultaten

• Headline Performance: De lineaire probe bereikt een bijna perfecte AUC van 0,998 op de visible-overlay (I-vis) oppervlakte en matige scores (0,705–0,771) op text-side oppervlaktes (I-dom, I-tool).
• C1 Diagnostics (Text-Side): Op text-side oppervlaktes (I-dom, I-tool) bereikt de 4-scalar metadata baseline een AUC van 1,000, wat de supervised probe evenaart of overtreft. Dit geeft aan dat de clean-vs-attack split op deze oppervlaktes een paired-construction artefact is, gedreven door metadata (specifiek $\Delta$prompt-length), wat de semantische interpretatie van de probe-prestaties ongeldig maakt.
• C2 Diagnostics (Visual-Side):
  • De probe onderscheidt kwaadaardige banners van tekstloze occlusies (C-occlusion) met een AUC van 0,990.
  • Echter, de probe slaagt er niet in om kwaadaardige banners te onderscheiden van gescrambelde onzin (C-scrambled) met een directe AUC van 0,489 (95% CI: [0,327, 0,647]), wat kansniveau bevat.
  • De probe vertoont een gedeeltelijke scheiding van onschuldige imperatieven (C-imperative) met een AUC van 0,718.
• Auxiliary Checks:
  • Cross-injection transfer: Training op text-side injecties (I-dom/I-tool) en testen op visual overlays (I-vis) levert een AUC op van 0,512 (bij kansniveau), wat suggereert dat er geen gedeelde cross-surface kwaadaardige representatie is.
  • Shuffled-label sanity: Een probe getraind op geschudde labels faalt in generalisatie (Test AUC 0,492), wat het memoriseren van traject-niveau idiosyncrasieën uitsluit.
  • Collapse-only check: Een probe beperkt tot een hidden-state collapse statistic levert een AUC op van 0,634, wat iets boven de vooraf geregistreerde ceiling van 0,60 ligt, wat suggereert dat het signaal niet louter een generieke collapse cue is, maar gecorreleerd is met de shortcuts blootgelegd door C1/C2.

Significantie en Claims
Het artikel claimt niet een nieuwe verdediging te hebben ontdekt of een universeel toepasbare detectiemethode te hebben ontwikkend. In plaats daarvan biedt het een methodologische kritiek op hoe probing-resultaten worden geïnterpreteerd in de context van de veiligheid van multimodale agenten.

1. Herwaardering van AUC: De auteurs demonstreren dat een headline AUC van 0,998 geen onvoorwaardelijke claim van "detectie van kwaadaardige inhoud" rechtvaardigt. In het geval van de visible-overlay is het signaal consistent met het detecteren van "overlay-tekst/OCR-densiteit/attack-template oppervlakte statistieken" in plaats van de semantische inhoud van de injectie.
2. Candidate Control Set: Het artikel presenteert C1 en C2 als een noodzakelijk diagnostisch recept. Het stelt dat elke gerapporteerde probing AUC gepaard moet gaan met:
   • Een scalaire metadata baseline om te controleren op paired-construction artefacten.
   • Directe malicious-vs-control AUC's met behulp van nuisance-matched controls om semantische scheidbaarheid te testen.
   • Trajectory-bootstrap betrouwbaarheidsintervallen om rekening te houden met de niet-onafhankelijkheid in horizon-gestructureerde data.
3. Bescheiden Generalisatie: De auteurs stellen expliciet dat generalisatie buiten de Qwen2.5-VL-7B backbone en de Mind2Web benchmark een conjectuur is. De waarde van het werk ligt in het blootleggen van hoe "shortcut classes" zich kunnen voordoen als semantische detectoren in een enkele instantie, en dringt gebruikers aan om een striktere rapportagechecklist te hanteren voordat zij beweren dat een probe de IPI-semantiek detecteert.

Het artikel concludeert dat hoewel de probe clean stappen onderscheidt van deze specifieke aanvalsoppervlakte op dit specifieke split, het momenteel geen bewijs levert dat de hidden state van de agent de kwaadaardige intentie van de injectie codeert, aangezien het signaal instort wanneer nuisance variabelen (zoals de tekstuele inhoud) worden gematcht.