When AUC 0.998 Is Not Enough: A Candidate Evaluation Protocol for Hidden-State Probes of Indirect Prompt Injection in Multimodal Computer-Use Agents

Sintesi Tecnica: Quando un AUC di 0,998 non è sufficiente

Enunciato del Problema
Il probing degli stati latenti (hidden-state probing) — l'addestramento di un classificatore lineare sulle attivazioni interne congelate di un modello vision-language (VLM) — è emerso come un metodo per rilevare l'Iniezione di Prompt Indiretta (IPI) negli agenti multimodali per l'uso del computer prima che eseguano azioni corrotte. Tuttavia, gli elevati punteggi di Area Under the Curve (AUC) riportati su scissioni "clean-vs-attack" naive potrebbero non indicare il rilevamento di contenuti semantici malevoli. Al contrario, questi punteggi spesso riflettono l'apprendimento di scorciatoie (shortcut learning), in cui il probe sfrutta artefatti statistici superficiali (ad esempio, lunghezza del testo, posizione o densità di overlay) introdotti dalla costruzione dell'attacco, piuttosto che l'intento malevolo sottostante. Questo articolo sostiene che un alto AUC del titolo da solo non è una prova sufficiente per il rilevamento di contenuti malevoli in agenti multimodali congelati.

Metodologia
Gli autori conducono un caso di studio cautelativo utilizzando un modello Qwen2.5-VL-7B congelato su 80 traiettorie del benchmark Mind2Web sotto un protocollo di replay teacher-forced. Valutano un probe logistico lineare sulle caratteristiche degli stati latenti estratte da sei strati del decoder attraverso cinque pool di token (per un totale di circa 107k dimensioni).

Il contributo metodologico principale è un set di controllo candidato progettato per diagnosticare se le prestazioni di un probe siano guidate dal contenuto semantico o da artefatti superficiali. Il protocollo prevede tre estimandi distinti:

1. E1 (Headline AUC): AUC standard clean-vs-attack su una base di coppie di righe pesate per step.
2. E2 (Matched-step AUC): Una variante conservativa in cui i negativi sono limitati allo step "clean" della stessa traiettoria.
3. E3 (Direct Malicious-vs-Control AUC): Un ranking distributivo dei punteggi del probe sugli step iniettati rispetto a render di controllo con variabili di disturbo (nuisance) corrispondenti nello stesso step.

Il set di controllo consiste in due specifici diagnostici:

• C1 (Paired-construction scalar baseline): Una regressione logistica su quattro caratteristiche scalari di metadati (indice dello step, horizon, lunghezza del prompt e $\Delta$prompt-length) addestrata sullo stesso split del probe degli stati latenti. Questo testa se semplici metadati possano separare perfettamente le classi, indicando un artefatto di costruzione accoppiata (paired-construction).
• C2 (Visual overlay-presence controls): Per gli attacchi con overlay visibile, tre controlli vengono renderizzati esattamente sullo stesso screenshot, step e geometria dell'attacco, variando solo il contenuto del banner:
  • C-scrambled: Gibberish deterministico che preserva il conteggio dei caratteri e la densità OCR.
  • C-imperative: Imperativi UI benigni di lunghezza corrispondente.
  • C-occlusion: Un rettangolo colorato senza testo.

Lo studio utilizza il bootstrap del cluster a livello di traiettoria (1.000 repliche) per riportare gli intervalli di confidenza, riconoscendo che gli step all'interno di una traiettoria non sono indipendenti.

Risultati Chiave

• Prestazioni Headline: Il probe lineare raggiunge un AUC quasi perfetto di 0,998 sulla superficie di overlay visibile (I-vis) e punteggi moderati (0,705–0,771) sulle superfici lato testo (I-dom, I-tool).
• Diagnostici C1 (Lato Testo): Sulle superfici lato testo (I-dom, I-tool), la baseline di metadati scalari a 4 variabili raggiunge un AUC di 1,000, eguagliando o superando il probe supervisionato. Ciò indica che la scissione clean-vs-attack su queste superfici è un artefatto di costruzione accoppiata guidato dai metadati (specificamente $\Delta$prompt-length), invalidando l'interpretazione semantica delle prestazioni del probe.
• Diagnostici C2 (Lato Visivo):
  • Il probe distingue i banner malevoli dalle occlusioni prive di testo (C-occlusion) con un AUC di 0,990.
  • Tuttavia, il probe non riesce a distinguere i banner malevoli dal gibberish rimescolato (C-scrambled) con un AUC diretto di 0,489 (95% CI: [0,327, 0,647]), che include il caso casuale.
  • Il probe mostra una separazione parziale dagli imperativi benigni (C-imperative) con un AUC di 0,718.
• Controlli Ausiliari:
  • Trasferimento di iniezione incrociata: L'addestramento su iniezioni lato testo (I-dom/I-tool) e il test su overlay visivi (I-vis) produce un AUC di 0,512 (al livello del caso), suggerendo l'assenza di una rappresentazione malevola condivisa tra le diverse superfici.
  • Sanity check con etichette rimescolate: Un probe addestrato su etichette rimescolate fallisce nel generalizzare (Test AUC 0,492), escludendo la memorizzazione di idiosincrasie a livello di traiettoria.
  • Check di solo collasso (Collapse-only check): Un probe limitato a una statistica di collasso dello stato latente produce un AUC di 0,634, superando leggermente il tetto pre-registrato di 0,60, suggerendo che il segnale non è puramente un segnale di collasso generico, ma è correlato alle scorciatoie esposte da C1/C2.

Significatività e Rivendicazioni
L'articolo non sostiene di aver scoperto una nuova difesa o un metodo di rilevamento universalmente applicabile. Al contrario, offre una critica metodologica al modo in cui i risultati del probing vengono interpretati nella sicurezza degli agenti multimodali.

1. Rivalutazione dell'AUC: Gli autori dimostrano che un AUC del titolo di 0,998 non autorizza una rivendicazione incondizionata di "rilevamento di contenuti malevoli". Nel caso dell'overlay visibile, il segnale è coerente con il rilevamento di "statistiche superficiali di overlay-testo/densità-OCR/template-attacco" piuttosto che del contenuto semantico dell'iniezione.
2. Set di Controllo Candidato: L'articolo propone C1 e C2 come una ricetta diagnostica necessaria. Sostiene che qualsiasi AUC di probing riportato debba essere accompagnato da:
   • Una baseline di metadati scalari per controllare gli artefatti di costruzione accoppiata.
   • AUC diretti malevoli-vs-controllo utilizzando controlli con variabili di disturbo (nuisance) corrispondenti per testare la separabilità semantica.
   • Intervalli di confidenza tramite bootstrap della traiettoria per tenere conto della non-indipendenza nei dati strutturati per horizon.
3. Modesta Generalizzazione: Gli autori dichiarano esplicitamente che la generalizzazione oltre il backbone Qwen2.5-VL-7B e il benchmark Mind2Web è una congettura. Il valore del lavoro risiede nell'esporre come le "classi di scorciatoia" possano mascherarsi da rilevatori semantici in una singola istanza, esortando i valutatori ad adottare una checklist di reporting più rigorosa prima di affermare che un probe rileva la semantica dell'IPI.

L'articolo conclude che, sebbene il probe distingua gli step puliti da questa specifica superficie di attacco su questo specifico split, esso non fornisce attualmente prove che lo stato latente dell'agente codifichi l' intento malevolo dell'iniezione, poiché il segnale collassa quando le variabili di disturbo (come il contenuto testuale) vengono pareggiate.