When AUC 0.998 Is Not Enough: A Candidate Evaluation Protocol for Hidden-State Probes of Indirect Prompt Injection in Multimodal Computer-Use Agents

Resumo Técnico: Quando um AUC de 0,998 Não é Suficiente

Declaração do Problema
A sondagem de estados ocultos (hidden-state probing) — treinar um classificador linear nas ativações internas congeladas de um Modelo de Visão-Linguagem (VLM) — emergiu como um método para detectar Injeção de Prompt Indireta (IPI) em agentes multimodais de uso de computador antes que eles executem ações corrompidas. No entanto, altos escores de Área Sob a Curva (AUC) relatados em divisões ingênuas de "limpo-vs-ataque" podem não indicar a detecção de conteúdo semântico malicioso. Em vez disso, esses escores frequentemente refletem o "aprendizado de atalhos" (shortcut learning), onde o sondador (probe) explora artefatos estatísticos superficiais (ex: comprimento do texto, posição ou densidade de sobreposição) introduzidos pela construção do ataque, em vez do conteúdo malicioso subjacente. Este artigo argumenta que um AUC de manchete elevado, por si só, é uma evidência insuficiente para a detecção de conteúdo malicioso em agentes multimodais congelados.

Metodologia
Os autores conduzem um estudo de caso cauteloso utilizando um modelo Qwen2.5-VL-7B congelado em 80 trajetórias do benchmark Mind2Web sob um protocolo de replicação de força de professor (teacher-forced replay). Eles avaliam um sonda logística linear em características de estados ocultos extraídas de seis camadas de decodificação através de cinco pools de tokens (totalizando ~107k dimensões).

A principal contribuição metodológica é um conjunto de controle candidato projetado para diagnosticar se o desempenho de um sonda é impulsionado pelo conteúdo semântico ou por artefatos superficiais. O protocolo envolve três estimandos distintos:

1. E1 (AUC de Manchete): AUC padrão de limpo-vs-ataque com base em pares de linhas ponderadas por passo.
2. E2 (AUC de Passo Correspondente): Uma variante conservadora onde os negativos são restritos ao passo limpo da mesma trajetória.
3. E3 (AUC Direto Malicioso-vs-Controle): Um ranking distributivo dos escores do sonda em passos injetados versus renders de controle pareados por incômodo (nuisance-matched) no mesmo passo.

O conjunto de controle consiste em dois diagnósticos específicos:

• C1 (Baseline escalar de construção pareada): Uma regressão logística sobre quatro características de metadados escalares (índice do passo, horizonte, comprimento do prompt e $\Delta$comprimento-do-prompt) treinada na mesma divisão que o sonda de estado oculto. Isso testa se metadados simples podem separar perfeitamente as classes, indicando um artefato de construção pareada.
• C2 (Controles de presença de sobreposição visual): Para ataques de sobreposição visível, três controles são renderizados exatamente na mesma captura de tela, passo e geometria que o ataque, variando apenas o conteúdo do banner:
  • C-embaralhado (scrambled): Gibberish determinístico preservando a contagem de caracteres e a densidade de OCR.
  • C-imperativo: Imperativos de UI benignos de comprimento correspondente.
  • C-oclusão: Um retângulo colorido sem texto.

O estudo emprega bootstrapping de cluster ao nível da trajetória (1.000 réplicas) para relatar intervalos de confiança, reconhecendo que os passos dentro de uma trajetória não são independentes.

Resultos Principais

• Desempenho de Manchete: O sonda linear alcança um AUC quase perfeito de 0,998 na superfície de sobreposição visível (I-vis) e escores moderados (0,705–0,771) em superfícies do lado do texto (I-dom, I-tool).
• Diagnósticos C1 (Lado do Texto): Nas superfícies do lado do texto (I-dom, I-tool), a baseline de metadados de 4 escalares atinge um AUC de 1,000, igualando ou excedendo o sonda supervisionado. Isso indica que a divisão limpo-vs-ataque nessas superfícies é um artefato de construção pareada impulsionado por metadados (especificamente $\Delta$comprimento-do-prompt), invalidando a interpretação semântica do desempenho do sonda.
• Diagnósticos C2 (Lado Visual):
  • O sonda distingue banners maliciosos de oclusões sem texto (C-oclusão) com um AUC de 0,990.
  • No entanto, o sonda falha em distinguir banners maliciosos de gibberish embaralhado (C-embaralhado) com um AUC direto de 0,489 (95% CI: [0,327, 0,647]), que inclui o acaso.
  • O sonda mostra separação parcial de imperativos benignos (C-imperativo) com um AUC de 0,718.
• Verificações Auxiliares:
  • Transferência de injeção cruzada: Treinar em injeções do lado do texto (I-dom/I-tool) e testar em sobreposições visuais (I-vis) produz um AUC de 0,512 (ao nível do acaso), sugerindo que não há representação maliciosa compartilhada entre superfícies.
  • Sanidade de rótulos embaralhados: Um sonda treinado em rótulos embaralhados falha em generalizar (AUC de Teste 0,492), descartando a memorização de idiossincrasias ao nível da trajetória.
  • Verificação de colapso único: Um sonda restrito a uma estatística de colapso de estado oculto produz um AUC de 0,634, excedendo ligeiramente o teto pré-registrado de 0,60, sugerindo que o sinal não é puramente um indício de colapso genérico, mas está correlacionado com os atalhos expostos por C1/C2.

Significância e Alegações
O artigo não alega ter descoberto uma nova defesa ou um método de detecção universalmente aplicável. Em vez disso, oferece uma crítica metodológica de como os resultados de sondagem são interpretados na segurança de agentes multimodais.

1. Reavaliando o AUC: Os autores demonstram que um AUC de manchete de 0,998 não licencia uma afirmação desqualificada de "detecção de conteúdo malicioso". No caso da sobreposição visível, o sinal é consistente com a detecção de "estatísticas de superfície de sobreposição-de-texto/densidade-de-OCR/template-de-ataque" em vez do conteúdo semântico da injeção.
2. Conjunto de Controle Candidato: O artigo empacota C1 e C2 como uma receita diagnóstica necessária. Ele argumenta que qualquer AUC de sondagem relatado deve ser acompanhado de:
   • Uma baseline de metadados escalares para verificar artefatos de construção pareada.
   • AUCs diretos de malicioso-vs-controle usando controles pareados por incômodo para testar a separabilidade semântica.
   • Intervalos de confiança de bootstrap de trajetória para dar conta da não-independência em dados estruturados de horizonte.
3. Generalização Modesta: Os autores declaram explicitamente que a generalização além do backbone Qwen2.5-VL-7B e do benchmark Mind2Web é uma conjectura. O valor do trabalho reside em expor como "classes de atalho" podem mascarar-se como detectores semânticos em uma única instância, instando os avaliadores a adotar um checklist de relatório mais rigoroso antes de alegar que um sonda detecta a semântica de IPI.

O artigo conclui que, embora o sonda distinga passos limpos desta específica superfície de ataque neste específico split, ele não fornece atualmente evidências de que o estado oculto do agente codifica a intenção maliciosa da injeção, pois o sinal colapsa quando as variáveis de incômodo (como o conteúdo do texto) são pareadas.