When AUC 0.998 Is Not Enough: A Candidate Evaluation Protocol for Hidden-State Probes of Indirect Prompt Injection in Multimodal Computer-Use Agents

Resumen Técnico: Cuando un AUC de 0.998 no es suficiente

Planteamiento del Problema
El sondeo de estados ocultos (hidden-state probing) —entrenar un clasificador lineal sobre las activaciones internas congeladas de un Modelo de Lenguaje-Visión (VLM)— ha surgido como un método para detectar la Inyección de Prompt Indirecta (IPI) en agentes multimodales de uso de computadora antes de que ejecuten acciones corruptas. Sin embargo, los altos puntajes de Área Bajo la Curva (AUC) reportados en divisiones ingenuas de "limpio-contra-ataque" pueden no indicar la detección de contenido semántico malicioso. En su lugar, estos puntajes suelen reflejar un "aprendizaje de atajos" (shortcut learning), donde el sondeo explota artefactos estadísticos superficiales (p. ej., longitud del texto, posición o densidad de superposición) introducidos por la construcción del ataque, en lugar del trasfondo de intención maliciosa. Este artículo argumenta que un alto AUC de titular por sí solo es una evidencia insuficiente para la detección de contenido malicioso en agentes multimodales congelados.

Metodología
Los autores llevan a cabo un estudio de caso cauteloso utilizando un modelo Qwen2.5-VL-7B congelado sobre 80 trayectorias del benchmark Mind2Web bajo un protocolo de repetición de forzado de profesor (teacher-forced replay). Evalúan un sondeo logístico lineal sobre características de estados ocultos extraídas de seis capas del decodificador a través de cinco grupos de tokens (un total de ~107k dimensiones).

La contribución metodológica central es un conjunto de control de candidatos diseñado para diagnosticar si el rendimiento de un sondeo es impulsado por el contenido semántico o por artefactos superficiales. El protocolo involucra tres estimandos distintos:

1. E1 (AUC de titular): AUC estándar de limpio-contra-ataque basado en pares de filas ponderadas por paso.
2. E2 (AUC de paso emparejado): Una variante conservadora donde los negativos se restringen al paso limpio de la misma trayectoria.
3. E3 (AUC directo de Malicioso-contra-Control): Un ranking de distribución de las puntuaciones del sondeo en pasos inyectados frente a renders de control emparejados por molestias (nuisance-matched) en el mismo paso.

El conjunto de control consiste en dos diagnósticos específicos:

• C1 (Línea base escalar de construcción emparejada): Una regresión logística sobre cuatro características de metadatos escalares (índice de paso, horizonte, longitud del prompt y $\Delta$longitud-del-prompt) entrenada en la misma división que el sondeo de estado oculto. Esto prueba si metadatos simples pueden separar perfectamente las clases, indicando un artefacto de construcción emparejada.
• C2 (Controles de presencia de superposición visual): Para ataques de superposición visible, se renderizan tres controles en la misma captura de pantalla, paso y geometría que el ataque, variando únicamente el contenido del banner:
  • C-scrambled (revolcado): Jerga determinista que preserva el recuento de caracteres y la densidad de OCR.
  • C-imperative (imperativo): Imperativos de interfaz de usuario benignos de longitud coincidente.
  • C-occlusion (oclusión): Un rectángulo de color sin texto.

El estudio emplea el bootstrapping de clústeres a nivel de trayectoria (1,000 réplicas) para reportar intervalos de confianza, reconociendo que los pasos dentro de una trayectoria no son independientes.

Resultos Clave

• Rendimiento de Titular: El sondeo lineal logra un AUC casi perfecto de 0.998 en la superficie de superposición visible (I-vis) y puntajes moderados (0.705–0.771) en superficies del lado del texto (I-dom, I-tool).
• Diagnósticos C1 (Lado del Texto): En superficies del lado del texto (I-dom, I-tool), la línea base de metadatos de 4 escalares logra un AUC de 1.000, igualando o excediendo al sondeo supervisado. Esto indica que la división limpio-contra-ataque en estas superficies es un artefacto de construcción emparejada impulsado por metadatos (específicamente $\Delta$longitud-del-prompt), invalidando la interpretación semántica del rendimiento del sondeo.
• Diagnósticos C2 (Lado Visual):
  • El sondeo distingue banners maliciosos de oclusiones sin texto (C-occlusion) con un AUC de 0.990.
  • Sin embargo, el sondeo no logra distinguir banners maliciosos de la jerga revuelta (C-scrambled) con un AUC directo de 0.489 (95% CI: [0.327, 0.647]), el cual incluye el azar.
  • El sondeo muestra una separación parcial de los imperativos benignos (C-imperative) con un AUC de 0.718.
• Verificaciones Auxiliares:
  • Transferencia de inyección cruzada: Entrenar en inyecciones del lado del texto (I-dom/I-tool) y probar en superposiciones visuales (I-vis) produce un AUC de 0.512 (en el nivel del azar), lo que sugiere que no existe una representación maliciosa compartida entre superficies.
  • Sanidad de etiquetas permutadas: Un sondeo entrenado con etiquetas permutadas falla en generalizar (AUC de prueba 0.492), descartando la memorización de idiosincrasias a nivel de trayectoria.
  • Verificación de solo colapso: Un sondeo restringido a una estadística de colapso de estado oculto produce un AUC de 0.634, superando ligeramente el techo pre-registrado de 0.60, lo que sugiere que la señal no es puramente un indicio de colapso genérico, sino que está correlacionada con los atajos expuestos por C1/C2.

Significancia y Reivindicaciones
El artículo no pretende haber descubierto una nueva defensa o un método de detección universalmente aplicable. En cambio, ofrece una crítica metodológica de cómo se interpretan los resultados de sondeo en la seguridad de agentes multimodales.

1. Reevaluación del AUC: Los autores demuestran que un AUC de titular de 0.998 no otorga el derecho a una afirmación de "detección de contenido malicioso" sin calificativos. En el caso de la superposición visible, la señal es consistente con la detección de "estadísticas de superficie de texto de superposición/densidad de OCR/plantilla de ataque" en lugar del contenido semántico de la inyección.
2. Conjunto de Control de Candidatos: El artículo empaqueta C1 y C2 como una receta diagnóstica necesaria. Argumenta que cualquier AUC de sondeo reportado debe ir acompañado de:
   • Una línea base de metadatos escalares para verificar artefactos de construcción emparejada.
   • AUCs directos de malicioso-contra-control utilizando controles emparejados por molestias para probar la separabilidad semántica.
   • Intervalos de confianza de bootstrapping de trayectoria para dar cuenta de la no-independencia en datos estructurados por horizonte.
3. Generalización Modesta: Los autores declaran explícitamente que la generalización más allá del backbone Qwen2.5-VL-7B y el benchmark Mind2Web es una conjetura. El valor del trabajo reside en exponer cómo las "clases de atajo" pueden hacerse pasar por detectores semánticos en una única instancia, instando a los evaluadores a adoptar un checklist de reporte más riguroso antes de afirmar que un sondeo detecta la semántica de la IPI.

El artículo concluye que, si bien el sondeo distingue pasos limpios de esta superficie de ataque específica en este split específico, no proporciona actualmente evidencia de que el estado oculto del agente codifique la intención maliciosa de la inyección, ya que la señal colapsa cuando las variables de molestia (como el contenido del texto) se emparejan.