Resumen Técnico: VisualLeakBench

Definición del Problema

Los agentes de visión-lenguaje (VLA) se están integrando cada vez más en flujos de trabajo agénticos donde procesan capturas de pantalla, documentos e interfaces de usuario para ejecutar acciones posteriores, tales como guardar notas, enviar correos electrónicos o realizar consultas de búsqueda. Mientras que la investigación de seguridad previa se ha centrado en la filtración a nivel de respuesta (lo que el modelo dice al usuario), este artículo identifica un modo de fallo distinto y crítico: la propagación del límite de acción (action-boundary propagation).

Este fallo ocurre cuando un agente de visión-lenguaje extrae texto visible sensible o inseguro de una imagen de entrada y lo propaga directamente en los argumentos de una llamada a una herramienta. A diferencia de un fallo de rechazo, donde el modelo simplemente declina una solicitud, este fallo suele ser invisible a la inspección a nivel de respuesta porque la salida visible del modelo puede ser benigna, mientras que el contenido peligroso está incrustado en los argumentos estructurados de la herramienta (por ejemplo, save_note(content="...API_KEY...")). Esto permite que los datos sensibles persistan en la memoria, salgan del contexto local o se conviertan en entrada para otros sistemas sin el conocimiento explícito del usuario.

Metodología

Los autores presentan VisualLeakBench, un benchmark reproducible diseñado para medir y diagnosticar estos fallos de propagación.

Diseño del Benchmark

• Dataset: Un conjunto diversificado de 500 imágenes que abarcan cinco familias visuales: UI, chat, documento, formulario y dashboard.
• Tracks (Pistas):
  1. PII Track: Contiene ocho tipos sintéticos de Información de Identificación Personal (SSN, tarjetas de crédito, correos electrónicos, claves de API, etc.).
  2. Rendered Unsafe-Text Track: Contiene solicitudes dañinas sintéticas (por ejemplo, phishing, fraude, sabotaje) renderizadas como texto visible dentro de contextos visuales ordinarios.
• Protocolo de Evaluación: El estudio evalúa un subconjunto estratificado de 100 imágenes utilizando cuatro sistemas VLM de producción (GPT-5.4, Claude Opus 4.7, Gemini 3.1 Flash Lite y Grok 4.20).
• Workflows (Flujos de Trabajo): Se prueban dos escenarios de uso de herramientas de un solo paso:
  1. Captura de Notas: El agente llama a save_note(content).
  2. Traspaso Externo: El agente llama a send_email(to, body).
  3. Investigación Web: Se probó una tercera superficie de herramienta (search_query) para evaluar la especificidad de la superficie de la herramienta.
• Métricas: La métrica principal es la tasa de propagación de la herramienta (tool propagation rate), definida como la fracción de trazas sin error donde la cadena objetivo normalizada aparece en los argumentos de la herramienta. La evaluación distingue entre "filtración solo en la respuesta", "propagación solo en la herramienta" y "filtración en respuesta y herramienta".

Estrategia de Mitigación

Los autores prueban un system prompt defensivo ligero que instruye a los modelos a no transcribir PII y a rechazar solicitudes de ingeniería social. Además, se utiliza un diagnóstico de oráculo de etiquetas objetivo (labeled-target oracle diagnostic) fuera de línea para simular un guardián perfecto en el límite de la herramienta, bloqueando cualquier llamada a la herramienta que contenga la cadena objetivo sintética conocida. Esto sirve como un diagnóstico de límite superior para aislar el valor de controlar el límite de la herramienta.

Resultados Clave

Altas Tasas de Propagación en el Baseline

Sin un prompt defensivo, la propagación del límite de acción es severa:

• PII: Propagada en el 78.8% de las trazas sin error. Las tasas variaron según el modelo (por ejemplo, hasta 95.7% para Claude en la captura de notas) y el escenario (más alta en la captura de notas que en el traspaso externo).
• Texto Inseguro Renderizado: Propagado en el 85.5% de las trazas sin error.

Mitigación Asimétrica

El prompt defensivo produjo resultados altamente asimétricos:

• PII: La propagación disminuyó significativamente del 78.8% al 2.0%. Sin embargo, los autores señalan que esto se logró en gran medida mediante la supresión total del uso de herramientas (el 94.2% de las trazas resultaron en "sin llamada a la herramienta") en lugar de sanear los argumentos preservando la utilidad.
• Texto Inseguro Renderizado: La propagación se mantuvo alta en 52.6%. La mitigación falló en prevenir que la mayoría del texto inseguro cruzara el límite de la herramienta, sugiriendo que los modelos tratan el texto dañino renderizado como contenido para ser preservado o reenviado en lugar de como una violación de seguridad que debe ser rechazada.

Diagnósticos de Traza y Especificidad de la Superficie de la Herramienta

• Dominio de Solo la Herramienta: La mayoría de los fallos (78.1% para PII, 83.4% para texto inseguro) fueron propagaciones de "solo herramienta", donde la respuesta visible era segura pero los argumentos de la herramienta contenían el objetivo. Esto confirma que la inspección de la respuesta es insuficiente para evaluar el riesgo de un agente.
• Dependencia de la Superficie de la Herramienta:
  • Herramientas de Búsqueda: Las herramientas de tipo búsqueda (investigación web) casi nunca propagaron PII (1.0% de baseline), probablemente porque las consultas de búsqueda están orientadas a palabras clave y no invitan naturalmente a preservar detalles de contacto completos.
  • Herramientas de Nota/Traspaso: Estas herramientas invitan naturalmente a preservar el contenido visible, lo que conduce a mayores tasas de propagación.
  • Persistencia de Texto Inseguro: Incluso con herramientas de búsqueda, el texto inseguro renderizado mantuvo un riesgo residual (54.5% de baseline), lo que indica que las instrucciones dañinas pueden cruzar los límites de acción independientemente de la semántica de la herramienta.

Diagnósticos de Oráculo

El diagnóstico de oráculo reveló que bloquear los argumentos de la herramienta que contienen la cadena objetivo elimina la gran mayoría de los fallos de propagación (por ejemplo, 335/341 trazas de texto inseguro detectadas). Sin embargo, permanece un pequeño riesgo residual proveniente de la filtración en el lado de la respuesta, lo que destaca que el límite de la herramienta es un punto de intervención crítico, pero no exclusivo.

Significancia y Reivindicaciones

El artículo posiciona a VisualLeakBench como un primitivo de fallo controlado para estudiar la seguridad de los agentes, en lugar de una afirmación de que todos los agentes desplegados carecen de filtros de memoria o puntos de control humanos.

1. Redefinición de la Unidad de Fallo: El trabajo desplaza la unidad de análisis desde la seguridad del chat a nivel de respuesta hacia la propagación del límite de acción. Demuestra que un modelo puede ser "seguro" en su respuesta visible mientras ejecuta simultáneamente una acción insegura al incrustar datos sensibles en los argumentos de la herramienta.
2. Granularidad Diagnóstica: Al separar las clases de traza (solo respuesta vs. solo herramienta), el estudio revela que la inspección estándar de la respuesta es insuficiente para la evaluación de la seguridad de los agentes.
3. Asimetría de Mitigación: Los resultados resaltan que las formas reconocibles de PII son más fáciles de suprimir (a menudo mediante la supresión de la herramienta) que el texto inseguro renderizado, que los modelos a menudo interpretan erróneamente como contenido benigno que debe preservarse.
4. Reproducibilidad: Los autores proporcionan un artefacto exhaustivo que incluye registros por traza, reglas de normalización y scripts para regenerar tablas agregadas, lo que permite la atribución precisa de los fallos a familias visuales, modelos o superficies de herramientas específicas.

Los autores concluyen que las evaluaciones futuras de agentes deben tratar los argumentos de las herramientas como artefactos de seguridad de primera clase e informar diagnósticos a nivel de traza junto con los resultados a nivel de respuesta para capturar plenamente el panorama de riesgos de los agentes de visión-lenguaje.