Resumen Técnico: Respuestas Falsificadas: Forja Adversaria contra el VQA de Documentos sin OCR

Declaración del Problema

Los sistemas de Respuesta Visual a Preguntas sobre Documentos (DocVQA), particularmente aquellos que utilizan arquitecturas de extremo a extremo sin OCR, han emergido como herramientas poderosas para el razonamiento sobre imágenes de documentos. Estos modelos procesan imágenes brutas y preguntas en lenguaje natural para generar respuestas, evitando los costos computacionales y la propagación de errores asociados con las canalizaciones tradicionales de Reconocimiento Óptico de Caracteres (OCR). Sin embargo, la vulnerabilidad de los modelos de Aprendizaje Profundo (DL) ante perturbaciones adversarias —manipulaciones sutiles de la entrada que desencadenan comportamientos no deseados— no ha sido investigada exhaustivamente en el contexto de DocVQA.

El artículo identifica una brecha de seguridad crítica: el potencial de "forja de documentos" mediante ataques adversarios. A diferencia de los ataques estándar de clasificación de imágenes, los ataques de DocVQA buscan manipular salidas semánticas específicas (respuestas) derivadas de diseños de documentos complejos. Los autores postulan que incluso las perturbaciones visualmente imperceptibles podrían permitir a los adversarios inducir respuestas incorrectas específicas (por ejemplo, alterar totales financieros en una factura) o causar un fallo sistemático del modelo. En canalizaciones automatizadas, como las habilitadas por protocolos como el Agentes Payments Protocol (AP2), estas vulnerabilidades podrían conducir directamente a pérdidas monetarias o transacciones no autorizadas.

Metodología

Modelo de Amenaza

Los autores formalizan un modelo de amenaza de caja blanca donde el adversario posee conocimiento completo del sistema DocVQA objetivo, incluyendo su arquitectura, canalizaciones de preprocesamiento, parámetros y gradientes. El atacante tiene acceso a la imagen del documento original $x$ y las respuestas de verdad de campo $y$, pero la pregunta $q$ es fija (por ejemplo, un prompt del sistema). El objetivo del atacante es generar un documento perturbado $x' = x + \delta$ que cause que el modelo produzca una respuesta manipulada $y^*$.

El ataque opera bajo las siguientes restricciones:

• Manipulación del Espacio de Entrada: Las perturbaciones se aplican directamente a los valores de los píxeles brutos de la imagen del documento antes de cualquier preprocesamiento específico del modelo.
• Imperceptibilidad: La perturbación $\delta$ está restringida por una norma $\ell_\infty$ ($\|\delta\|_\infty \leq \epsilon$) para asegurar que permanezca visualmente sutil.
• Escenarios: El marco soporta tres escenarios de ataque:
  1. Single-QA Dirigido: Forzar una respuesta incorrecta específica para una sola pregunta.
  2. Multi-QA Dirigido: Forzar respuestas incorrectas específicas para múltiples preguntas simultáneamente.
  3. Denegación de Respuesta (DoA): Inducir respuestas generalmente incorrectas para todas las preguntas en un documento (violación de disponibilidad).

Formulación y Optimización del Ataque

Los autores emplean el Descenso de Gradiente Proyectado (PGD) para optimizar la perturbación. La función objetivo minimiza la pérdida entre la salida del modelo y una respuesta objetivo $y^*$ (para ataques dirigidos) o maximiza la pérdida contra la verdad de campo (para ataques no dirigidos de DoA).

Una contribución técnica clave es el manejo del preprocesamiento específico del modelo. Dado que los modelos DocVQA como Pix2Struct y Donut emplean pasos de preprocesamiento únicos y a menudo no diferenciables (por ejemplo, extracción de parches, normalización específica, renderizado de preguntas), los autores realizaron ingeniería inversa a estas canalizaciones para crear grafos computacionales totalmente diferenciables. Esto permite que los gradientes fluyan desde la salida del modelo hacia la imagen de entrada bruta, permitiendo una optimización de extremo a extremo.

Se utilizaron dos funciones de pérdida distintas:

1. Pérdida de Ajuste Fino Estándar: La log-verosimilitud negativa utilizada en el entrenamiento original del modelo.
2. Pérdida de Logit Personalizada: Una novedosa función de pérdida diseñada específicamente para mejorar la eficacia del ataque en el modelo Donut. Esta pérdida penaliza solo aquellos tokens objetivo que no son actualmente el logit máximo, guiando la optimización para "hacer emerger" los tokens objetivo sin perturbar los que ya son correctos.

Configuración Experimental

El estudio evalúa ataques en dos modelos de vanguardia sin OCR:

• Pix2Struct: Un transformador de lenguaje-visión que renderiza la pregunta como un encabezado visual en la imagen.
• Donut: Un transformador que acepta la pregunta como un prompt de texto.

Los experimentos se realizaron en el conjunto de datos PFL-DocVQA, utilizando un subconjunto de 1,000 documentos de facturas únicos, cada uno con 5 pares de pregunta-respuesta asociados. Los autores probaron tanto ataques de documento completo (perturbando toda la imagen) como ataques basados en parches (perturbando una región localizada, por ejemplo, un cuadrado del 15% en la esquina inferior derecha).

Resultados Clave

Tasa de Éxito del Ataque (ASR)

• Single-QA Dirigido: Los ataques fueron altamente efectivos. Para ataques de documento completo, el ASR alcanzó casi el 100% para Pix2Struct y poco menos del 80% para Donut. Los ataques de parches también fueron exitosos para Pix2Struct (~100% ASR) pero significativamente menos efectivos para Donut (<20% ASR).
• Multi-QA Dirigido: A medida que aumenta el número de preguntas optimizadas ($B$), el ASR disminuye, lo que refleja la mayor dificultad de satisfacer múltiples restricciones simultáneamente. Pix2Struct mantuvo un alto ASR para $B$ pequeño, mientras que el rendimiento de Donut cayó rápidamente, aproximándose a cero en $B=2$.
• Denegación de Respuesta (DoA): Los ataques no dirigidos demostraron ser altamente efectivos para degradar el rendimiento del modelo. Incluso con un solo paso de optimización ($K=1$), los modelos fueron perturbados. El ASR para DoA se mantuvo alto para $B=1$ pero disminuyó a medida que se atacaron más preguntas, aunque la caída fue menos severa para Donut en comparación con el escenario dirigido.

Daño Colateral (CDMG) y ANLS

• Daño Colateral: Para los ataques de Single-QA dirigidos, el CDMG se mantuvo bajo, lo que indica que las respuestas no dirigidas en el mismo documento permanecieron mayormente correctas. Sin embargo, en los escenarios de Multi-QA y DoA, el CDMG aumentó como era de esperar, particularmente en DoA donde el objetivo es la disrupción global.
• Puntuaciones ANLS: Las métricas de Similitud de Levenshtein Normalizada Promedio (ANLS) confirmaron la dinámica del ataque. En ataques dirigidos, ANLS-B (similitud con las respuestas objetivo) aumentó, mientras que ANLS-C (similitud con la verdad de campo para respuestas no dirigidas) se mantuvo alto. En ataques de DoA, ANLS-B (similitud con la verdad de campo) disminuyó significativamente, confirmando la degradación de las salidas correctas.

Significancia y Reivindicaciones

El artículo afirma presentar el primer modelo de amenaza que analiza específicamente la vulnerabilidad adversaria de los sistemas DocVQA sin OCR. Su principal significancia radica en demostrar que:

1. Vulnerabilidad de Extremo a Extremo: Los sistemas DocVQA actuales son susceptibles de forja adversaria donde pequeñas perturbaciones, localizadas o de documento completo, pueden inducir respuestas semánticamente incorrectas específicas.
2. Impacto en el Mundo Real: Estos ataques no son meramente teóricos; pueden diseñarse para manipular datos financieros (por ejemplo, totales de facturas) o activar condiciones de denegación de servicio en canalizaciones de procesamiento de documentos automatizadas.
3. Sensibilidad del Modelo: Diferentes arquitecturas exhiben distintos niveles de robustez. Se encontró que Pix2Struct es más vulnerable a ataques de parches que Donut, mientras que Donut tiene más dificultades con la optimización de múltiples objetivos.
4. Llamado a la Defensa: Los hallazgos resaltan la necesidad crítica de defensas robustas, incluyendo el entrenamiento adversario adaptado a las modalidades de documentos, la detección de entradas anómalas y el endurecimiento de las canalizaciones de preprocesamiento.

Los autores enfatizan que, si bien su estudio asume un entorno de caja blanca (un límite superior de la capacidad de ataque), los resultados establecen un límite superior claro de la efectividad de tales ataques, instando a la comunidad a desarrollar mitigaciones con principios establecidos antes de que estas vulnerabilidades sean explotadas en el mundo real.