Towards Robustness against Typographic Attack with Training-free Concept Localization

Resumen Técnico: Hacia la robustez contra el ataque tipográfico mediante la localización de conceptos sin entrenamiento

Planteamiento del problema
Los modelos de Preentrenamiento de Lenguaje e Imagen Contrastiva (CLIP) sirven como codificadores de visión fundamentales para los modernos Modelos de Lenguaje y Visión de Gran Escala (LVLM). A pesar de su adopción generalizada, estos modelos exhiben una vulnerabilidad crítica conocida como Ataque Tipográfico (TA). En este escenario, texto irrelevante superpuesto en una imagen (por ejemplo, la palabra "Goose" sobre la imagen de un gato) provoca que el modelo clasifique erróneamente la imagen basándose en el contenido léxico en lugar del verdadero semántica visual. Este modo de fallo surge de un "entrelazamiento de características", donde los codificadores Vision Transformer (ViT) no pueden desacoplar eficazmente las características visuales de la semántica codificada en las formas léxicas. Las defensas existentes suelen depender de un entrenamiento supervisado o intervenciones de caja negra, careciendo de interpretabilidad y fallando en abordar la raíz mecanística de la vulnerabilidad.

Metodología
Los autores proponen un método de interpretabilidad mecanística sin entrenamiento para localizar y mitigar las vulnerabilidades de TA dentro de la arquitectura ViT. El enfoque se fundamenta en la Hipótesis de la Representación Lineal y la Hipótesis del Billete de Lotería, operando a través de tres etapas principales:

1. Minería Estocástica de Conceptos:
   En lugar de un costoso aprendizaje de diccionario paramétrico, el método emplea el muestreo estocástico de vectores de pseudo-conceptos dentro del subespacio de dimensión inferior de las cabezas de Auto-Atención de Cabezal Múltiple (MHSA). Al muestrear vectores aleatorios ($u$) de una distribución Gaussiana, el método trata el descubrimiento de conceptos como una "lotería estocástica". El análisis teórico sugiere que operar en el subespacio $d_{head}$ (en lugar del $d_{model}$ global) reduce significativamente la interferencia polisemántica, aumentando la probabilidad de encontrar "billetes ganadores": muestras que se alinean fielmente con conceptos léxicos específicos.

2. Atribución Basada en Gradientes y Minería de Circuitos:
   El método cuantifica el "foco léxico" de las cabezas de atención individuales utilizando una Puntuación de Atribución de Texto (TAS). Calcula la derivada parcial de la fuerza del concepto proyectado con respecto a los logits de atención pre-softmax. Este mapa de atribución considera conjuntamente la activación de la atención ($A_{i,j}$) y la utilidad marginal del parche ($V_j(u) - F_i(u)$). Al agregar las puntuaciones sobre un conjunto de datos no etiquetados, el método identifica cabezas de atención y circuitos específicos que codifican desproporcionadamente información de texto adversaria.

3. Intervención Mecanística:
   Una vez identificados los "circuitos de lectura tipográfica" vulnerables, el método aplica intervenciones en tiempo de prueba sin reentrenamiento:

   • Reponderación de la Atención: Para modelos con un token <cls>, se suprimen los pesos de atención del token <cls> hacia los parches que contienen texto (se reponderan a cero), obligando al modelo a depender de los parches visuales.
   • Ablación Cero: Para los LVLM que carecen de un token <cls> dedicado, las salidas de los módulos vulnerables identificados se reemplazan con vectores cero, eliminando eficazmente la distracción léxica del flujo de procesamiento.

Contribuciones Clave

• Minería de Conceptos basada en Muestreo: Un novedoso método de muestreo estocástico sin entrenamiento que aprovecha la descomposición natural de los módulos MHSA para aumentar la probabilidad de aciertos de conceptos sin necesidad de aprendizaje de diccionario paramétrico.
• Explicación de la Vulnerabilidad: Un mecanismo de atribución basado en gradientes que analiza conjuntamente el "foco" de la atención y la "dirección" del concepto para producir puntuaciones normalizadas (nTAS) que identifican consistentemente los módulos de enfoque léxico.
• Intervención Mecanística: Una demostración de que las intervenciones simples, sin optimización (reponderación o ablación) sobre los circuitos identificados, mejoran sustancialmente la robustez contra los TA tanto en la clasificación de objetos como en la Pregunta-Respuesta Visual (VQA).

Resultados Experimentales
El método fue evaluado en cinco variantes de CLIP ViT (desde ViT-B/16 hasta ViT-bigG/14) y varios LVLM de última generación (Qwen3-VL, InternVL3.5, Gemma3).

• Clasificación de Objetos: En conjuntos de datos como RTA-100, Disentangling y PAINT, la intervención mejoró significativamente la Precisión de Clasificación de Objetos (OCA) mientras reducía drásticamente la Tasa de Confusión de Texto (TCR). Por ejemplo, en ViT-H/14, la OCA mejoró en un +22.8% en RTA-100, mientras que la TCR cayó un 27.6%. El método superó tanto a los baselines supervisados (Defense-Prefix) como a otros métodos sin entrenamiento (Dyslexify).
• Robustez de LVLM: Aplicado a LVLM en el conjunto de datos RIO-Bench, la intervención mejoró la precisión de VQA en múltiples tamaños de modelo (por ejemplo, +1.58% en Qwen3-VL-8B) bajo interferencia de ataque tipográfico, con un impacto insignificante (<1%) en el rendimiento de imágenes limpias.
• Eficiencia: El proceso de extracción de circuitos es extremadamente rápido (menos de un minuto para todos los backbones en una sola A100) y requiere solo una fracción mínima (0.1%) de un conjunto de datos de entrenamiento para la calibración del umbral.

Significancia y Reivindicaciones
El artículo afirma que su enfoque proporciona una solución fiel y explicable a la robustez de TA al señalar la fuente mecanística exacta de la vulnerabilidad dentro de la arquitectura transformer. A diferencia de las defensas de caja negra, este método ofrece un vínculo causal claro entre cabezas de atención específicas y la clasificación léxica errónea. Los autores aseguran que su trabajo avanza en la frontera de las soluciones mecanísticas para la robustez de los VLM, demostrando que las intervenciones a nivel de circuito sin entrenamiento pueden desacoplar eficazmente la semántica visual de las distracciones léxicas, mejorando así la seguridad para aplicaciones críticas como la conducción autónoma. Los resultados confirman tanto la eficacia como la generalizabilidad de este enfoque mecanístico a través de diferentes escalas de modelos y arquitecturas.