Resumen Técnico: Prompting Bidireccional de Bucle Cerrado para la Robustez Adversarial de Modelos de Lenguaje Visual

1. Declaración del Problema

Los Modelos de Lenguaje Visual (VLM), como CLIP, logran un rendimiento sólido al alinear las modalidades visual y textual en un espacio de incrustación conjunto. Sin embargo, este acoplamiento cruzado-tight crea una vulnerabilidad: pequeñas perturbaciones adversarias en la imagen de entrada pueden interrumpir la alineación semántica entre la imagen y su texto correspondiente, lo que lleva a una clasificación errónea.

Los mecanismos de defensa existentes sufren limitaciones específicas:

• Ajuste Fino Adversarial (AFT): Aunque es efectivo, requiere reentrenar el codificador visual, lo cual es computacionalmente costoso y corre el riesgo de distorsir la variedad de características preentrenada, degradando a menudo la generalización en datos limpios.
• Ajuste de Prompt Adversarial (APT): Estos métodos optimizan prompts suaves mientras mantienen la base congelada. Sin embargo, generalmente generan prompts estáticos compartidos entre todas las entradas o dependen de proyecciones unidireccionales (por ejemplo, solo texto a visión). No logran adaptarse a perturbaciones específicas de la instancia y carecen de un mecanismo para la corrección mutua entre modalidades.
• Defensas en Tiempo de Prueba: Muchas se centran en la consistencia del lado visual o en las características del ataque, en lugar de restaurar la alineación cruzada-modal subyacente.

La limitación central identificada es que la mayoría de las defensas tratan las modalidades de forma independiente o ajustan solo una rama mientras tratan la otra como contexto fijo. Dado que los ataques adversarios apuntan específicamente al desacoplamiento de estas ramas, es necesaria una defensa que requiera recuperación bidireccional, donde las características visuales y textuales interactúen activamente para restablecer la alineación.

2. Metodología: Prompting Bidireccional de Bucle Cerrado (CLBP)

Los autores proponen el Prompting Bidireccional de Bucle Cerrado (CLBP), una defensa en tiempo de prueba que mantiene los codificadores preentrenados congelados e introduce un bucle de retroalimentación dinámico entre las ramas visual y textual.

Componentes Principales

1. Ancla Semántica (Arrastre Semántico):
   Para evitar que las actualizaciones iterativas se desvíen de la variedad semántica preentrenada, el bucle se inicializa y restringe mediante una "Ancla Semántica". Esta es una incrustación de texto fija derivada de una plantilla de clase genérica (por ejemplo, "una foto de un {clase}"). Actúa como un prior estable.

2. Bucle de Retroalimentación Bidireccional:
   El método alterna entre dos adaptadores ligeros:

   • Deshacimiento Texto-a-Visión (T2V): Las incrustaciones de texto actuales (inicialmente el ancla) se procesan mediante un adaptador T2V para generar prompts visuales. Estos prompts se añaden al principio de los parches de imagen. El codificador visual procesa entonces la imagen condicionada a estos prompts, filtrando efectivamente el ruido adversario en las características visuales a través de la atención cruzada contra la señal lingüística estable.
   • Refinamiento Visión-a-Texto (V2T): Las características visuales refinadas resultantes se mapean mediante un adaptador V2T en un desplazamiento ($\delta$) por instancia que se aplica al prompt de texto. Esto actualiza la descripción textual para que sea específica de la instancia de imagen actual en lugar de compartida en todo el conjunto de datos.

   Este proceso forma un bucle cerrado: $W^{(k)} \xrightarrow{T2V} z^{(k)} \xrightarrow{V2T} W^{(k+1)}$.

3. Estabilidad Teórica:
   Los autores modelan el bucle como un mapa de punto fijo en la esfera unitaria. Demuestran que, bajo la inicialización del ancla, el operador compuesto es una contracción con una constante de Lipschitz local $q \approx 10^{-4}$. Esto implica:

   • El bucle converge a un punto fijo único.
   • Una sola actualización bidireccional ($N=1$) es suficiente para alcanzar el punto fijo, ya que las iteraciones posteriores producen mejoras insignificantes.
   • La desviación del punto fijo limpio crece linealmente con la perturbación de entrada pero no depende de la profundidad de la iteración, garantizando estabilidad.

4. Agregación de Múltiples Vistas:
   Para manejar el ruido de muestreo de las aumentaciones individuales, CLBP agrega predicciones a través de $V$ vistas aumentadas aleatorias de la entrada. Utiliza un softmax ponderado por similitud para suprimir las vistas atípicas que discrepan con el consenso, mejorando la robustez sin requerir reentrenamiento.

5. Objetivo de Entrenamiento:
   Los adaptadores se entrenan utilizando una pérdida compuesta sobre ejemplos adversarios:

   • Entropía Cruzada ($L_{ce}$): Pérdida de clasificación estándar.
   • Pérdida de Margen ($L_{mar}$): Impone un margen en el espacio de características sobre los logits adversarios.
   • Divergencia KL ($L_{kl}$): Destila la predicción limpia en la rama adversaria para preservar la precisión en datos limpios.

3. Contribuciones Clave

• Mecanismo de Retroalimentación Bidireccional: El artículo identifica el tratamiento independiente de las modalidades como una debilidad clave en las defensas existentes y propone CLBP, un método donde las características visuales y textuales se condicionan y corrigen mutuamente en tiempo de inferencia sin modificar los codificadores congelados.
• Ancla Semántica y Análisis de Convergencia: La introducción de una Ancla Semántica para restringir la iteración se complementa con un análisis teórico que prueba la naturaleza contractiva del bucle. Los autores demuestran empírica y teóricamente que una sola actualización es suficiente para la convergencia.
• Evaluación Exhaustiva: El método se valida en 11 conjuntos de datos bajo tres regímenes: cero disparos entre conjuntos de datos, adaptación de pocos disparos y generalización de base a nueva.

4. Resultados Experimentales

Los autores evalúan CLBP frente al Ajuste Fino Adversarial (AFT), el Ajuste de Prompt Adversarial (APT) y las defensas en Tiempo de Prueba (por ejemplo, TTC, SCC, R-TPT) bajo ataques de caja blanca (PGD, AutoAttack, Carlini-Wagner, EOT-PGD).

• Robustez Cero Disparos entre Conjuntos de Datos: En 10 conjuntos de datos, CLBP logra una precisión robusta promedio del 52.77%, superando significativamente a la defensa en tiempo de prueba más fuerte (SCC con 49.71%) y a las líneas base basadas en entrenamiento (por ejemplo, AdvMaPLe con 24.37%). Crucialmente, mantiene una precisión limpia del 59.99%, casi idéntica a la de CLIP estándar (59.60%), evitando el compromiso entre precisión y robustez observado en AFT.
• Adaptación de Pocos Disparos: En un escenario de 16 disparos en 11 conjuntos de datos, CLBP logra una precisión robusta promedio del 65.08%, aproximadamente el doble del rendimiento de la siguiente mejor línea base (FAP con 34.61%). En el régimen de pocos disparos (1 disparo), CLBP mantiene un 41.13% de robustez, mientras que las líneas base de prompts estáticos caen a ~2.43%.
• Generalización de Base a Nueva: CLBP demuestra una transferibilidad superior, manteniendo una precisión robusta del 54.92% en clases "Nuevas" no vistas, en comparación con el 21.86% de FAP. Esto indica que el método no se sobreajusta a las clases base.
• Diversidad de Ataques: CLBP mantiene un rendimiento de última generación contra conjuntos de AutoAttack, ataques de margen Carlini-Wagner y ataques adaptativos EOT-PGD, confirmando que la robustez no es un artefacto de la obfuscación de gradientes.
• Eficiencia: El método es eficiente; la precisión robusta se satura con tan solo 8 vistas aumentadas, y una sola iteración de bucle es suficiente.

5. Significado y Afirmaciones

El artículo afirma que CLBP representa un paso significativo hacia adelante en la seguridad de los VLM al abordar la causa raíz de su vulnerabilidad: el desacoplamiento de la alineación cruzada-modal bajo ataque.

• Eficiencia de Parámetros: A diferencia de AFT, CLBP no requiere reentrenar los masivos codificadores preentrenados, lo que lo hace adecuado para entornos con recursos limitados o sistemas desplegados.
• Adaptación Dinámica: Al generar prompts específicos de la instancia a través de un bucle bidireccional, CLBP supera la naturaleza estática de los métodos anteriores de ajuste de prompts, permitiéndole adaptarse a patrones adversarios diversos.
• Fundamentación Teórica: El trabajo proporciona una justificación teórica para la estabilidad de la defensa, mostrando que las dinámicas de bucle cerrado son contractivas y convergen rápidamente.
• Preservación del Rendimiento Limpio: El método logra una robustez de última generación sin sacrificar la precisión en datos limpios, un modo de fallo común en el entrenamiento adversario.

Los autores reconocen limitaciones, señalando que el análisis se centra en arquitecturas de doble torre (como CLIP) y que los límites teóricos, aunque empíricamente ajustados, dependen de aproximaciones factorizadas. También señalan que el método hereda sesgos del backbone congelado subyacente. No obstante, CLBP se presenta como una solución robusta, eficiente y teóricamente fundamentada para la defensa adversarial en modelos de lenguaje visual.