🤖 AI

Dual Adversarial Fine-tuning for Enhancing Robustness of Large Vision Language Model

Este artículo propone un marco de ajuste fino de doble adversario que optimiza conjuntamente las señales de supervisión visual y semántica para mejorar significativamente la robustez y la generalizabilidad entre tareas de los Grandes Modelos de Visión y Lenguaje contra ataques adversarios sin requerir modificaciones de arquitectura ni reentrenamiento específico para la tarea.

Autores originales: Sibo Wang, Jie Zhang, Shiguang Shan, Xilin Chen, Wen Gao

Publicado 2026-07-22

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Sibo Wang, Jie Zhang, Shiguang Shan, Xilin Chen, Wen Gao

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde las computadoras no solo ven imágenes, sino que realmente las "entienden", charlando sobre lo que hay dentro como un amigo mirando un álbum de fotos. Este es el reino de los Modelos de Lenguaje-Visión Grandes (LVLM, por sus siglas en inglés), los cerebros de IA superinteligentes detrás de herramientas que pueden describir un atardecer, responder preguntas sobre un diagrama o contar una historia a partir de una sola imagen. Para hacer que estos gigantes funcionen, los científicos les enseñan a conectar imágenes con palabras, de forma muy similar a encajar una pieza de un rompecabezas en su lugar perfecto. Sin embargo, hay un problema escurridizo: estos cerebros de IA son sorprendentemente frágiles. Tal como un mago puede ser engañado por una ligera distracción, estos modelos pueden ser burlados por "ataques adversarios": pequeños ajustes invisibles en una imagen que parecen estática para el ojo humano, pero que hacen que la IA pierda completamente la cabeza, viendo un perro como una tostadora o un autobús como una jirafa. Esto es algo muy importante porque, a medida que empezamos a confiar estos modelos en trabajos importantes, necesitamos asegurarnos de que no sean engañados por el ruido digital.

Aquí entra un nuevo equipo de investigadores que decidió evitar que la IA sea tan fácilmente engañada. Se dieron cuenta de que los intentos previos de "fortalecer" estos modelos eran como entrenar a un boxeador para que solo pelee contra un oponente específico; los modelos se volvían buenos en esa pelea específica, pero no podían manejar nada más. Los investigadores propusieron un nuevo y astuto campamento de entrenamiento llamado Entrenamiento Fino Adversario Dual (DAFT). En lugar de solo enseñar a la IA a ignorar el ruido, le enseñaron dos lecciones a la vez. Primero, le mostraron la versión "limpia" de la imagen (la verdad) para mantener su memoria aguda. Segundo, utilizaron historias ricas y descriptivas (leyendas) sobre la imagen en lugar de etiquetas simples como "gato" o "perro". Piensa en ello como enseñar a un estudiante no solo a memorizar la palabra "manzana", sino a entender todo el concepto de una manzana: su color rojo, su textura crujiente y cómo encaja en un frutero, para que incluso si alguien raya la imagen, el estudiante todavía sepa qué es.

El artículo encuentra que este enfoque de doble vertiente funciona de maravilla. Cuando probaron su nuevo método contra los métodos antiguos, los modelos entrenados con DAFT se mantuvieron tranquilos y serenos incluso cuando las imágenes fueron atacadas con ruido invisible. Ya fuera que la tarea consistiera en adivinar qué era una imagen (clasificación), escribir una oración sobre ella (descripción de imágenes) o responder una pregunta difícil (respuesta de preguntas visuales), el nuevo método mantuvo la calma. Los investigadores demostraron que, al reemplazar los "ojos" de la IA con su versión recién entrenada, todo el sistema se volvió mucho más difícil de engañar, todo sin necesidad de reconstruir todo el cerebro desde cero. Es un poco como darle a un superhéroe un nuevo par de gafas que filtran lo malo mientras mantienen lo bueno cristalino.

La Historia del Artículo

El Problema: La IA "Unicaja de un Solo Truco"
Los Modelos de Lenguaje-Visión Grandes (LVLM) son increíbles. Pueden mirar una foto de una rueda de la fortuna y decirte que es una "rueda de la fortuna", o responder a una pregunta como "¿Qué atracción está en el medio?". Pero estos modelos tienen una debilidad secreta: son fácilmente engañados. Si añades un poco de estática invisible a una imagen (un "ataque adversario"), la IA podría pensar de repente que la rueda de la fortuna es un "autobús" o una "jirafa".

Los científicos han intentado arreglar esto antes. Algunos intentaron entrenar a la IA usando etiquetas simples (como "gato" o "autobús") mientras le mostraban estas imágenes trucadas y con ruido. Pero el artículo argumenta que esto es como entrenar a un perro para que solo se siente cuando dices "siéntate" en una habitación silenciosa; si lo dices en un parque ruidoso, el perro se confunde. Estos métodos funcionaron bien para tareas simples, pero fallaron cuando la IA tenía que realizar tareas más difíciles como escribir una historia o responder preguntas complejas. Otros métodos intentaron enseñar a la IA sin usar ninguna etiqueta, pero no se volvieron lo suficientemente fuertes para manejar los ataques realmente complicados.

La Solución: Un Campamento de Entrenamiento de Dos Partes
Los autores de este artículo, Sibo Wang y su equipo, idearon una nueva forma de entrenar a la IA llamada DAFT (Entrenamiento Fino Adversario Dual). Se dieron cuenta de que para que la IA fuera verdaderamente robusta, necesitaba dos tipos de guía al mismo tiempo, como un estudiante que estudia con dos profesores diferentes.

El Profesor "Visual" (El Ancla): Esta parte del entrenamiento utiliza una versión congelada y original de los "ojos" de la IA (el codificador de visión). Actúa como una guía de referencia. Cuando la IA mira una imagen ruidosa y trucada, este profesor dice: "Oye, ¿recuerdas cómo se ve la imagen real? No olvides las características originales". Esto evita que la IA se confunda y se sobreajuste (memorizando el ruido en lugar de la verdad).
El Profesor "Semántico" (El Narrador): Esta es la gran innovación. En lugar de usar etiquetas simples como "autobús" o "gato", este profesor utiliza oraciones completas o leyendas que describen la imagen en detalle. Por ejemplo, en lugar de solo decir "autobús", dice: "Un autobús azul conduciendo por una calle lluviosa". La IA es entrenada para emparejar la imagen ruidosa con esta descripción rica. Esto ayuda a la IA a entender el significado y el contexto de la imagen, no solo la categoría.

La magia ocurre porque estos dos profesores trabajan juntos. El profesor "Visual" mantiene a la IA anclada en la realidad, mientras que el profesor "Semántico" le enseña a comprender el significado profundo de la imagen, incluso cuando la imagen está alterada.

Los Resultados: Más Fuertes y Más Inteligentes
El equipo probó su nuevo método en una serie de tareas diferentes. Tomaron un modelo de IA popular llamado LLaVA y reemplazaron sus "ojos" originales por su nueva versión fortalecida. Luego, lo atacaron con ruido invisible para ver qué sucedía.

Clasificación Zero-Shot: Cuando se le pidió identificar objetos en imágenes que nunca había visto, el modelo DAFT fue mucho mejor ignorando el ruido. En promedio, mejoró la precisión en un 12% en comparación con los métodos antiguos que usaban etiquetas simples.
Descripción de Imágenes y Preguntas y Respuestas (Q&A): Aquí es donde el nuevo método realmente brilló. Cuando se le pidió escribir una descripción de una imagen con ruido o responder una pregunta, los modelos antiguos a menudo daban respuestas sin sentido (como llamar a una grúa "jirafa"). El modelo DAFT, sin embargo, seguía acertando. Por ejemplo, en una prueba, mientras otros modelos fallaban al identificar correctamente una "rueda de la fortuna" bajo ataque, el modelo DAFT lo logró con éxito.
El Intercambio (Trade-off): El artículo señala que, a veces, hacer que un modelo sea tan resistente a los ataques puede hacerlo ligeramente peor al ver imágenes limpias. Sin embargo, DAFT logró mantener su rendimiento en imágenes limpias casi tan bueno como los mejores métodos existentes, siendo mucho más fuerte contra los ataques.

Lo que el Artículo Descarta
Los autores son muy claros sobre lo que no funciona. Argumentan que usar simplemente etiquetas de categoría (como "gato" o "autobús") como única guía no es suficiente porque conduce al sobreajuste. También muestran que usar solo métodos no supervisados (aprender sin ayuda de texto) no es lo suficientemente fuerte contra los ataques más avanzados. Sus experimentos sugieren que realmente se necesita esa combinación de anclaje visual y comprensión semántica rica para obtener los mejores resultados.

¿Qué tan seguros están?
Los autores realizaron experimentos extensos en muchos conjuntos de datos diferentes (como Caltech101, COCO y VQAv2) y bajo diferentes niveles de ruido (específicamente presupuestos de perturbación de $\epsilon = 2/255$ y $\epsilon = 4/255$ ). Compararon su método con los mejores métodos actuales (como TeCoA y FARE) y encontraron que DAFT superó consistentemente a los demás. No solo lo simularon; realmente entrenaron los modelos y los probaron en tareas del mundo real. Los resultados se presentan como hechos medidos de sus experimentos, mostrando una mejora clara en la robustez.

La Conclusión Final
Este artículo sugiere que para que los modelos de visión de IA sean verdaderamente seguros y confiables, no podemos solo enseñarles a ignorar el ruido; tenemos que enseñarles a entender la historia detrás de la imagen mientras mantienen un firme control sobre los hechos visuales. Al utilizar un enfoque "dual" que combina un ancla visual con leyendas ricas y descriptivas, los investigadores han construido un modelo que es mucho más difícil de engañar, lo que representa un paso significativo hacia la seguridad de estas poderosas herramientas de IA.

Resumen Técnico: Ajuste Fino Adversarial Dual para Mejorar la Robustez de Modelos de Lenguaje y Visión de Gran Escala

Planteamiento del Problema

Los Modelos de Lenguaje y Visión de Gran Escala (LVLMs), como LLaVA y GPT-4V, han demostrado capacidades notables en el razonamiento y la comprensión de datos multimodales. Sin embargo, siguen siendo inherentemente vulnerables a los ataques adversariales visuales, donde el ruido imperceptible en las entradas visuales puede forzar a los modelos a generar salidas erróneas, como descripciones incorrectas o respuestas erróneas a preguntas visuales.

Las estrategias de defensa existentes enfrentan dos limitaciones críticas cuando se aplican a los LVLMs:

Sobreajuste y Pobre Generalización en la Supervisión Alineada con Categorías: Métodos como TeCoA dependen de embeddings de texto fijos (por ejemplo, etiquetas de clase de ImageNet) para la supervisión. Aunque son efectivos para la clasificación zero-shot dentro de categorías predefinidas, este enfoque carece de la riqueza semántica necesaria para tareas complejas como la descripción de imágenes y el VQA (Visual Question Answering). En consecuencia, las ganancias en robustez suelen fallar al transferirse a conjuntos de datos o tareas multimodales no vistos.
Ganancias Limitadas del Ajuste Fino No Supervisado: Los métodos no supervisados como FARE mejoran la generalización al alinear características adversariales y limpias sin datos etiquetados. Sin embargo, se centran principalmente en minimizar las discrepancias de características y a menudo fallan en defenderse contra ataques sofisticados que apuntan específicamente a los mecanismos de alineación imagen-texto de los LVLMs.

Además, realizar un entrenamiento adversarial desde cero para modelos grandes es computacionalmente prohibitivo. Por lo tanto, el desafío radica en desarrollar una estrategia de ajuste fino adversarial que mejore la robustez en diversas tareas descendentes sin requerir el reentrenamiento de todo el modelo o adaptaciones específicas para cada tarea.

Metodología: Ajuste Fino Adversarial Dual (DAFT)

Los autores proponen DAFT, un marco de ajuste fino adversarial dual diseñado para optimizar conjuntamente las señales de supervisión visual y semántica. El método se centra en el ajuste fino del codificador de visión (específicamente el codificador de visión de CLIP) de un LVLM. Una vez ajustado, este codificador robusto puede reemplazar al codificador original en modelos como LLaVA, heredando resiliencia adversarial sin modificar el modelo de lenguaje o reentrenar todo el sistema.

El marco consta de dos ramas sinérgicas:

1. Rama de Supervisión Visual

Esta rama tiene como objetivo preservar las capacidades de generalización del modelo preentrenado y mitigar el sobreajuste a ejemplos adversariales específicos.

Mecanismo: Utiliza un codificador de visión original congelado ( $F_{ori}$ ) para extraer características de imágenes limpias.
Objetivo: El modelo objetivo ( $F_\theta$ ) es entrenado para minimizar la distancia $L_2$ entre las características de los ejemplos adversariales ( $x_a$ ) y las características de las imágenes limpias ( $x$ ) extraídas por el codificador congelado.
Función de Pérdida: $L_{vis} = ||F_{ori}(x) - F_\theta(x_a)||_2^2$ .
Efecto: Esto asegura que el modelo objetivo retenga las características robustas y generalizables del modelo fundacional original.

2. Rama de Supervisión Semántica

Esta rama aborda la necesidad de una alineación semántica rica para defenderse de ataques que apuntan a la coherencia multimodal.

Mecanismo: En lugar de utilizar etiquetas de categoría simples, esta rama emplea descripciones detalladas (captions) como la señal de supervisión semántica.
Objetivo: Alinea los ejemplos adversariales con sus descripciones detalladas de verdad fundamental (ground-truth), mientras los aleja de descripciones no relacionadas dentro del mismo lote (batch).
Función de Pérdida: Se utiliza una pérdida de triplete donde la característica adversarial es la muestra de anclaje, la descripción de verdad fundamental es la muestra positiva ( $P_o$ ), y la muestra negativa más difícil ( $N_e$ ) —definida como la descripción en el lote más similar a la característica adversarial— se utiliza para maximizar el margen.
Función de Pérdida: $L_{sem} = \max(\frac{F_\theta(x_a) \cdot T_\phi(N_e)}{||F_\theta(x_a)|| ||T_\phi(N_e)||} - \frac{F_\theta(x_a) \cdot T_\phi(P_o)}{||F_\theta(x_a)|| ||T_\phi(P_o)||} + \alpha, 0)$ .
Efecto: Esto aprovecha la rica información contextual de las descripciones para mantener la coherencia semántica bajo ataque, lo cual es crucial para tareas como VQA y descripción de imágenes.

Optimización

La función objetivo final combina ambas ramas: $L_{DAFT} = L_{sem} + \gamma L_{vis}$ . El proceso de entrenamiento implica una optimización min-max alternante:

Generación de Ataque: Generar ejemplos adversariales $x_a$ maximizando $L_{DAFT}$ mediante el uso de Gradiente Descendiente Proyectado (PGD).
Actualización de Parámetros: Actualizar los parámetros del codificador de visión $\theta$ minimizando $L_{DAFT}$ sobre los ejemplos adversariales generados.

Contribuciones Clave

Marco de Doble Supervisión: La propuesta de DAFT, que optimiza conjuntamente las señales de supervisión visual y semántica para mejorar la robustez entre tareas en los LVLMs, mitigando al mismo tiempo el sobreajuste.
Supervisión Semántica Guiada por Descripciones: Hasta donde los autores saben, este es el primer marco que integra descripciones detalladas (en lugar de etiquetas de clase) como supervisión semántica para el entrenamiento adversarial. Este enfoque mejora significativamente la robustez en tareas multimodales al aprovechar información semántica más rica.
Robustez Plug-and-Play: El método logra robustez entre tareas simplemente reemplazando el codificador de visión CLIP en el LVLM original, sin requerir un reentrenamiento específico de la tarea o modificaciones en la arquitectura.

Resultados Experimentales

Los autores evaluaron DAFT en tareas de clasificación zero-shot, descripción de imágenes y VQA a través de múltiples conjuntos de datos (por ejemplo, Caltech101, COCO, VQAv2) utilizando presupuestos de perturbación de $\epsilon = 2/255$ y $\epsilon = 4/255$ .

Clasificación Zero-Shot: DAFT superó a los métodos de vanguardia (TeCoA, PMG-AFT, FARE). Bajo $\epsilon = 2/255$ , mejoró la precisión robusta promedio aproximadamente un 12% sobre los métodos supervisados por etiquetas de categoría y un 1.2% sobre el método no supervisado FARE, manteniendo una precisión limpia comparable.
Descripción de Imágenes y VQA: DAFT demostró una robustez superior en tareas generativas. Comparado con FARE (el anterior SOTA para generalización), DAFT mejoró los puntajes CIDEr promedio en 2.3 y la precisión promedio de VQA en 1.1% bajo $\epsilon = 2/255$ . Bajo ataques más fuertes ( $\epsilon = 4/255$ ), las mejoras fueron aún más pronunciadas.
Estudios de Ablación:
- Componentes de Pérdida: El uso de tanto la supervisión visual como la semántica produjo los mejores resultados. El uso de solo supervisión semántica condujo a un sobreajuste significativo, mientras que la supervisión visual por sí sola no logró maximizar la robustez.
- Tipo de Supervisión: Reemplazar las descripciones detalladas con etiquetas de categoría resultó en una caída del 12.4% en la precisión de clasificación zero-shot y una caída de 15.2 puntos en los puntajes CIDEr, validando la superioridad de la supervisión basada en descripciones.
- Muestreo Negativo: Seleccionar la muestra negativa "más difícil" (la más similar a la característica adversarial) fue crítico; el uso de negativos "fáciles" resultó en una robustez cercana a cero.
- Hiperparámetros: El rendimiento óptimo se logró con un margen $\alpha=0.2$ y un coeficiente de equilibrio $\gamma=0.5$ .

Significado y Reivindicaciones

El artículo afirma que DAFT aborda la brecha crítica en la investigación actual de defensa de LVLMs, donde los métodos existentes o bien se sobreajustan a categorías de clasificación específicas o fallan en proteger los mecanismos complejos de alineación multimodal. Al unificar la alineación visual y semántica bajo condiciones de ataque, DAFT proporciona una solución escalable que mejora la robustez adversarial en diversas tareas descendentes (clasificación, descripción, VQA) sin el costo computacional de un reentrenamiento total del modelo. Los autores posicionan este trabajo como un paso hacia la seguridad en el despliegue de los LVLMs al asegurar un rendimiento consistente incluso cuando las entradas visuales son perturbadas.

Los autores señalan limitaciones, incluyendo el enfoque en modelos basados en CLIP, la naturaleza de caja blanca de la defensa y la dependencia del conjunto de datos COCO para el entrenamiento, sugiriendo que el trabajo futuro podría explorar arquitecturas no basadas en CLIP, defensas de caja negra y conjuntos de datos de descripciones más grandes.