💻 computer science

Improving Adversarial Robustness of Zero-Shot CLIP with Confidence-Aware Weighting

Este artículo propone el Pesado Consciente de la Confianza (CAW, por sus siglas en inglés), un método novedoso que mejora la robustez adversarial de los modelos CLIP de cero disparos al priorizar las muestras inciertas mediante una pérdida consciente de la confianza y preservar la consistencia semántica a través de la alineación de características, superando así a los enfoques de vanguardia tanto en robustez como en eficiencia de memoria.

Autores originales: Nikoo Naghavian, Mostafa Tavassolipour

Publicado 2026-07-28

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Nikoo Naghavian, Mostafa Tavassolipour

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde las computadoras pueden "ver" y "leer" al mismo tiempo, aprendiendo de todo el internet para comprender que la foto de un golden retriever coincide con las palabras "un perro feliz". Esta es la magia de los Modelos de Visión y Lenguaje, como el famoso CLIP. Son como estudiantes súper inteligentes que han leído todos los libros y visto todas las fotos en línea, lo que les permite adivinar qué hay en una imagen incluso si nunca antes han visto ese tipo específico de animal. Sin embargo, al igual que un humano que podría ser engañado por una ilusión óptica ingeniosa, estos modelos de IA tienen una debilidad secreta. Si añades una cantidad diminuta e invisible de "ruido" a una imagen —como esparcir unos pocos granos de arena digital que el ojo humano no puede ver— la computadora puede confundirse repentinamente por completo, pensando que un gato es una tostadora. Esto se llama un "ataque adversarial", y es un problema importante porque significa que estas poderosas herramientas pueden ser engañadas fácilmente en situaciones del mundo real.

La gran pregunta que los científicos se hacen es: ¿Cómo hacemos que estos modelos sean más resistentes sin hacer que olviden todo lo que ya saben? Usualmente, para enseñar a una computadora a ser robusta, tienes que mostrarle miles de estas imágenes complicadas y ruidosas durante el entrenamiento. Pero hay un inconveniente: si tratas cada imagen de la misma manera, la computadora pierde el tiempo estudiando las fáciles (que ya entiende) y podría seguir perdiendo las que son realmente difíciles y que más ayuda necesitan. Es como un profesor que pasa toda la clase revisando un problema de matemáticas que el estudiante ya resolvió perfectamente, mientras ignora el problema que realmente está haciendo que repruebe el examen.

Este artículo presenta una nueva y astuta estrategia llamada Ponderación Consciente de la Confianza (CAW, por sus siglas en inglés) para solucionar este problema. Los investigadores se dieron cuenta de que no todas las imágenes complicadas son iguales. Algunas imágenes son tan confusas que el modelo apenas acierta, mientras que otras solo son ligeramente dudosas. En lugar de dar a cada imagen confusa la misma cantidad de atención, CAW actúa como un tutor inteligente que presta especial atención a los estudiantes que más están sufriendo.

Así es como funciona el método, usando una analogía simple: Imagina que el modelo de IA es un estudiante tomando un examen.

La parte "Consciente de la Confianza": Cuando el estudiante se equivoca en una pregunta o no está seguro, el profesor (el sistema CAW) dice: "¡Vale, esta es difícil! Vamos a enfocarnos en esto". Otorga un peso extra a las imágenes donde el modelo tiene menos confianza. Si el modelo ya está bastante seguro de una imagen, el profesor dice: "Lo tienes, sigamos adelante". Esto asegura que el modelo gaste su energía corrigiendo sus mayores debilidades en lugar de volver a aprender lo que ya sabe.
La parte de "Alineación de Características": La segunda parte del truco es asegurarse de que el estudiante no olvide lo que aprendió en clases anteriores. Cuando el modelo mira una imagen complicada y ruidosa, CAW verifica si la "imagen interna" que ve coincide con la "imagen limpia" que vio antes. Es como decirle al estudiante: "Aunque esta foto esté borrosa, recuerda que sigue siendo un perro, no una tostadora". Esto evita que el modelo se confunda y pierda su conocimiento original.

Los investigadores probaron esta idea en una colección masiva de conjuntos de datos de imágenes, incluyendo TinyImageNet y otros 14 que varían desde mascotas y flores hasta escaneos médicos. Enfrentaron su nuevo método contra otras técnicas de primer nivel utilizando algunos de los "ataques" más fuertes disponibles, incluyendo una poderosa prueba automatizada llamada AutoAttack. Los resultados fueron prometedores: el método CAW no solo sobrevivió a los ataques, sino que de hecho funcionó mejor que los mejores métodos anteriores. Por ejemplo, en promedio a través de 15 conjuntos de datos diferentes, mejoró la capacidad del modelo para mantenerse correcto bajo ataque en aproximadamente un 2% en comparación con el segundo mejor método, mientras que también utilizó menos memoria de computadora.

Lo que es realmente genial es que el modelo no solo mejoró su capacidad para luchar contra los ataques, sino que también mejoró su capacidad para mirar imágenes normales y limpias. Los investigadores descubrieron que, al enfocarse en los ejemplos "difíciles", el modelo aprendió una forma más estable de ver el mundo. Cuando observaron cómo el modelo "prestaba atención" a diferentes partes de una imagen, vieron que antes del entrenamiento, el modelo se distraía fácilmente con el ruido, mirando el fondo o píxeles aleatorios. Después de usar CAW, el modelo aprendió a enfocarse en el objeto real, incluso cuando la imagen estaba siendo atacada.

En resumen, este artículo sugiere que, al ser un poco más selectivos sobre qué ejemplos confusos estudiar, podemos construir una IA que sea tanto más inteligente como más resistente. Es un paso hacia hacer que estos poderosos modelos de visión y lenguaje sean lo suficientemente confiables para ser usados en el mundo real, donde las cosas no siempre son perfectas y a veces intentan engañarnos. Aunque el método se centra actualmente en la parte de la imagen del modelo y se probó principalmente con ataques de caja blanca (donde el atacante conoce los secretos del modelo), abre una nueva puerta para hacer que la IA sea más resiliente sin sacrificar su capacidad de aprender cosas nuevas.

Resumen Técnico: Mejora de la Robustez Adversaria de CLIP Zero-Shot mediante el Ponderado Consciente de la Confianza

Declaración del Problema
Los modelos de lenguaje y visión (VLM), particularmente CLIP, demuestran una impresionante generalización zero-shot en diversas tareas. Sin embargo, siguen siendo altamente vulnerables a los ataques adversarios, donde las perturbaciones imperceptibles causan cambios significativos en las predicciones. Aunque el entrenamiento adversario es un enfoque estándar para mejorar la robustez, los métodos existentes aplicados a VLM a gran escala enfrentan dos limitaciones principales:

Optimización Ineficiente: Los enfoques actuales tratan todos los ejemplos adversarios por igual durante el entrenamiento, independientemente de su dificultad o estabilidad. Esto ignora el hecho de que las muestras con baja confianza robusta (predicciones inestables) contribuyen más a la vulnerabilidad que las muestras altamente confiadas.
Compromisos entre Recursos y Rendimiento: Los métodos de vanguardia como PMG-AFT y TGA-ZSR a menudo requieren un alto uso de memoria o luchan por mantener la precisión robusta bajo ataques fuertes (por ejemplo, AutoAttack) sin comprometer la precisión limpia o la generalización.

Metodología: Ponderado Consciente de la Confianza (CAW)
Los autores proponen Confidence-Aware Weighting (CAW), un marco de ajuste fino adversario diseñado para mejorar la robustez zero-shot de los modelos CLIP preentrenados mientras preserva sus capacidades de generalización. El método introduce una función de pérdida compuesta ( $L_{total}$ ) que consta de tres términos:

Pérdida de Contraste Estándar ( $L_{CE}$ ): La pérdida de entropía cruzada base utilizada para alinear las incrustaciones de imagen y texto.
Pérdida Consciente de la Confianza ( $L_{CA}$ ): Este componente aborda la ineficiencia de tratar todas las muestras por igual. Escala la divergencia de Kullback-Leibler (KL) entre la distribución de predicción del modelo ajustado sobre entradas adversarias ( $P_{adv}$ $P_{a d v}$ ) y el modelo preentrenado congelado sobre entradas limpias ( $P_{clean}$ $P_{c l e an}$ ).
- Mecanismo: La divergencia KL se pondera mediante $(1 - P_{adv, i, y_i})$ , donde $P_{adv, i, y_i}$ es la probabilidad predicha de la clase verdadera para la muestra adversaria.
- Efecto: Este ponderado asigna mayor importancia a los ejemplos adversarios "difíciles" donde el modelo tiene incertidumbre (baja confianza), obligando al modelo a centrarse en estabilizar estos casos vulnerables. Los autores utilizan específicamente $KL(P_{adv} \parallel P_{clean})$ en lugar de la inversa, argumentando que esto penaliza mejor las predicciones de alta probabilidad incorrectas en la distribución adversaria.
Regularización de Alineación de Características ( $L_{Reg}$ ): Para evitar el sobreajuste y el olvido del conocimiento preentrenado, este término minimiza la distancia $\ell_2$ $ℓ_{2}$ entre las características de la imagen de la entrada adversaria procesada por el codificador ajustado y la misma entrada procesada por el codificador preentrenado congelado.
- Distinción: A diferencia de métodos como FARE que alinean representaciones limpias congeladas con representaciones adversarias ajustadas, CAW alinea representaciones adversarias de ambos codificadores para estabilizar las representaciones de características durante el proceso de ajuste fino.

El objetivo total se formula como:
$L_{total} = L_{CE} + \alpha \cdot L_{CA} + \beta \cdot L_{Reg}$

Contribuciones Clave

Nuevo Mecanismo de Ponderación: El artículo introduce una estrategia de ponderación consciente de la confianza adaptada para VLM zero-shot, desplazando el enfoque hacia las muestras adversarias inestables y de baja confianza para mejorar la robustez sin sacrificar la precisión limpia.
Arquitectura de Doble Pérdida: La combinación de una divergencia KL escalada por la confianza y un término de regularización a nivel de características crea un equilibrio entre el aprendizaje de características robustas y la retención del conocimiento semántico del preentrenamiento.
Eficiencia: El método propuesto logra un rendimiento de vanguardia utilizando menos memoria que las líneas base competidoras (PMG-AFT y TGA-ZSR).

Resultados Experimentales
Los autores evaluaron CAW en el conjunto de datos TinyImageNet para el ajuste fino y probaron el rendimiento zero-shot en 15 conjuntos de datos adicionales que abarcan reconocimiento de objetos generales, clasificación de grano fino, reconocimiento de escenas, tareas específicas de dominio e imágenes médicas.

AutoAttack ( $\epsilon = 1/255$ ): CAW logró la mayor precisión robusta promedio (33.51%) en 15 conjuntos de datos, superando a PMG-AFT (31.55%) y TGA-ZSR (31.63%). Mostró una fuerza particular en conjuntos de datos como CIFAR-10 y Caltech-101.
Ataques PGD-100 y CW: Bajo estos ataques, CAW superó a PMG-AFT tanto en precisión robusta como en la precisión limpia. Por ejemplo, bajo PGD-100, CAW logró una precisión robusta promedio de 34.91% en comparación con el 33.20% de PMG-AFT, mejorando también la precisión limpia (53.75% vs. 47.28%).
Eficiencia de Memoria: CAW requirió aproximadamente 15,986 MB de memoria, lo cual es menor que PMG-AFT (18,449 MB) y significativamente menor que TGA-ZSR (21,227 MB).
Análisis:
- Análisis de Confianza: Los diagramas de dispersión revelaron que, tras el ajuste fino, la correlación entre la confianza limpia y la robusta aumentó, con un desplazamiento hacia la diagonal, lo que indica una mayor estabilidad. El método redujo eficazmente las muestras "Solo Limpias" (correctas en limpio, incorrectas en adversario) sin crear clasificaciones erróneas excesivamente confiadas.
- Mapas de Atención: Las visualizaciones mostraron que CAW ayudó al modelo a mantener una atención consistente y semánticamente significativa en las regiones relevantes del objeto tanto para ejemplos limpios como adversarios, mientras que los modelos previos al ajuste fino a menudo atendían al ruido de fondo irrelevante bajo ataque.

Significancia y Reivindicaciones
El artículo afirma que CAW representa un paso significativo hacia la seguridad de los VLM zero-shot contra amenazas adversarias. Al dirigirse explícitamente a la incertidumbre del modelo, el método aprende características más transferibles y robustas. Los autores enfatizan que su enfoque mejora la robustez bajo ataques fuertes (AutoAttack, PGD, CW) manteniendo al mismo tiempo huellas de memoria más bajas, lo que lo convierte en una solución práctica para modelos a gran escala.

Limitaciones
Los autores reconocen varias limitaciones:

El método es actualmente específico para la arquitectura CLIP y no ha sido probado en otros VLM.
Solo aborda las perturbaciones en el codificador de imagen, dejando el codificador de texto sin abordar a pesar de su importancia en los VLM.
La evaluación se limita a ataques estándar de caja blanca; no se exploraron ataques de caja negra, ataques adaptativos ni radios de perturbación más grandes.

Más como este