Calibrating Uncertainty for Zero-Shot Adversarial CLIP

Resumen Técnico: Calibración de la Incertidumbre para CLIP Adversario Zero-Shot

1. Planteamiento del Problema

El Preentrenamiento Contrastivo de Lenguaje e Imagen (CLIP) se ha consolidado como un modelo fundacional para el reconocimiento zero-shot, aprovechando un espacio de incrustación compartido para emparejar características de imágenes con prompts de texto sin entrenamiento específico para la tarea. Sin embargo, CLIP sigue siendo altamente vulnerable a ataques adversarios, donde perturbaciones imperceptibles a nivel de píxel causan clasificaciones erróneas con alta confianza.

El trabajo previo sobre Robustez Adversaria Zero-Shot (ZSAR) se ha centrado principalmente en alinear las características de la imagen adversaria con prototipos de texto de la verdad de terreno (alineación de anclaje único) para mejorar la precisión. Los autores identifican una brecha de fiabilidad crítica y pasada por alto: las perturbaciones adversarias en CLIP no solo degradan la precisión, sino que también suprimen sistemáticamente la incertidumbre predictiva.

Contrario a la expectativa de que la incertidumbre debería aumentar a medida que los inputs se alejan de la distribución de entrenamiento o se vuelven más difíciles, los modelos CLIP estándar exhiben sobreconfianza ante ejemplos adversarios. Esto conduce a una descalibración severa donde el modelo es espuriamente confiado en predicciones incorrectas. Los métodos existentes, que a menudo alinean solo los logits predichos o se enfocan en la discriminación de una sola clase, no logran preservar la geometría semántica relativa entre clases ni la magnitud de la evidencia predictiva, ignorando así la estructura de incertidumbre subyacente esencial para el reconocimiento robusto de vocabulario abierto.

2. Metodología

Los autores proponen la Calibración de Incertidumbre mediante Ajuste Fino Adversario (UCAT), un marco diseñado para restaurar la incertidumbre calibrada manteniendo la robustez adversaria. La metodología consta de tres componentes principales:

A. Reformulación de Dirichlet de los Logits de CLIP
Los autores reparametrizan los logits zero-shot estándar de CLIP como parámetros de concentración ($\alpha$) de una distribución de Dirichlet.

• Mapeo: Dados los logits $\ell$ de CLIP, los parámetros de concentración se definen como $\alpha_k(x) = \exp(h(\ell_k))$, donde $h(\ell) = (\tau \ell + 1) / \tau'$. Aquí, $\tau$ es la temperatura aprendible y $\tau'$ es un coeficiente de calibración.
• Justificación Teórica: Esta reformulación asegura que $\alpha_k \ge 1$, satisfaciendo las condiciones de validez para la evidencia de Dirichlet. Crucialmente, cuando $\tau' = \tau$, la esperanza de la distribución de Dirichlet resultante recupera exactamente la regla predictiva softmax original de CLIP, asegurando que el método sea una interpretación probabilística fiel en lugar de una modificación ad-hoc.
• Descomposición de la Incertidumbre: Esta parametrización permite la descomposición en forma cerrada de la incertidumbre predictiva en dos componentes sin necesidad de muestreo:
  • Incertidumbre Aleatoria (AU): Captura la ambigüedad inherente de los datos (por ejemplo, el solapamiento semántico entre "lobo" y "perro") a través de la entropía de la distribución de Dirichlet.
  • Incertidumbre Epistémica (EU): Captura la incertidumbre debida a la evidencia insuficiente o al cambio de distribución, la cual es inversamente proporcional a la fuerza total de la evidencia ($\alpha_0 = \sum \alpha_k$).

B. Objetivo de Alineación Distribucional
En lugar de anclar las características adversarias a un único prototipo de texto, UCAT alinea la distribución predictiva completa de una muestra adversaria ($x_a$) con la de su contraparte limpia ($x$).

• Función de Pérdida: El objetivo combina una pérdida de entropía cruzada guiada por texto estándar ($L_{ce}$) con un término de regularización ($L_{ucr}$) definido como la divergencia KL inversa entre las distribuciones de Dirichlet:
  $$L_{ucr} = KL(\text{Dir}(\alpha_{adv}) \parallel \text{Dir}(\alpha))$$
• Razón de ser: Los autores seleccionan la dirección de la KL inversa porque es "buscadora de modas" (mode-seeking). A diferencia de la KL directa, que puede aplanar la evidencia, la KL inversa preserva tanto la estructura semántica interclase (semántica entre clases) como la fuerza absoluta de la evidencia. Esto evita que el modelo colapse en errores espuriamente confiados al asegurar que, si una muestra limpia tiene baja evidencia (alta incertidumbre), la muestra adversaria no sea forzada a tener una alta evidencia.

C. Pipeline de Entrenamiento
El marco realiza un ajuste fino del codificador de imagen de CLIP mientras mantiene congelado el codificador de texto. Los pares de muestras limpias y adversarias (generadas mediante $\ell_\infty$-PGD) se procesan para calcular la pérdida conjunta $L = L_{ce} + \lambda L_{ucr}$, donde $\lambda$ equilibra la supervisión discriminativa y la calibración de la incertidumbre.

3. Contribuciones Clave

1. Formulación Basada en Dirichlet: El artículo proporciona un método con base teórica y en forma cerrada para interpretar los logits de CLIP como evidencia de Dirichlet, permitiendo la descomposición eficiente de la incertidumbre en componentes aleatorios y epistémicos.
2. Marco UCAT: Un nuevo método de ajuste fino adversario que regulariza distribuciones de Dirichlet completas. Este enfoque preserva conjuntamente las relaciones semánticas interclase y calibra la fuerza de la evidencia, abordando el problema de la descalibración donde los inputs adversarios inducen sobreconfianza.
3. Validación Empírica Extensa: El método se valida a través de 16 benchmarks de etiqueta única y el conjunto de datos multi-etiqueta MS-COCO. Demuestra mejoras significativas en la calibración de la incertidumbre (restando el orden esperado de la incertidumbre: limpia < adversaria) mientras logra una robustez adversaria competitiva y preserva la precisión de la muestra limpia.

4. Resultados Experimentales

• Calibración de la Incertidumbre: Los experimentos muestran que el CLIP vanilla exhibe una incertidumbre predictiva menor en inputs adversarios que en los limpios (una señal de descalibración). UCAT restaura un orden consistente donde la incertidumbre aumenta con la dificultad del input, reflejando fielmente el cambio en la distribución.
• Robustez: En 16 conjuntos de datos de etiqueta única (incluyendo CIFAR-10/100, ImageNet y datasets de grano fino), UCAT logra un rendimiento de estado del arte o segundo mejor en términos de la media armónica de la precisión limpia y adversaria bajo diversos ataques (PGD, CW, AutoAttack).
• Robustez Multi-etiqueta: En el conjunto de datos MS-COCO, UCAT alcanza los mejores valores de precisión, recall y F1-score top-3 bajo ataques CW, lo que indica una estabilidad superior en entornos ambiguos de multi-etiqueta donde preservar el orden semántico relativo es crítico.
• Generalización: El método se generaliza eficazmente a través de diferentes backbones de CLIP (B/16, B/32) y otros VLMs contrastivos (SLIP), sugiriendo que el enfoque no está ligado a una arquitectura específica.
• Estudios de Ablación: Los autores confir el que la dirección de la KL inversa y la formulación de Dirichlet (en comparación con la simple alineación de softmax) son críticas para el rendimiento. El método se mantiene robusto a través de diferentes fuerzas de regularización ($\lambda$) y coeficientes de calibración ($\tau'$).

5. Significación y Reivindicaciones

El artículo afirma cerrar una brecha de fiabilidad crítica en los modelos de visión y lenguaje al demostrar que la robustez no es meramente una cuestión de precisión, sino también de incertidumbre calibrada. Al revelar que los ataques adversarios suprimen la incertidumbre en CLIP, los autores argumentan que los métodos previos centrados únicamente en la alineación de logits son insuficientes.

La significación de este trabajo reside en:

• Perspectiva Teórica: Proporcionar un mapeo principista entre los logits de aprendizaje contrastivo y el aprendizaje profundo de evidencia (distribuciones de Dirichlet), ofreciendo una nueva perspectiva sobre cómo modelar la incertidamia en entornos de vocabulario abierto.
• Fiabilidad Práctica: Ofrecer un método que asegura que los modelos no se vuelvan sobreconfiados cuando son atacados, lo cual es esencial para el despliegue de VLMs en escenarios de seguridad crítica o de mundo abierto.
• Escalabilidad: Demostrar que la calibración de la incertidumbre puede lograrse mediante el ajuste fino sin requerir el reentrenamiento desde cero o cambios arquitectónicos complejos, lo que lo hace aplicable a los modelos fundacionales existentes.

Los autores mantienen un tono modesto respecto al despliegue en el mundo real, señalando que, si bien el enfoque mejora la comprensión del comportamiento del modelo bajo perturbaciones adversarias, cualquier aplicación práctica requeriría una evaluación de riesgos exhaustiva y salvaguardas adicionales. El trabajo se posiciona como un avance metodológico en el modelado de la incertidumbre y la evaluación de la robustez para marcos de aprendizaje contrastivo.