When Modalities Fail to Tango: Conformal Backdoor Detection in Multimodal Contrastive Learning

Resumen Técnico: Cuando las modalidades no logran bailar el tango: Detección de puertas traseras conforme en el aprendizaje contrastivo multimodal

Declaración del Problema
Los modelos de Aprendizaje Contrastivo Multimodal (MCL), como CLIP, son fundamentales para numerosas tareas de seguimiento, pero son vulnerables a ataques de puerta trasera (backdoor attacks). En estos ataques, los adversarios inyectan disparadores visuales en un subconjset de imágenes de entrenamiento y reemplazan sus subtítulos originales con semánticas objetivo (por ejemplo, cambiar "un ciervo" por "un gato"). Esto induce correlaciones espurias donde las imágenes con disparador se mapean hacia la incrustación de la clase objetivo.

Las defensas de detección existentes se basan principalmente en la métrica CLIPScore, asumiendo que los pares envenenados exhiben una menor similitud semántica entre imágenes y subtítulos que los pares benignos. Sin embargo, los autores identifican dos fallas críticas en este enfoque:

1. Solapamiento de Distribución: Las distribuciones de CLIPScore de los pares benignos y envenenados exhiben un solapamiento sustancial, lo que dificulta la distinción entre ellos utilizando únicamente puntuaciones de similitud.
2. Falta de Garantías Estadísticas: Los métodos de detección de umbral fijo no pueden proporcionar garantías estadísticas para las muestras que caen dentro de estas regiones de solapamiento, lo que conduce a clasificaciones poco fiables y posibles errores de clasificación bajo cortes heurísticos.

Metodología: CASCADE
Para abordar estas limitaciones, los autores proponen CASCADE, un novedoso marco de Detección de Puertas Traseras Conforme de Grueso a Fino (Coarse-to-Fine Conformal Backdoor Detection). El método integra la Predicción Conforme (CP) para establecer límites de confianza probables para la detección de pares envenenados. El marco opera en dos etapas:

1. Etapa I: Detección de Grano Grueso (Consistencia Intermodal)

   • Incrustación de Texto Guiada por la Visión: El sistema utiliza un modelo de subtitulado de imágenes preentrenado (por ejemplo, CLIPCap) como un módulo de mapeo fijo $G$ para traducir las incrustaciones de imagen al espacio de incrustación de texto, generando una incrustación de texto "guiada por la visión" ($\hat{t}_e$).
   • Métrica de Consistencia: Calcula la Consistencia Intermodal ($\Delta\kappa$) midiendo la diferencia absoluta entre la similitud imagen-texto original ($\kappa_{orig}$) y la similitud imagen-texto generada ($\kappa_{gen}$). Los pares benignos muestran una alta consistencia ($\Delta\kappa$ pequeño), mientras que los pares envenenados muestran un desalineamiento semántico significativo ($\Delta\kappa$ grande).
   • Partición: Se ajusta un Modelo de Mezcla Gaussiana (GMM) a la distribución de las puntuaciones de $\Delta\kappa$. El conjunto de datos se particiona en tres subconjuntos:
     • $D_b$: Pares benignos de alta confianza (bajo $\Delta\kappa$).
     • $D_p$: Pares envenenados de alta confianza (el top-$q$ de los $\Delta\kappa$ más altos).
     • $D_u$: Un subconjunto no identificado que contiene muestras ambiguas.

2. Etapa II: Detección de Grano Fino (Predicción Conforme)

   • Construcción del Conjunto de Referencia: El subconjunto envenenado de alta confianza $D_p$ sirve como un conjunto de referencia ($T_{ref}$) que representa la distribución envenenada.
   • Puntuación de No Conformidad (NCS): Para cada muestra en el subconjunto no identificado $D_u$, se calcula una NCS textual basada en el promedio de la similitud de coseno entre la incrustación de texto de la muestra y el conjunto de referencia. Los subtítulos envenenados, que comparten patrones específicos del objetivo, se alinean estrechamente con el conjunto de referencia, resultando en una NCS baja (alta conformidad). Los subtítulos benignos se desvían del conjunto de referencia, resultando en una NCS alta.
   • Decisión Estadística: La NCS se convierte en un p-valor conforme. Bajo la hipótesis nula de que el par de prueba está envenenado (es intercambiable con el conjunto de referencia), una NCS baja produce un p-valor alto, mientras que una NCS alta produce un p-valor bajo. La regla de decisión es: si $p(x,t) \le \epsilon$, la muestra se clasifica como benigna; de lo contrario, se clasifica como envenenada. Por lo tanto, las muestras con NCS baja (alta conformidad con la distribución envenenada) reciben p-valores altos y se mantienen como envenenadas, mientras que las muestras con NCS alta (baja conformidad) reciben p-valores bajos y son rechazadas como benignas.

Contribuciones Clave

1. Marco CASCADE: Un flujo de detección de dos etapas que separa las muestras de alta confianza antes de refinar los pares ambiguos mediante predicción conforme, superando las limitaciones de los umbrales fijos.
2. Métricas Novedosas: La introducción de la consistencia intermodal (explotando el desalineamiento imagen-texto) y las puntuaciones de no conformidad textual (explotando el agrupamiento estructural de los subtítulos envenenados) para mejorar la separabilidad.
3. Garantías Estadísticas: La integración de la CP proporciona límites estadísticos rigurosos sobre la tasa de falsos positivos, asegurando que la probabilidad de clasificar erróneamente una muestra envenenada como benigna esté controlada a un nivel definido por el usuario.

Resultados Experimentales
Se realizaron experimentos extensos en el conjunto de datos CC3M contra nueve ataques de puerta trasera diversas (por ejemplo, BadNets, BadCLIP, mmPoison) y varios ataques adaptativos.

• Desempeño de Detección: CASCADE logró un FPR@100%TPR promedio de 5.79% y un AUROC promedio de 0.9867, superando significativamente a las líneas base de vanguardia como CLIPScore, SafeCLIP y DAO.
• Utilidad en Aplicaciones Posteriores (Downstream): Al utilizarse para filtrar los datos de entrenamiento, los modelos entrenados en el subconjunto benigno identificado retuvieron una alta precisión limpia (58.17% en ImageNet-1K, cercano a la línea base limpia de 59.69%) mientras reducían la Tasa de Éxito de Ataque (ASR) de ~80% a 0.12%.
• Robustez: El método se mantuvo efectivo contra ataques adaptativos conscientes de la defensa, donde los atacantes optimizaron los disparadores para maximizar la consistencia semántica con los subtítulos objetivo. El AUROC de CASCADE solo disminuyó ligeramente (a ~0.94), demostrando robustez ante intentos de evadir la Etapa I.
• Generalización: El método se generalizó a través de diferentes clases objetivo, múltiples configuraciones de objetivo, varias variantes de CLIP (ResNet, ViT) y diferentes conjuntos de datos de preentrenamiento (Flickr-PASCAL, Visual Genome, MSCOCO).

Significancia y Reivindicaciones
El artículo afirma que CASCADE representa un avance significativo en la seguridad de los modelos MCL al ir más allá de los umbrales de similitud heurísticos hacia un marco de detección basado en principios estadísticos. Al aprovechar las propiedades estructurales de los datos envenenados (tanto el desalineamiento intermodal como el agrupamiento en el espacio de texto) y cuantificar la incertidumbre mediante la predicción conforme, CASCADE proporciona una defensa fiable que controla los falsos positivos incluso en las regiones ambiguas donde los métodos tradicionales fallan. Los autores enfatizan que, si bien CASCADE se centra en la detección, deja la purificación post-hoc (por ejemplo, el desaprendizaje del modelo o unlearning) como un trabajo futuro. El método se presenta como una solución robusta, eficiente y generalizable para identificar datos envenenados en el preentrenamiento multimodal a gran escala.