🤖 machine learning

CLIP-Guided Backdoor Defense through Entropy-Based Poisoned Dataset Separation

El artículo presenta la Defensa de Puerta Trasera Guiada por CLIP (CGD), un método eficiente y robusto que aprovecha un modelo CLIP accesible públicamente para identificar y neutralizar datos envenenados, reduciendo eficazmente las tasas de éxito de ataque a menos del 1% mientras mantiene una alta precisión en datos limpios a través de varios conjuntos de datos y tipos de ataque.

Autores originales: Binyan Xu, Fan Yang, Xilin Dai, Di Tang, Kehuan Zhang

Publicado 2026-07-31

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Binyan Xu, Fan Yang, Xilin Dai, Di Tang, Kehuan Zhang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que acabas de construir un robot chef superinteligente. Le has alimentado con millones de fotos de comida para que pueda aprender a distinguir entre una hamburguesa y una pizza. Así es como funcionan las "Redes Neuronales Profundas" modernas; son los cerebros detrás de todo, desde los coches autónomos hasta el diagnóstico médico. Pero hay un problema astuto: ¿qué pasa si un malvado introduce algunas fotos "envenenadas" en la mezcla de entrenamiento? Tal vez añade una pequeña pegatina invisible en cada foto de una hamburguesa y la etiqueta como "pizza". Si el robot aprende este truco, podría pensar de repente que cualquier hamburguesa con esa pegatina es una pizza, incluso si le pides que haga una hamburguesa. Esto se llama "ataque de puerta trasera" (backdoor attack). El robot funciona perfectamente el 99% de las veces, pero cuando aparece ese activador específico, se vuelve loco.

La gran pregunta que se hacen los científicos es: ¿cómo limpiamos estos datos de entrenamiento envenenados sin desechar toda la receta? Normalmente, la única forma de estar seguros es tener un montón de fotos perfectamente limpias por separado para comparar, pero en el mundo real, a menudo no tenemos ese lujo. Podríamos tener solo el montón sospechoso y potencialmente envenenado. Por eso, los investigadores buscan una forma de separar las fotos "buenas" de las "malas" utilizando solo las herramientas que ya tenemos, haciendo que nuestros chefs robot vuelvan a ser seguros sin necesidad de una varita mágica.

Aquí entra un nuevo método llamado CGD (CLIP-Guided Backdoor Defense), que actúa como un detective de segunda opinión superinteligente para tu chef robot. Los investigadores se dieron cuenta de que podían usar un modelo de IA preentrenado muy famoso llamado CLIP (que es excelente emparejando imágenes con descripciones de texto) para olfatear a los alborotadores. Así es como ocurre la magia:

Primero, los investigadores tratan al chef robot sospechoso (el que fue entrenado con los datos malos) y al detective CLIP como un equipo. Observan cada foto del montón de entrenamiento y les preguntan a ambos: "¿Qué tan seguro estás de lo que es esto?". Miden esta "seguridad" utilizando algo llamado entropía. Piensa en la entropía como una medida de confusión.

Si el detective CLIP mira una foto y dice: "¡No tengo idea de qué es esto, es un desastre total!" (entropía alta), esto suele significar que la foto tiene una etiqueta extraña adjunta. Esto la marca como una muestra probablemente "envenenada" donde un malvado cambió la etiqueta.
Si el chef robot sospechoso mira una foto y dice: "¡Estoy 100% seguro de que esto es una pizza!" (entropía baja), pero la foto es en realidad una hamburguesa con un activador oculto, significa que el robot ha sido engañado para ser demasiado seguro. Esta es una señal de una puerta trasera de "etiqueta limpia" (clean-label backdoor), donde la etiqueta es correcta, pero la imagen ha sido alterada secretamente para engañar al modelo.

Al combinar estas dos señales, el CGD crea un "mapa" que separa las fotos limpias de las envenenadas. Es como tener un portero en un club que revisa dos identificaciones: si una identificación parece falsa (alta confusión de CLIP) o si la otra es sospechosamente segura de una mentira (baja confusión del robot), el portero echa esa foto del grupo de entrenamiento.

Una vez que las malas fotos son separadas, el CGD no solo las elimina; le enseña al chef robot a "desaprender" los malos hábitos. Reentrena el modelo con las fotos limpias para mantenerlo afilado, mientras utiliza simultáneamente el conocimiento correcto de CLIP para guiar al modelo lejos de los activadores envenenados. Es como decirle al robot: "Olvida que esa pegatina significa pizza; mira los ingredientes reales en su lugar".

Los resultados son impresionantes. En pruebas realizadas en cuatro conjuntos de datos diferentes y once tipos diferentes de ataques astutos, el CGD logró reducir la tasa de éxito de estos ataques de puerta trasera a menos del 1% (a menudo tan bajo como el 0.1% o 0.2%). Al mismo tiempo, mantuvo el rendimiento normal del chef robot casi exactamente igual, con una caída en la precisión de solo el 0.3%. Eso es como arreglar el motor de un coche roto sin rayar la pintura.

Lo que hace que esto sea aún más genial es lo resistente que es el método. Los investigadores lo probaron incluso cuando el detective CLIP era "más débil" (menos preciso) o incluso si el propio modelo CLIP había sido envenenado. Aun así, el CGD pudo eliminar las puertas traseras del modelo víctima sin transferir accidentalmente los malos hábitos. También demostró que este método es increíblemente rápido, tardando menos de 3 minutos en limpiar los datos después del entrenamiento inicial, lo cual es mucho más rápido que otros métodos que pueden tardar horas o días.

En resumen, este artículo sugiere que, al utilizar una IA inteligente y preentrenada como guía, podemos separar eficazmente los datos "buenos" de los "malos", incluso cuando no tenemos un conjunto de referencia limpio. Ofrece una forma práctica y eficiente de asegurar nuestros sistemas de IA contra trampas ocultas, asegurando que nuestros ayudantes digitales sigan siendo dignos de confianza incluso cuando los datos de los que aprenden no son perfectos.

Resumen Técnico: Defensa de Backdoor Guiada por CLIP mediante la Separación de Conjuntos de Datos Envenenados Basada en la Entropía (CGD)

1. Planteamiento del Problema

Las Redes Neuronales Profundas (DNN) son vulnerables a los ataques de puerta trasera (backdoor attacks), donde los adversarios envenenan una pequeña fracción de los datos de entrenamiento para implantar un disparador (trigger) que obliga al modelo a clasificar erróneamente entradas específicas en una clase objetivo. Aunque existen defensas existentes, estas enfrentan limitaciones significativas:

Defensas Basadas en Modelos de Datos Limpios: Los métodos que dependen del aprendizaje autosupervisado o semi-supervisado (por ejemplo, DBD, ASD) son computacionalmente costosos y a menudo ineficaces contra los backdoors de etiqueta limpia (clean-label backdoors) avanzados, donde las etiquetas permanecen correctas pero el disparador está incrustado en la imagen.
Defensas Basadas en Modelos Sospechosos: Los métodos que analizan el comportamiento del modelo víctima (por ejemplo, ABL, EP) tienen dificultades contra los backdoors de imagen limpia (clean-image backdoors), donde las imágenes envenenadas son visualmente indistinguibles de las limpias, lo que dificulta la detección de anomalías mediante la distribución de datos o activaciones.
Dependencia de Datos Limpios: Muchas defensas efectivas (por ejemplo, Fine-Pruning, MCR) asumen la disponibilidad de un pequeño subconjunto de datos limpios, lo cual es a menudo inexistente en escenarios del mundo real donde los datos de entrenamiento se obtienen externamente sin garantías de seguridad.

2. Metodología: Defensa de Backdoor Guiada por CLIP (CGD)

Los autores proponen CGD, un mecanismo de defensa de dos etapas que aprovecha un modelo de visión-lenguaje pre-entrenado y disponible públicamente (CLIP) como un clasificador "débil pero limpio" para separar los datos envenenados y guiar el desaprendizaje (unlearning) del modelo.

Idea Central

El método se basa en un análisis basado en la entropía de las predicciones de dos modelos:

CLIP (Débil pero Limpio): Como clasificador zero-shot, se asume que CLIP está libre del backdoor específico. Tiende a producir una entropía alta (baja confianza) en muestras envenenadas donde la etiqueta no coincide con el contenido visual (envenenamiento de etiqueta) o donde el disparador interrumpe la comprensión semántica.
Modelo Sospechoso (Víctima): El modelo entrenado con el conjunto de datos envenenado. En los backdoors de etiqueta limpia, el modelo víctima aprende una asociación fuerte entre el disparador y la etiqueta objetivo, lo que resulta en predicciones de entropía baja (alta confianza) para las muestras envenenadas, incluso si el disparador es sutil.

Etapa 1: División Meta de Datos Guiada por CLIP

El marco genera un "mapa de entropía" evaluando cada muestra tanto con CLIP como con el modelo sospechoso.

Identificación de Envenenamiento de Etiqueta: Se marcan las muestras con alta entropía en CLIP (que indican una falta de coincidencia entre etiqueta e imagen).
Identificación de Etiqueta Limpia: Se marcan las muestras con baja entropía en el modelo sospechoso (que indican exceso de confianza debido a la asociación del disparador).
Estrategia de División: Utilizando rangos de percentiles de las puntuaciones de entropía ( $\hat{S}_{CLIP}$ $\hat{S}_{C L I P}$ y $\hat{S}_{Model}$ $\hat{S}_{M o d e l}$ ), el conjunto de datos se particiona en:
- Subconjunto Limpio ( $D_c$ ): Baja entropía en CLIP y alta entropía en el Modelo.
- Subconjunto Disparado ( $D_p$ ): Alta entropía en CLIP O baja entropía en el Modelo.
- Subconjunto Mixto: El resto de las muestras.

Etapa 2: Desaprendizaje de Backdoor Guiado por CLIP

El modelo se ajusta finamente (fine-tuning) utilizando una función de pérdida compuesta sobre los subconjuntos separados:

Pérdida de Reaprendizaje ( $L_{re}$ ): Pérdida de entropía cruzada estándar sobre $D_c$ para preservar la precisión limpia.
Pérdida de Desaprendizaje ( $L_{un}$ ): Entropía cruzada negativa sobre $D_p$ para penalizar las predicciones confiadas en muestras disparadas, interrumpiendo la asociación disparador-etiqueta.
Pérdida de Destilación ( $L_{distill}$ ): Divergencia de Kullback-Leibler entre las predicciones del modelo y las predicciones de CLIP sobre $D_p$ . Esto guía al modelo para alinearse con las clasificaciones zero-shot "limpias" de CLIP, neutralizando efectivamente la influencia del backdoor.

Extensión: Habilitación de Defensas Basadas en Datos Limpios

Una contribución novedosa del artículo es la capacidad de adaptar defensas que tradicionalmente requieren datos limpios (por ejemplo, Fine-Pruning, ANP) a conjuntos de datos envenenados. Al usar CGD para filtrar un subconjunto de "División Limpia" (Split Clean) de alta calidad ( $D_c$ ) a partir de los datos envenenados, estos métodos pueden aplicarse sin necesidad de datos limpios externos.

3. Contribuciones Clave

Mecanismo de Defensa Novedoso (CGD): Introducción de una defensa que utiliza CLIP como un clasificador zero-shot para identificar muestras envenenadas mediante el análisis de entropía, abordando tanto los backdoors de etiqueta envenenada como los de etiqueta limpia/imagen limpia.
Eficiencia y Efectividad: El método logra un alto rendimiento de defensa con una sobrecarga computacional mínima (menos de 3 minutos post-entrenamiento) y mantiene una alta precisión limpia.
Puente entre Paradigmas de Defensa: Demostración de que las defensas basadas en datos limpios pueden desplegarse eficazmente en datos envenenados mediante el uso de CGD para extraer un subconjunto limpio, eliminando el requisito estricto de datos limpios externos.
Robustez: La defensa sigue siendo efectiva incluso cuando CLIP es débil (baja precisión zero-shot) o cuando el propio CLIP está comprometido por un backdoor.

4. Resultados Experimentales

Los autores evaluaron CGD en cuatro conjuntos de datos (CIFAR-10, CIFAR-100, GTSRB, Tiny-ImageNet) contra 11 ataques de backdoor de última generación.

Rendimiento: CGD redujo las Tasas de Éxito de Ataque (ASR) a menos del 1% (promedio de 0.2% en CIFAR-10) en todas las categorías de ataque, incluyendo backdoors de etiqueta limpia y de imagen limpia donde otras defensas fallaron.
Precisión Limpia (CA): El método mantuvo una alta precisión limpia con una caída máxima de solo 0.3% en CIFAR-10.
Comparación: CGD superó a las defensas existentes basadas en datos envenenados (por ejemplo, ABL, DBD, EP) y, al usarse para filtrar datos para defensas basadas en datos limpios (por ejemplo, ANP-SC, MCR-SC), logró resultados comparables o mejores que el uso de un 5% de datos limpios externos.
Eficiencia: El tiempo de ejecución total para la división y la defensa fue de aproximadamente 1,154 segundos (incluyendo el entrenamiento del modelo víctima), significativamente más rápido que los enfoques autosupervisados como DBD (26,971 segundos).
Pruebas de Robustez:
- CLIP Débil: Defensa efectiva (ASR $\le$ 5%) incluso cuando la precisión zero-shot de CLIP se redujo a ~7.5%.
- CLIP con Backdoor: CGD eliminó con éxito los backdoors del modelo víctima incluso cuando el modelo CLIP que servía de guía contenía un backdoor, sin transferir el backdoor de CLIP.
- Ataques Adaptativos: CGD resistió ataques adaptativos (por ejemplo, Rand-Patch, Feature Mixing Backdoor) que intentaban evadir la detección de entropía.

5. Significado y Reivindicaciones

El artículo afirma que CGD ofrece una solución práctica, escalable y altamente eficiente para la defensa de backdoors en el mundo real. Su importancia radica en:

Superación de Limitaciones: Aborda con éxito las debilidades específicas de las defensas actuales contra los backdoors de etiqueta limpia e imagen limpia sin el alto costo computacional del aprendizaje autosupervisado.
Eficiencia de Recursos: Elimina la necesidad de datos limpios externos, un cuello de botella importante en el despliegue práctico, al sintetizar un subconjunto limpio a partir de los propios datos envenenados.
Resiliencia: Proporciona fuertes garantías de seguridad incluso bajo condiciones imperfectas (modelos CLIP débiles o comprometidos), lo que lo convierte en una opción robusta para asegurar Redes Neuronales Profundas en entornos de datos no confiables.

Los autores concluyen que CGD representa un paso significativo hacia la creación de aplicaciones de aprendizaje profundo más confiables al proporcionar una defensa que es tanto efectiva contra ataques avanzados como factible para el despliegue en el mundo real.