🤖 machine learning

Anti-Backdoor Coreset Selection via Cumulative Entropy

Este artículo propone la "Selección de Coreset Anti-Backdoor", una defensa en tiempo de entrenamiento que construye un subconjunto benigno de datos aprovechando la entropía acumulativa y el desaprendizaje de muestras para aislar y eliminar eficazmente las muestras de puerta trasera mientras preserva la precisión natural del modelo.

Autores originales: Qi Zhao, Christian Wressnegger

Publicado 2026-07-29

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Qi Zhao, Christian Wressnegger

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a reconocer gatos y perros. Le das una pila masiva de fotos para que las estudie. Por lo general, cuanto más fotos le des, más inteligente se vuelve. Pero, ¿qué pasaría si un bromista astuto colara unos cuantos miles de fotos en esa pila? No son solo fotos malas al azar; están "envenenadas" con un código secreto. Tal vez cada foto de un gato tiene una pequeña pegatina, casi invisible, en ella. El bromista quiere que el robot aprenda que "gato + pegatina = perro". Si el robot aprende este código secreto, actuará normalmente la mayor parte del tiempo, pero en el momento en que vea un gato con esa pegatina, gritará con total confianza: "¡PERRO!". Esto se llama un "ataque de puerta trasera" (backdoor attack), y es un gran problema porque el robot parece perfecto hasta que es engañado.

Para detener esto, los científicos han estado intentando encontrar una manera de limpiar la pila de fotos antes de que el robot comience a aprender. Quieren desechar las fotos malas y quedarse solo con las buenas, pero no pueden simplemente mirar las fotos con sus ojos porque el veneno suele ser invisible. Necesitan una forma inteligente de averiguar qué fotos son "confusas" o "sospechosas" y cuáles son útiles. Aquí es donde entra la idea de un "coreset". Piensa en un coreset como una guía de estudio súper eficiente. En lugar de leer toda la biblioteca, el robot solo estudia una selección pequeña y perfecta de libros que le enseñan todo lo que necesita saber. El gran desafío es: ¿cómo eliges los libros adecuados cuando algunos de ellos han sido escritos por un mentiroso?

Este artículo presenta un nuevo método llamado Selección de Coreset Anti-Puerta Trasera (ABCS, por sus siglas en inglés) para resolver este rompecabezas. Los autores se dieron cuenta de que las fotos "mentirosas" (las envenenadas) se comportan de manera diferente a las fotos "honestas" (las limpias) mientras el robot está aprendiendo. Específicamente, el robot aprende el código secreto en las fotos envenenadas muy rápidamente y se vuelve súper confiado sobre ellas. Deja de tener curiosidad por ellas. En contraste, el robot encuentra las fotos honestas un poco más difíciles; tiene que pensar más duro, comete más errores al principio y su "incertidumbre" permanece más alta durante más tiempo.

Los autores decidieron usar esta diferencia de comportamiento como un filtro. Crearon un nuevo sistema de puntuación llamado Entropía Acumulada. Imagina observar al robot estudiar durante mucho tiempo y llevar un diario de lo confundido que está por cada foto.

Las Fotos Envenenadas: El robot las descifra en el primer día y nunca vuelve a confundirse. Su "puntuación de confusión" (entropía) cae cerca de cero y se queda ahí.
Las Fotos Honestas: El robot lucha, se confunde, aprende un poco, se vuelve a confundir y sigue aprendiendo. Su "puntuación de confusión" se mantiene alta y fluctúa con el tiempo.

Al sumar (acumular) estas puntuaciones de confusión a lo largo de muchos días de entrenamiento, el método puede detectar fácilmente la diferencia. Las fotos envenenadas tienen una puntuación total diminuta, mientras que las fotos honestas e informativas tienen una puntuación enorme. El método simplemente elige las fotos con las puntuaciones más altas para construir la nueva y segura guía de estudio (el coreset).

Para hacer esto aún mejor, los autores añadieron un truque ingenioso llamado "desaprendizaje" (unlearning). A veces, el robot se confunde sobre una foto honesta difícil y piensa que podría ser una foto envenenada. Para solucionar esto, el método enseña temporalmente al robot a olvidar esas fotos confusas, haciendo que la brecha entre el "veneno aburrido y fácil" y la "verdad interesante y difícil" sea aún más amplia. Esto asegura que la selección final esté casi totalmente libre de veneno.

Los resultados son impresionantes. Cuando se probó en varios tipos de "veneno" digital (como el ataque "Blend" o "WaNet"), este método eliminó con éxito las puertas traseras, manteniendo la tasa de éxito del ataque (qué tan bien funciona el truco) casi en cero. Al mismo tiempo, el robot entrenado con esta selección pequeña y limpia funcionó tan bien como si hubiera aprendido de todo el conjunto de datos original y limpio. De hecho, debido a que la nueva guía de estudio es mucho más pequeña que la pila completa de fotos, el robot en realidad aprendió más rápido. Los autores descubrieron que este enfoque funciona de manera constante a través de diferentes tipos de ataques y conjuntos de datos, ofreciendo una forma de entrenar una IA segura sin necesidad de un conjunto de datos "limpio" separado para comparar, y sin ralentizar el proceso de entrenamiento. Resulta que, al escuchar qué tan confundido se pone un modelo de aprendizaje, podemos filtrar a los mentirosos y mantener la verdad.

Resumen Técnico: Selección de Coreset Anti-Backdoor mediante Entropía Acumulativa

Planteamiento del Problema
Las redes neuronales profundas requieren grandes conjuntos de datos de entrenamiento, pero la inspección manual de estos es inviable, lo que deja a los modelos vulnerables a ataques de envenenamiento de datos. Específicamente, las puertas traseras (backdoors) neuronales establecen atajos desde patrones de activación (triggers) hacia predicciones objetivo. Si bien las defensas recientes intentan mitigar estas amenazas dividiendo los conjuntos de datos envenenados en subconjuntos "benignos" y "envenenados" para entrenar un modelo limpio, los métodos existentes a menudo fallan al equilibrar la precisión natural con la eliminación de la puerta trasera. Muchos enfoques previos comprometen el rendimiento natural, dependen de conjuntos de datos de referencia limpios (lo que invalida el propósito de una defensa automatizada) o no logran defenderse contra ataques sofisticados específicos. Además, el simple hecho de dividir los conjuntos de datos conlleva el riesgo de retener muestras envenenadas si los criterios de selección no son robustos.

Metodología: Selección de Coreset Anti-Backdoor (ABCS)
Los autores reformulan la defensa de puertas traseras durante el entrenamiento como un problema de selección de coreset. La intuición central es que los datos de entrenamiento codifican dos tareas: la tarea primaria (benigna) y la tarea secundaria (puerta trasera). Las muestras envenenadas suelen inducir una convergencia rápida y estable con baja incertidumbre de predicción, mientras que las muestras benignas, difíciles de aprender, exhiben una mayor incertidumbre. Al seleccionar un coreset basado en la informatividad en lugar de la representatividad geométrica, el método prioriza naturalmente la tarea primaria.

La defensa propuesta, ABCS, utiliza la Entropía Acumulativa (CENT) como criterio de selección y opera en tres fases:

Fase de Calentamiento (Warm-Up): El modelo se entrena durante $T_{wa}$ épocas en el conjunto de datos envenenado completo para estabilizar la selección inicial. Se calcula un umbral $\tau$ basado en la entropía promedio de las muestras predichas correctamente para determinar el tamaño del coreset objetivo ( $s$ ).
Fase de Selección de Coreset ( $T_{se}$ épocas):
- Paso 1 (Aprendizaje): El modelo se entrena durante una época en el conjunto de datos envenenado completo para obtener una distribución de entropía intermedia.
- Paso 2 (Desaprendizaje): Para aumentar la discrepancia entre las muestras benignas y las envenenadas, el método "desaprende" las muestras inciertas. Identifica muestras con una entropía superior al promedio de las muestras predichas correctamente y aplica suavizado de etiquetas (label smoothing) combinado con regularización $L_2$ (anclaje a los pesos anteriores del modelo). Este paso evita el colapso del modelo y amplía explícitamente la brecha de incertidumbre, haciendo que las muestras benignas sean más distintas de las muestras envenenadas de baja incertidumbre.
- Paso 3 (Acumulación): La entropía de Shannon normalizada de cada muestra se acumula a través de las épocas. El puntaje de Entropía Acumulativa (CENT) para una muestra $x_i$ se define como el promedio de las entropías normalizadas durante $T_{se}$ épocas.
Entrenamiento Final: Las $s$ mejores muestras con los puntajes CENT más altos forman el coreset benigno $D_{bng}$ . Un nuevo modelo se entrena desde cero utilizando este coreset mediante la pérdida de entropía cruzada estándar.

Contribuciones Clave

Formulación Novedosa: El artículo introduce la "Selección de Coreset Anti-Backdoor", enmarcando la defensa como un problema de recuperación de un subconjunto informativo de la tarea primaria, en lugar de simplemente filtrar el veneno.
Criterio de Entropía Acumulativa: Los autores proponen CENT, una métrica que rastrea la dinámica de aprendizaje a lo largo de múltiples épocas. A diferencia de las medidas de incertidumbre de una sola época que sufren de varianza, CENT captura la consistencia temporal, identificando eficazmente las muestras que permanecen inciertas (benignas) frente a aquellas que convergen rápidamente (envenenadas).
Mecanismo de Desaprendizaje: La integración de un paso de desaprendizaje específico con suavizado de etiquetas y regularización mejora la separabilidad entre las muestras benignas y las envenenadas, abordando las limitaciones de la simple selección basada en la entropía contra ataques sigilosos.
Eficiencia: El método construye un coreset significativamente más pequeño que el conjunto de datos completo ( $r_{se} \ll 1$ ), lo que resulta en un tiempo de entrenamiento total comparable al entrenamiento ingenuo.

Resultados Experimentales
Los autores evaluaron ABCS en CIFAR-10, GTSRB y Tiny-ImageNet contra ocho ataques de puerta trasera distintos (incluyendo BadNets, Blend, WaNet y A-Blend).

Robustez: ABCS mitigó consistentemente todas las puertas traseras investigadas, logrando una Tasa de Éxito de Ataque (ASR) cercana al 0% en la mayoría de los escenarios, superando significativamente a defensas de vanguardia como ABL, DBD, CBD, V&B y Harvey.
Precisión Natural: El método preservó la precisión natural (ACC) comparable a la de los modelos entrenados con conjuntos de datos limpios, mientras que muchas defensas previas sufrieron caídas significativas en la precisión.
Tasa de Efectividad de la Defensa (DER): ABCS alcanzó puntuaciones de DER superiores al 95% en CIFAR-10 y al 97% en Tiny-ImageNet, lo que indica un equilibrio superior entre la eliminación de la puerta trasera y la retención de la precisión.
Adaptabilidad a Datos Limpios: A diferencia de otros métodos que se degradan con datos limpios, ABCS mantuvo un alto rendimiento cuando se entrenó con conjuntos de datos no envenenados, demostrando su adaptabilidad.
Ratio de Envenenamiento: Los coresets seleccionados contenían un ratio de envenenamiento insignificante ( $\rho_{bng} \approx 0$ ), excluyendo eficazmente las muestras maliciosas.

Significancia y Reivindicaciones
El artículo afirma que ABCS ofrece una defensa durante el tiempo de entrenamiento excepcionalmente efectiva que construye un coreset benigno para entrenar un modelo libre de puertas traseras. Su principal significancia radica en su capacidad para mitigar ataques de puerta trasera de manera consistente con un impacto insignificante en el rendimiento natural, un punto de falla común en trabajos previos. Los autores enfatizan que el método no requiere un conjunto de datos de referencia limpio y conlleva costos computacionales similares al entrenamiento ingenuo, lo que lo hace práctico para el despliegue en el mundo real. Los autores señalan que, si bien el rendimiento empírico es sólido, el enfoque carece actualmente de una base teórica respecto a la separación del espacio latente entre el coreset y las muestras envenenadas, sugiriendo esto como un área para trabajos futuros.

Más como este