Prototype-Guided Robust Learning against Backdoor Attacks

Aquí se presenta un resumen técnico detallado del artículo "Prototype-Guided Robust Learning against Backdoor Attacks" (PGRL).

1. Planteamiento del Problema

Los ataques de puerta trasera comprometen las Redes Neuronales Profundas (DNN) envenenando el conjunto de datos de entrenamiento. El modelo resultante se comporta normalmente con entradas limpias, pero clasifica mal las entradas que contienen un patrón específico "disparador" hacia una clase objetivo elegida por el atacante.

• El Desafío: Defenderse contra estos ataques es difícil, particularmente cuando el defensor tiene acceso limitado a datos limpios (solo un pequeño conjunto de validación).
• Limitaciones de las Defensas Existentes: Los métodos actuales de aprendizaje robusto se basan en suposiciones restrictivas que fallan en escenarios específicos:
  • Grupo G1 (Aprendizaje Temprano de Puerta Trasera): Asume que las muestras envenenadas se aprenden más rápido (pérdida menor) que las benignas. Esto falla contra puertas traseras débiles (por ejemplo, disparadores pequeños, ratios de envenenamiento bajos o ataques que utilizan "muestras de cobertura" que confunden al modelo), donde el modelo aprende los datos benignos primero.
  • Grupo G2 (Baja Supervisión/Auto-supervisado): Asume que eliminar las etiquetas rompe la asociación disparador-objetivo. Esto falla contra ataques de etiquetas limpias, donde los disparadores se inyectan en muestras genuinas de la clase objetivo, reforzando el vínculo disparador-objetivo incluso sin corrupción de etiquetas.
  • Métodos Híbridos: A menudo heredan las debilidades tanto de G1 como de G2, fallando contra ataques de etiquetas corruptas débiles o contra ataques de etiquetas limpias.

2. Metodología: Aprendizaje Robusto Guiado por Prototipos (PGRL)

Los autores proponen PGRL, un marco de defensa que requiere únicamente un pequeño conjunto de muestras benignas verificadas (por ejemplo, 10 por clase) e integra dos componentes complementarios durante el ajuste fino. El enfoque se adapta según la fuerza del ataque de puerta trasera.

Componentes Principales

1. Verificación de Consistencia de Etiquetas (LCV) – Para Puertas Traseras Débiles:

   • Mecanismo: Utiliza el modelo actual para generar etiquetas pseudo para las muestras de entrenamiento basándose en su proximidad a los prototipos de clase (derivados del conjunto de validación limpio).
   • Lógica: En escenarios de puerta trasera débil (con muestras de cobertura), el modelo aprende características benignas primero. En consecuencia, las etiquetas pseudo para las muestras envenenadas probablemente diferirán de sus etiquetas originales (envenenadas).
   • Acción: Las muestras donde la etiqueta pseudo coincide con la etiqueta original son confiables; las demás se filtran. Esto elimina efectivamente las muestras envenenadas que el modelo aún no ha "aprendido" a asociar con el disparador.
   • Detalle Técnico: Para evitar el colapso de las etiquetas pseudo (donde todas las muestras se mapean a una sola clase), PGRL utiliza Transporte Óptimo (OT) para imponer una distribución uniforme de etiquetas pseudo a través de las clases, combinando la similitud del coseno con la uniformidad del conjunto de datos.

2. Estimación de Distancia de Características (FDE) – Para Puertas Traseras Fuertes:

   • Mecanismo: Calcula un peso para cada muestra de entrenamiento basándose en su distancia de características respecto a las muestras de validación limpias en el espacio de características (utilizando una distribución normal multivariada).
   • Lógica: En escenarios de puerta trasera fuerte (sin muestras de cobertura), las muestras envenenadas son valores atípicos distintos en el espacio de características en comparación con los datos benignos.
   • Acción: Las muestras alejadas de la distribución limpia reciben pesos negativos, forzando al modelo a "desaprenderlas". Las muestras cercanas a la distribución limpia reciben pesos positivos.
   • Detalle Técnico: Las dimensiones de las características se reducen mediante UMAP para evitar la maldición de la dimensionalidad. Los pesos se actualizan mediante momento para garantizar estabilidad.

Flujo de Trabajo

El modelo se calienta primero en el conjunto de validación limpio. Durante el ajuste fino en el conjunto de datos potencialmente envenenado:

• LCV filtra muestras basándose en la consistencia de etiquetas.
• FDE asigna pesos a las muestras basándose en la distancia de características.
• La función de pérdida final es una entropía cruzada ponderada, donde las muestras con pesos negativos se desaprenden activamente.

3. Contribuciones Clave

• Marco de Defensa Unificado: PGRL es el primer método de aprendizaje robusto que defiende efectivamente contra ambos tipos de puertas traseras: fuertes (mediante FDE) y débiles (mediante LCV), superando la "brecha de suposición" de los métodos anteriores.
• Mecanismo Guiado por Prototipos: Introduce un uso novedoso de los prototipos de clase de un pequeño conjunto de validación limpio para guiar tanto el etiquetado pseudo (LCV) como la estimación de distancia de características (FDE).
• Integración de Transporte Óptimo: Incorpora el Transporte Óptimo en el proceso de etiquetado pseudo para garantizar robustez contra el colapso de etiquetas durante las etapas tempranas del entrenamiento.
• Requisito Mínimo de Datos Limpios: Logra una alta robustez utilizando únicamente un conjunto de validación limpio diminuto (10 muestras por clase), haciéndolo práctico para escenarios del mundo real donde los datos limpios son escasos.

4. Resultados Experimentales

Los autores evaluaron PGRL contra ocho defensas de última generación (incluyendo ABL, ASD, DBD, ESTI, etc.) en diversos conjuntos de datos (CIFAR-10, ImageNette, Speech Commands) y arquitecturas (ResNet, VGG, DenseNet, ViT).

• Eficacia:
  • PGRL logró consistentemente una Precisión (ACC) > 0.90 y una Tasa de Éxito del Ataque (ASR) < 0.1 en todos los ataques probados (Pattern, AdapBlend, Freq, Ultrasonic, Wanet, Combat, Lotus).
  • En contraste, las defensas de referencia fallaron en al menos un tipo de ataque, a menudo resultando en un ASR > 0.6.
  • Específicamente, LCV destacó contra ataques con muestras de cobertura (AdapBlend), mientras que FDE destacó contra ataques sin muestras de cobertura (Pattern, Freq). La combinación (PGRL) manejó todos los casos.
• Eficiencia:
  • PGRL incurrió en una sobrecarga de tiempo de entrenamiento de 1.15× en comparación con el entrenamiento ingenuo. Esto es comparable a otras defensas (por ejemplo, ABL, ESTI) y significativamente más rápido que métodos como DBD (que utiliza SimCLR).
• Generalización:
  • El método demostró ser robusto a través de diferentes arquitecturas de modelos (VGG16, DenseNet121, ViT-B-16) y contra cuatro ataques avanzados adicionales (Ultrasonic, Wanet, Combat, Lotus).
• Estudios de Ablación:
  • Eliminar el Transporte Óptimo causó un colapso del rendimiento (el ASR saltó de 0.01 a 0.99), confirmando su necesidad para un etiquetado pseudo estable.
  • El método permaneció efectivo incluso con conjuntos de validación muy pequeños (hasta 10 muestras en total).

5. Significado

Este artículo establece un nuevo estándar para la defensa de puertas traseras práctica y generalizable. Al alejarse de suposiciones rígidas sobre la fuerza del ataque o la corrupción de etiquetas, PGRL proporciona una solución flexible de marco único que se adapta a las características específicas del envenenamiento. Su capacidad para funcionar con datos limpios mínimos lo hace altamente desplegable en escenarios del mundo real donde la sanitización de datos es difícil. Los autores también delinean trabajos futuros para extender este marco a tareas complejas como detección de objetos, segmentación y Modelos de Lenguaje Grandes (LLMs).