AtPatch: Debugging Transformers via Hot-Fixing Over-Attention

Resumen Técnico: AtPatch: Depuración de Transformers mediante la Corrección en Caliente de la Sobre-atención

Planteamiento del Problema
Las Redes Neuronales Profundas (DNN) basadas en Transformers son susceptibles a defectos específicos, principalmente ataques de puerta trasera (backdoor attacks) e injusticia del modelo (model unfairness). Los autores identifican que estos defectos suelen manifestarse como un fenómeno de "sobre-atención", donde el modelo asigna desproporcionadamente pesos de atención altos a características de entrada específicas, tales como disparadores maliciosos de puertas traseras o atributos protegidos (por ejemplo, raza, género). Este comportamiento anómalo distorsiona la agregación de características y conduce a predicciones comprometidas.

Las estrategias de mitigación existentes enfrentan limitaciones significativas cuando se aplican a arquitecturas transformer:

1. Limitaciones de la Edición de Neuronas: Métodos como IDNN y CARE, que dependen de la edición o el aislamiento de neuronas específicas, tienen dificultades con los transformers debido a los grafos de computación dinámicos creados por los mecanismos de atención. El comportamiento de las neuronas varía según las entradas, lo que hace que las ediciones fijas sean inestables y propensas a efectos en cascada.
2. Falta de Flexibilidad: Los métodos fuera de línea (offline) como Fine-Pruning y ADF requieren el reentrenamiento del modelo o la generación de muestras discriminatorias, lo que introduce una carga computacional y los hace inadecuados para sistemas ya desplegados.
3. Distorsión de la Funcionalidad: La aplicación indiscriminada de parámetros modificados a todas las entradas tiende a distorsionar las representaciones de características de los datos normales, degradando la funcionalidad y precisión original del modelo.

Metodología: AtPatch
Inspirado en los paradigmas de la ingeniería de software de Delta Debugging (aislar diferencias que causan fallos) y Hot Patching (modificación en tiempo de ejecución sin recompilación), los autores proponen AtPatch, un método de corrección en caliente (hot-fix) que redistribuye dinámicamente los mapas de atención durante la inferencia del modelo sin alterar los parámetros del modelo ni reentrenar.

El marco de trabajo de AtPatch opera en dos fases:

1. Preparación Fuera de Línea (Entrenamiento del Detector y Construcción del Perfil Benigno):

   • Construcción del Conjunto de Depuración: El sistema construye un conjunto de datos de pares "limpio-puerta trasera" y "limpio-sesgo". Para las puertas traseras, utiliza un enfoque de optimización inversa para identificar posibles disparadores. Para el sesgo, genera muestras perturbando atributos protegidos para encontrar instancias donde las predicciones divergen.
   • Entrenamiento del Detector: Se entrena un Detector pre-entrenado utilizando aprendizaje contrastivo sobre el conjunto de depuración. Este aprende a distinguir entre patrones de atención normales y anómalos. El detector emite un vector de probabilidad de anomalía para cada columna en el mapa de atención.
   • Perfil Benigno: Se computa un perfil de "atención benigna" unificado ($Q$) promediando las columnas de atención de los datos limpios en el conjunto de depuración.

2. Corrección en Caliente en Línea (Tiempo de Inferencia):

   • Extracción y Detección: Mientras el modelo procesa una entrada, AtPatch intercepta los mapas de atención de todas las capas. El Detector analiza estos mapas para identificar "columnas anómalas" (aquellas que exceden un umbral de probabilidad $\tau$).
   • Parcheo Condicional:
     • Si no se detectan anomalías, el mapa de atención original se pasa al modelo, asegurando un gasto de recursos nulo para entradas limpias.
     • Si se detectan anomalías, AtPatch realiza un "parche en caliente":
       1. Reemplazo: Las columnas anómalas señaladas se reemplazan con las columnas correspondientes del perfil benigno unificado ($Q$).
       2. Reescalado: Para mantener la invariante matemática de que los pesos de atención en una fila deben sumar 1 (debido al Softmax), las columnas no afectadas se reescalan de forma adaptativa. Esto evita que el reemplazo cause que otras columnas se vuelvan desproporcionadamente pequeñas o grandes.
   • Inferencia Continua: El mapa de atención redistribuido se retroalimenta al modelo para las capas restantes para generar la predicción final.

Contribuciones Clave

• Método: AtPatch se presenta como el primer enfoque para mitigar puertas traseras e injusticia en tiempo de ejecución, atacando específicamente el problema de la sobre-atención en transformers, en lugar de modificar los parámetros del modelo.
• Herramienta: Los autores han implementado AtPatch como una herramienta de código abierto, diseñada para ser agnóstica a la arquitectura y al conjunto de datos.
• Estudio Empírico: Se realizaron experimentos extensos en 6 conjuntos de datos (MNIST, Fashion, CIFAR-10, Census, COMPAS, Bank) y 6 arquitecturas de modelos (ViT, Swin, T2T-ViT, TabTransformer, TaBERT, FTTransformer) contra cuatro líneas base de vanguardia (IDNN, CARE, ADF, Fine-Pruning).

Resultados Experimentales

• Efectividad: AtPatch supera significativamente a las líneas base en la mitigación de ataques y sesgos.
  • Puertas Traseras: Redujo la Tasa de Éxito de Ataque (ASR) promedio al 0.46% manteniendo una caída de precisión promedio de solo 0.1%. En contraste, las líneas base como Fine-Pruning e IDNN causaron caídas de precisión del 15.2% y 16.6% respectivamente, con un ASR residual más alto.
  • Injusticia: Redujo la Injusticia (UF) promedio al 0.04% con una pérdida de precisión insignificante (0.0%), mientras que las líneas base a menudo degradaron la precisión entre un 2% y un 6% para lograr niveles de equidad similares.
• Desempeño del Detector: El Detector logró una precisión (0.91–0.98) y un recall (0.99>) altos en la identificación de columnas anómalas, con una baja tasa de falsos positivos (0.02–0.10), asegurando que las entradas limpias rara vez sean perturbadas.
• Eficiencia: AtPatch introduce un gasto mínimo. El entrenamiento fuera de línea es ligero (aproximadamente 1 minuto). La inferencia en línea añade un retraso promedio de 0.8 ms por muestra solo cuando se detectan anomalías; para entradas limpias, el retraso es insignificante (0.1 ms). Esto es significativamente más rápido que las líneas base que requieren reentrenamiento o un análisis exhaustivo de neuronas.

Significancia y Reivindicaciones
El artículo afirma que AtPatch establece un nuevo paradigma para la depuración de modelos al tratar los mapas de atención como estados mutables en tiempo de ejecución en lugar de trazas computacionales inmutables. Su principal significancia radica en su capacidad para:

1. Preservar la Funcionalidad: Al intervenir selectivamente solo en entradas anómalas y evitar cambios globales de parámetros, preserva mejor la funcionalidad original del modelo en comparación con los métodos de edición de neuronas o reentrenamiento.
2. Permitir el Despliegue: Su naturaleza "sobre la marcha" permite que se aplique a modelos desplegados sin reentrenamiento o modificación de parámetros, abordando una brecha crítica en las estrategias de mitigación existentes.
3. Abordar la Especificidad de los Transformers: Aborda directamente los desafíos únicos de las arquitecturas transformer (grafos de computación dinámicos) donde la depuración tradicional basada en neuronas falla.

Los autores posicionan a AtPatch no como un reemplazo para todas las técnicas de depuración, sino como una solución especializada y no invasiva para modelos basados en transformers que complementa los enfoques existentes al operar al nivel del mapa de atención.