AtPatch: Debugging Transformers via Hot-Fixing Over-Attention

Sintesi Tecnica: AtPatch: Debugging dei Transformer tramite l'Hot-Fixing dell'Over-Attention

Definizione del Problema
Le reti neurali profonde (DNN) basate su Transformer sono suscettibili a difetti specifici, principalmente attacchi backdoor e ingiustizia del modello (model unfairness). Gli autori identificano che questi difetti si manifestano spesso come un fenomeno di "over-attention" (sovra-attenzione), in cui il modello assegna in modo sproporzionato pesi di attenzione elevati a specifiche caratteristiche di input, come trigger malevoli di backdoor o attributi protetti (ad es. razza, genere). Questo comportamento anomalo distorce l'aggregazione delle caratteristiche e compromette le predizioni.

Le strategie di mitigazione esistenti affrontano limitazioni significative quando applicate alle architetture transformer:

1. Limitazioni dell'Editing dei Neuroni: Metodi come IDNN e CARE, che si basano sull'editing o l'isolamento di specifici neuroni, faticano con i transformer a causa dei grafi computazionali dinamici creati dai meccanismi di attenzione. I comportamenti dei neuroni variano tra i diversi input, rendendo gli edit fissi instabili e soggetti a effetti a cascata.
2. Mancanza di Flessibilità: Metodi offline come Fine-Pruning e ADF richiedono spesso il riaddestramento del modello o la generazione di campioni discriminatori, introducendo un overhead computazionale e rendendoli inadatti per sistemi già implementati.
3. Distorsione della Funzionalità: L'applicazione indiscriminata di parametri modificati a tutti gli input tende a distorcere le rappresentazioni delle caratteristiche dei dati normali, degradando la funzionalità originale e l'accuratezza del modello.

Metodologia: AtPatch
Ispirandosi ai paradigmi dell'ingegneria del software del Delta Debugging (isolamento delle differenze che causano il guasto) e del Hot Patching (modifica a runtime senza ricompilazione), gli autori propongono AtPatch, un metodo di hot-fix che ridistribuisce dinamicamente le mappe di attenzione durante l'inferenza del modello senza alterare i parametri del modello o riaddestrarlo.

Il framework AtPatch opera in due fasi:

1. Preparazione Offline (Addestramento del Detector & Costruzione del Profilo Benigno):

   • Costruzione del Debugging Set: Il sistema costruisce un dataset di coppie "clean-backdoor" e "clean-bias". Per le backdoor, utilizza un approccio di ottimizzazione inversa per identificare potenziali trigger. Per il bias, genera campioni perturbando gli attributi protetti per trovare istanze in cui le predizioni divergono.
   • Addestramento del Detector: Un Detector pre-addestrato viene addestrato utilizzando l'apprendimento contrastivo sul debugging set. Esso impara a distinguere tra pattern di attenzione normali e anomal。

   • Profilo Benigno: Un profilo di "attenzione benigna" unificato ($Q$) viene calcolato mediando le colonne di attenzione dai dati puliti nel debugging set.

2. Hot-Fix Online (Tempo di Inferenza):

   • Estrazione & Rilevamento: Mentre il modello elabora un input, AtPatch intercetta le mappe di attenzione da tutti i layer. Il Detector analizza queste mappe per identificare le "colonne anomale" (quelle che superano una soglia di probabilità $\tau$).
   • Patching Condizionale:
     • Se non vengono rilevate anomalie, la mappa di attenzione originale viene passata al modello, garantendo un overhead nullo per gli input puliti.
     • Se vengono rilevate anomalie, AtPatch esegue un "hot patch":
       1. Sostituzione: Le colonne anomale segnalate vengono sostituite con le corrispondenti colonne dal profilo benigno unificato ($Q$).
       2. Ridimensionamento (Rescaling): Per mantenere l'invariante matematico secondo cui i pesi di attenzione in una riga devono sommare 1 (a causa della Softmax), le colonne non colpite vengono ridimensionate adattivamente. Ciò evita che la sostituzione causi la creazione di colonne sproporzionatamente piccole o grandi.
   • Inferenza Continua: La mappa di attenzione ridistribuita viene reimmessa nel modello per i layer rimanenti per generare la predizione finale.

Contributi Chiave

• Metodo: AtPatch è presentato come il primo approccio per mitigare backdoor e unfairness a runtime agendo specificamente sul problema dell'over-attention nei transformer, piuttosto che modificare i parametri del modello.
• Strumento: Gli autori hanno implementato AtPatch come uno strumento open-source, progettato per essere indipendente dall'architettura e dal dataset.
• Studio Empirico: Sono stati condotti estesi esperimenti su 6 dataset (MNIST, Fashion, CIFAR-10, Census, COMPAS, Bank) e 6 architetture di modelli (ViT, Swin, T2T-ViT, TabTransformer, TaBERT, FTTransformer) contro quattro baseline allo stato dell'arte (IDNN, CARE, ADF, Fine-Pruning).

Risultati Sperimentali

• Efficacia: AtPatch supera significativamente le baseline nella mitigazione di attacchi e bias.
  • Backdoor: Ha ridotto l'Attack Success Rate (ASR) medio allo 0,46% mantenendo una perdita di accuratezza media di solo lo 0,1%. Al contrario, le baseline come Fine-Pruning e IDNN hanno causato cali di accuratezza del 15,2% e del 16,6% rispettivamente, con un ASR residuo più elevato.
  • Unfairness: Ha ridotto l'Unfairness (UF) media allo 0,04% con una perdita di accuratezza trascurabile (0,0%), mentre le baseline spesso degradavano l'accuratezza del 2%-6% per ottenere livelli di equità simili.
• Performance del Detector: Il Detector ha raggiunto un'alta precisione (0,91–0,98) e recall (>0,99) nell'identificare le colonne anomale, con un basso tasso di falsi positivi (0,02–0,10), garantendo che gli input puliti siano raramente perturbati.
• Efficienza: AtPatch introduce un overhead minimo. L'addestramento offline è leggero (circa 1 minuto). L'inferenza online aggiunge un ritardo medio di 0,8 ms per campione solo quando vengono rilevate anomalie; per gli input puliti, il ritardo è trascurabile (0,1 ms). Questo è significativamente più veloce delle baseline che richiedono riaddestramento o un'estesa analisi dei neuroni.

Significatività e Rivendicazioni
Il paper sostiene che AtPatch stabilisca un nuovo paradigma per il debugging dei modelli trattando le mappe di attenzione come stati mutabili a runtime piuttosto che come tracce computazionali immutabili. La sua principale significatività risiede nella capacità di:

1. Preservare la Funzionalità: Intervenendo selettivamente solo sugli input anomali ed evitando cambiamenti globali ai parametri, preserva meglio la funzionalità originale del modello rispetto ai metodi di editing dei neuroni o di riaddestramento.
2. Abilitare la Distribuzione (Deployment): La sua natura "on-the-fly" permette di applicarlo a modelli già distribuiti senza riaddestramento o modifica dei parametri, colmando un vuoto critico nelle strategie di mitigazione esistenti.
3. Affrontare le Specificità dei Transformer: Affronta direttamente le sfide uniche delle architetture transformer (grafi computazionali dinamici) dove il debugging tradizionale basato sui neuroni fallisce.

Gli autori posizionano AtPatch non come un sostituto di tutte le tecniche di debugging, ma come una soluzione specializzata e non invasiva per i modelli basati su transformer che completa gli approcci esistenti operando a livello di mappa di attenzione.