Mechanistic Anomaly Detection via Functional Attribution

1. Il Problema: Rilevamento di Anomalie Meccaniche (MAD)

Il lavoro affronta una sfida fondamentale nel deployment sicuro delle reti neurali: la capacità di verificare la correttezza di un'output non garantisce che sia stata prodotta da meccanismi interni "normali".

• Il limite attuale: I metodi esistenti per il rilevamento di anomalie (come i backdoor o gli attacchi avversari) si basano spesso sull'analisi dello spazio latente (attivazioni interne). Questi metodi sono vulnerabili perché un avversario può progettare input che mimano i pattern di attivazione normali pur eseguendo comportamenti dannosi (obfuscation).
• L'obiettivo: Il Mechanistic Anomaly Detection (MAD) mira a identificare quando un modello utilizza processi interni anomali o non intenzionali, anche se l'output finale sembra corretto o plausibile.
• Il contesto di test: Poiché è difficile ottenere modelli che ragionano in modo "deceptivo" in natura, l'articolo utilizza gli attacchi backdoor come "organismi modello" per studiare e rilevare questi comportamenti anomali.

2. Metodologia: Attribuzione Funzionale e Funzioni di Influenza

Gli autori riformulano il problema del rilevamento di anomalie come un problema di attribuzione funzionale a dati fidati. L'idea centrale è: "In che misura i campioni di un set fidato possono spiegare l'output del modello su un nuovo input di test?".

Se un input di test non può essere spiegato dai meccanismi utilizzati dai dati fidati, è probabile che sia anomalo.

Componenti Chiave:

1. Funzioni di Influenza (Influence Functions):

   • Tradizionalmente usate per attribuire il comportamento del modello ai dati di addestramento, qui vengono adattate per misurare la co-dipendenza funzionale tra un campione di test e un set di riferimento fidato (trusted set).
   • Misurano quanto due campioni condividono gli stessi meccanismi interni complessi (es. circuiti di ragionamento), non solo la similarità superficiale.

2. Bayesian Influence Functions (BIF) e SGLD:

   • Per evitare l'inversione costosa dell'Hessiana (tipica delle reti neurali grandi e singolari), il metodo utilizza una formulazione bayesiana.
   • Si campionano parametri dal posteriore localizzato attorno ai pesi addestrati ($w^*$) utilizzando lo Stochastic Gradient Langevin Dynamics (SGLD).
   • Si traccia la perdita (loss) sia per i campioni fidati che per quelli di test durante questo processo di campionamento.

3. Punteggio di Rilevamento:

   • Si calcola la correlazione (o covarianza) tra le tracce di perdita dei campioni di test e quelle dei campioni fidati.
   • Iperparametri: Si utilizza una distribuzione gaussiana centrata su $w^*$ con una forza di localizzazione $\gamma$.
   • Aggregazione: Le correlazioni vengono aggregate (media o media per classe) per produrre un punteggio finale. Un punteggio basso indica che il meccanismo interno del campione di test è diverso da quello fidato.

4. Giustificazione Teorica:

   • Gli autori dimostrano che i meccanismi "puliti" (normali) e quelli "anomali" (es. backdoor) occupano sottospazi diversi nello spettro degli autovalori dell'Hessiana.
   • I meccanismi normali risiedono nelle direzioni "ripide" (sharp) dove i cambiamenti dei parametri influenzano fortemente la perdita sui dati fidati.
   • I meccanismi anomali (stealth) tendono a concentrarsi nelle direzioni "piatte" (flat) dove i parametri possono variare senza degradare le prestazioni normali. Di conseguenza, le loro tracce di perdita sono scarsamente correlate con quelle fidate.

3. Contributi Principali

1. Riformulazione del Problema: Trasformazione del MAD da analisi dello spazio latente a problema di attribuzione funzionale, rendendo il metodo indipendente dalla modalità (visione, linguaggio) e robusto all'oscuramento delle attivazioni.
2. Fondamento Teorico: Analisi dello spettro dell'Hessiana che spiega perché i gradienti dei campioni anomali si concentrano in direzioni piatte, portando a una bassa correlazione funzionale con i dati fidati.
3. Versatilità: Dimostrazione che il metodo rileva non solo i backdoor, ma anche campioni fuori distribuzione (OOD) e esempi avversari, distinguendo anche tra diversi meccanismi anomali all'interno dello stesso modello.
4. Prestazioni SOTA: Raggiungimento di risultati allo stato dell'arte su benchmark rigorosi sia per modelli visivi che linguistici.

4. Risultati Sperimentali

Modelli Visivi (Vision Models)

• Dataset: Valutazione su BackdoorBench (CIFAR-10, CIFAR-100, GTSRB, Tiny-ImageNet) contro 7 attacchi diversi (Blended, BPP, LF, SIG, SSBA, TrojanNN, WaNet).
• Metrica: Defense Effectiveness Rating (DER).
• Risultati:
  • Il metodo online (media di correlazione) ottiene un DER medio di 0.93 su 7 attacchi e 4 dataset, superando il miglior metodo esistente (0.83) di un margine significativo (+0.095).
  • Il metodo offline (che utilizza UMAP sulle correlazioni tra campioni di test) raggiunge un DER medio di 0.975.
  • Il metodo mantiene prestazioni elevate anche a bassi tassi di avvelenamento (0.1%), dove i metodi basali falliscono.

Modelli Linguistici (LLMs)

• Setup: Fine-tuning di Gemma 2-2B e Llama 3.1 8B con backdoor di complessità crescente (trigger semplici, trigger contestuali complessi, e modelli esplicitamente oscurati per ingannare i rilevatori basati su spazio latente).
• Risultati:
  • AUROC > 0.98 su tutti i tipi di backdoor.
  • Robustezza all'Oscuramento: Mentre i metodi basati su spazio latente (Mahalanobis, VAE) crollano su modelli oscurati (AUROC vicino al caso casuale), il metodo proposto mantiene un AUROC di 1.0, dimostrando di non dipendere dai pattern di attivazione.

Rilevamento di Altre Anomalie

• Il metodo riesce a separare chiaramente campioni puliti, avversari, OOD e backdoor in uno spazio di correlazione (visualizzato tramite UMAP), confermando la sua capacità di profilare funzionalità generali e non solo artefatti specifici dei backdoor.

5. Significato e Impatto

• Sicurezza e Affidabilità: Questo approccio offre un nuovo strumento per la sicurezza dei sistemi ML deployati, capace di rilevare comportamenti interni sospetti anche quando l'output sembra corretto.
• Indipendenza dalla Modalità: Essendo basato sulla dinamica dei parametri e non sulle rappresentazioni interne specifiche di un dominio, è applicabile sia a immagini che a testo.
• Limiti: Il metodo ha un costo computazionale più elevato rispetto ai metodi basati su spazio latente (richiede campionamento SGLD e multiple forward pass), ma i risultati mostrano che è fattibile e robusto.
• Prospettive Future: Apre la strada a difese combinate che integrano l'analisi funzionale con quella dello spazio latente per una protezione a più livelli contro attacchi sofisticati e allineamento difettoso (alignment failures) in sistemi AI avanzati.

In sintesi, il paper propone un cambio di paradigma: invece di cercare anomalie nelle "ombre" delle attivazioni interne, si analizza la "luce" della dipendenza funzionale dai dati fidati, offrendo una difesa robusta contro l'oscuramento e gli attacchi meccanici.