Out-of-the-box: Black-box Causal Attacks on Object Detectors

1. Il Problema

Gli oggetti rilevatori (Object Detectors - OD), fondamentali per applicazioni critiche come le auto a guida autonoma, sono vulnerabili a perturbazioni avversarie. Tuttavia, la maggior parte degli attacchi esistenti presenta limitazioni significative:

• Approccio "White-box": Molti metodi richiedono l'accesso ai livelli nascosti del modello o ai gradienti, un'ipotesi di attacco irrealistica in scenari reali.
• Mancanza di spiegabilità: Anche quando gli attacchi funzionano, è spesso oscuro perché funzionano. Le mappe di salienza tradizionali sono rumorose e non rivelano chiaramente la relazione causale tra le perturbazioni dei pixel e il fallimento del modello.
• Inefficienza: Gli attacchi spesso modificano l'intera immagine o intere regioni, rendendo le perturbazioni percettibili all'occhio umano.

Il paper si pone l'obiettivo di sviluppare un attacco black-box (che richiede solo l'output del modello: label e bounding box) che sia spiegabile, minimale e impercettibile, basandosi su principi causali.

2. Metodologia: BlackCAtt

Il cuore della proposta è BlackCAtt (Black-box Causal Attacks), un algoritmo che genera attacchi avversari identificando e manipolando i Minimal Sufficient Pixel Sets (MSPS).

Concetti Chiave

• MSPS (Minimal Sufficient Pixel Sets): Un sottoinsieme minimo di pixel di un'immagine che è sufficiente affinché il modello mantenga la stessa classificazione (o rilevamento) dell'immagine originale. Se questi pixel vengono rimossi o alterati, la rilevazione cambia.
• Scoperta controintuitiva: L'analisi preliminare rivela che gli MSPS non sono sempre contenuti all'interno del bounding box (la scatola che delimita l'oggetto). Spesso, una parte significativa dei pixel causali risiede fuori dal bounding box, nel contesto circostante.
• Strumenti XAI: BlackCAtt utilizza strumenti di Intelligenza Artificiale Spiegabile (XAI) come rex (basato sulla causalità reale) e DRISE (basato su occlusioni) per generare mappe di responsabilità e estrarre gli MSPS.

Algoritmi Proposti

Il paper introduce due varianti principali di BlackCAtt, entrambe operanti in modalità decision-based (solo label e coordinate del bounding box):

1. BlackCAttBl (Blended):

   • Combina due mappe: una per la rilevazione attuale ($R(X)$) e una per la "non rilevazione" o target negativo ($R(\bar{X})$).
   • Utilizza queste mappe per creare una maschera combinata e applica perturbazioni (rumore, sfocatura, ecc.) progressivamente sui pixel dell'MSPS, sia interni che esterni al bounding box, cercando di minimizzare la distorsione.

2. BlackCAttMoG (Mixture of Gaussians):

   • Tratta la mappa di responsabilità come una distribuzione di probabilità.
   • Identifica i picchi di massima responsabilità all'interno dell'MSPS e li modella come un mix di distribuzioni Gaussiane 2D.
   • Genera una maschera di perturbazione "morbida" e spazialmente coerente, applicando il rumore con intensità variabile in base alla densità della mappa. Questo approccio è particolarmente efficace per creare attacchi impercettibili.

Funzionamento come Meta-Algoritmo

BlackCAtt può anche agire come un meta-algoritmo per migliorare tecniche avversarie basate su score (quando è disponibile la funzione di perdita o il punteggio di confidenza). Limitando le perturbazioni di algoritmi esistenti (come Square Attack o PRFA) esclusivamente ai pixel causali (MSPS), si ottengono attacchi più piccoli e meno percettibili.

3. Contributi Chiave

1. Primo attacco causale spiegabile in black-box per OD: BlackCAtt è il primo metodo che utilizza la causalità per generare attacchi spiegabili su rilevatori di oggetti senza accesso al modello interno.
2. Scoperta della dipendenza dal contesto: Dimostrano empiricamente che i pixel causali per un rilevamento si trovano frequentemente fuori dal bounding box annotato. Attaccare queste regioni esterne è spesso più efficiente e meno percettibile.
3. Algoritmi efficienti: Proposta di due algoritmi (Blended e MoG) che raggiungono alti tassi di successo con perturbazioni minime, utilizzando solo label e bounding box.
4. Miglioramento degli stati dell'arte (SOTA): Dimostrazione che l'uso degli MSPS come prior spaziali può ridurre drasticamente la distorsione (norme L0, L2, LPIPS) di attacchi black-box esistenti, rendendoli più efficaci e spiegabili.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul dataset COCO su tre architetture diverse: YOLOv11 (single-stage), Faster R-CNN (two-stage) e RT-DETR (Transformer-based).

• Efficacia vs Baseline: BlackCAtt supera significativamente le baseline non guidate (come il rumore globale o il rumore mirato ai bordi). Ad esempio, per l'obiettivo di aggiungere nuove rilevazioni spurie, BlackCAtt raggiunge tassi di successo fino al 53%, contro meno del 10% delle baseline.
• Impercettibilità: L'uso degli MSPS porta a perturbazioni molto più piccole.
  • In combinazione con Square Attack, BlackCAtt riduce la distanza media (norma L0) dall'input originale da 0.987 a 0.072, mantenendo un tasso di successo simile.
  • Le perturbazioni esterne al bounding box richiedono aree di modifica medie molto più piccole rispetto a quelle interne, pur essendo efficaci.
• Robustezza Architetturale: Il metodo funziona su tutte le architetture testate, inclusi i transformer (RT-DETR), sebbene quest'ultimo mostri una maggiore robustezza generale.
• Efficienza delle Query: Le varianti guidate da BlackCAtt richiedono spesso meno query al modello rispetto agli attacchi standard per raggiungere lo stesso obiettivo di successo.

5. Significato e Implicazioni

• Sicurezza e Robustezza: Il lavoro evidenzia una vulnerabilità fondamentale nei rilevatori di oggetti: la loro dipendenza da contesti esterni al soggetto stesso. Questo suggerisce che le attuali tecniche di addestramento potrebbero non essere sufficienti per garantire la robustezza.
• Interpretabilità: Fornisce un modo trasparente per capire perché un modello fallisce, identificando le cause reali (i pixel MSPS) piuttosto che semplici correlazioni statistiche.
• Difesa: I risultati suggeriscono direzioni pratiche per migliorare la robustezza, come l'addestramento avversario focalizzato specificamente sugli MSPS e sul contesto circostante, non solo sull'oggetto.
• Generalità: Essendo un approccio black-box e agnostico rispetto all'architettura, BlackCAtt è applicabile a una vasta gamma di modelli di visione artificiale in scenari reali dove l'accesso al modello è limitato.

In sintesi, il paper dimostra che attaccare le "cause" di una rilevazione (gli MSPS), specialmente quelle che risiedono fuori dal box di rilevamento, è una strategia potente, spiegabile ed efficiente per compromettere i rilevatori di oggetti, offrendo al contempo nuovi strumenti per analizzare e migliorare la loro robustezza.