Riepilogo Tecnico: AdvTiles

Definizione del Problema

Gli attacchi avversari fisici contro i rilevatori di persone si sono evoluti da patch localizzate a texture per l'intero corpo. Tuttavia, rimane una sfida significativa nel raggiungere simultaneamente sia la naturalezza visiva che una forte efficacia dell'attacco. I metodi esistenti dall'aspetto naturale, come quelli che utilizzano diagrammi di Voronoi parametrizzati da punti di controllo apprendibili (ad esempio, AdvCaT), tipicamente ottimizzano le texture mimetiche come un intero. Questo approccio olistico limita la flessibilità nel raffinare i pattern avversari locali e le loro disposizioni spaziali, rendendo difficile mantenere attacchi efficaci attraverso diverse prospettive, pose corporee e condizioni fisiche, pur preservando un aspetto naturale.

Metodologia: AdvTiles

Gli autori propongono AdvTiles, un framework di mimetismo avversario fisico basato su tile apprendibili (mattonelle/tasselli). Invece di ottimizzare una singola texture globale, AdvTiles rappresenta il pattern avversario come un layout di tile discrete, consentendo un controllo fine sulla generazione della texture. Il framework è composto da tre moduli chiave:

1. Generazione di Texture Differenziabile

Per superare i limiti dell'ottimizzazione globale, AdvTiles decompone la texture dei vestiti in una disposizione di tile apprendibili.

• Generazione della Tile: Ogni tile è definita da un insieme di parametri apprendibili che controllano le regioni di colore, i confini e le trasformazioni (traslazione, nitidezza, frequenza del contorno e dimensione della regione). Le tile adiacenti devono avere "chiavi" corrispondenti lungo i bordi condivisi per garantire una composizione senza cuciture.
• Composizione del Layout delle Tile: Il framework apprende un tensore di logit di assegnazione delle tile per determinare quale tile viene posizionata in ogni cella della griglia della mappa UV dei vestiti. Poiché la selezione delle tile è un processo discreto, gli autori impiegano un estimatore Gumbel-Softmax Straight-through (ST). Ciò consente una selezione delle tile differenziabile, permettendo l'ottimizzazione congiunta dei pattern delle tile e dei loro layout spaziali tramite backpropagation.

2. Rendering Fisico Basato su 3D Gaussian Splatting (3DGS)

Per garantire la robustezza in diverse condizioni fisiche, il metodo va oltre l'ottimizzazione della texture 2D.

• Modellazione 3D: Le texture UV generate vengono mappate sulle regioni dei vestiti di un modello umano 3D Gaussian Splatting (3DGS). La geometria e l'aspetto non relativo ai vestiti del modello sono congelati, mentre vengono ottimizzati solo i parametri delle tile.
• Simulazione Fisica: Il sistema renderizza il modello testurizzato sotto viste e scale campionate. Incorpora l'illuminazione ambientale HDR e compone l'essere umano renderizzato con diversi sfondi (simulando condizioni meteorologiche come pioggia, notte e crepuscolo) utilizzando prior strutturali estratti tramite IC-Light. Questo processo simula le osservazioni del mondo reale, permettendo ai gradienti di propagarsi dal rilevatore fino ai parametri delle tile.

3. Perdite Avversarie (Adversarial Losses)

L'obiettivo di ottimizzazione combina quattro termini di perdita per bilanciare il successo dell'attacco, la qualità visiva e la fattibilità fisica:

• Perdita di Rilevamento ($L_{det}$): Minimizza il punteggio di confidenza della bounding box della classe "persona" con la massima Intersezione su Unione (IoU) con la verità fondamentale (ground truth).
• Perdita di Diversità ($L_{div}$): Incoraggia l'uso di un set diversificato di tile per evitare che il modello faccia affidamento su pochi pattern ripetitivi.
• Perdita di Compatibilità dei Bordi ($L_{edge}$): Assicura che le tile adiacenti abbiano pattern di confine corrispondenti basati su punteggi di compatibilità predefiniti.
• Perdita di Cucitura ($L_{seam}$): Impone la continuità del colore tra pixel adiacenti attraverso i confini delle tile per evitare cuciture visibili.

Contributi Chiave

1. Un Framework Basato su Tile: La proposta di AdvTiles, che rappresenta le texture avversarie come disposizioni di tile apprendibili, ottenendo una forte efficacia d'attacco pur preservando un aspetto di mimetismo naturale.
2. Ottimizzazione Congiunta Differenziabile: L'introduzione dello ST Gumbel-Softmax per apprendere congiuntamente i pattern delle tile e i layout spaziali, fornendo un controllo fine sulla generazione della texture.
3. Rendering Fisico Robusto: L'utilizzo del 3D Gaussian Splatting per migliorare la robustezza del mimetismo sotto diverse condizioni fisiche, inclusi variazioni di visuale, scala, illuminazione e sfondo.
4. Validazione Completa: Esperimenti estesi che dimostrano prestazioni superiori rispetto ai metodi allo stato dell'arte (SOTA) attraverso molteplici architetture di rilevatori (serie YOLO, RetinaNet, FCOS, SSD, varianti DETR, Faster R-CNN).

Risultati Sperimentali

Gli autori hanno valutato AdvTiles contro vari baseline, inclusi attacchi basati su patch (AdvPatch, NatPatch) e attacchi basati su texture (AdvTexture, AdvCaT), attraverso molteplici architetture di rilevatori (serie YOLO, RetinaNet, FCOS, SSD, varianti DETR, Faster R-CNN).

• Prestazioni Digitali: AdvTiles ha raggiunto un Tasso di Successo dell'Attacco (ASR) medio dell'86,2% su molteplici rilevatori, superando i metodi SOTA esistenti. In confronti specifici contro YOLOv5, AdvTiles ha raggiunto un A parte un ASR del 97,5%, con un recall del 2,5% e un F1-score del 4,5%, superando significativamente AdvCaT (73,6% ASR).
• Trasferibilità Black-Box: Il metodo ha dimostrato una forte trasferibilità, mantenendo un'alta efficacia d'attacco quando applicato a rilevatori diversi da quello utilizzato per l'addestramento (ad esempio, le texture generate per YOLOv8 hanno funzionato bene su YOLOv5 e FCOS).
• Robustezza Fisica:
  • Distanza e Angoli: AdvTiles ha mantenuto prestazioni efficaci a distanze da 3,0 m a 9,0 m e angoli di visione orizzontali da 0° a 270°, con ASR costantemente sopra il 95% per la maggior parte degli angoli.
  • Fabbricazione nel Mondo Reale: Il mimetismo ottimizzato è stato fabbricato in abbigliamento indossabile. Esperimenti fisici in ambienti indoor e outdoor hanno confermato che AdvTiles ha eluso costantemente il rilevamento delle persone attraverso diverse distanze, angoli e sfondi, superando sia AdvCaT che il comune mimetismo.

Significato e Rivendicazioni

Il paper afferma che AdvTiles fa progredire il campo del mimetismo avversario affrontando il compromesso tra naturalezza visiva e robustezza dell'attacco. Passando dall'ottimizzazione della texture olistica a un approccio basato su tile apprendibili, il metodo ottiene un controllo più fine sui pattern avversari. L'integrazione del 3D Gaussian Splatting per il rendering fisico assicura che il mimetismo generato sia robusto alle variazioni del mondo reale in termini di luce, visuale e sfondo.

Gli autori dichiarano che questo lavoro rappresenta un passo verso il distributivo pratico di attacchi avversari nel mondo reale, dimostrando che è possibile creare abbigliamento avversario che sia sia efficace contro i rilevatori di persone che visivamente naturale. La riuscita fabbricazione e il test dell'abbigliamento in scenari reali validano il potenziale del framework per gli attacchi avversari fisici.