Sintesi Tecnica: AdvScene

Problematica

I patch avversari sono pattern fisici applicati a oggetti reali progettati per trarre in inganno i sistemi di visione AI. Sebbene la ricerca esistente abbia dimostrato che questi patch possono avere successo in scenari specifici e controllati, i metodi di valutazione attuali non riescono ad misurare adeguatamente la robustezza della scena: l'efficacia di un patch fisso distribuito attraverso le condizioni mutevoli di un ambiente reale (ad esempio, variazioni di prospettiva, distanza e contesto della scena).

Il documento identifica una lacuna critica nei paradigmi di valutazione esistenti:

1. Trasformazioni sul piano dell'immagine (ad esempio, sweep di tipo EOT) trattano i patch come overlay 2D, non tenendo conto degli effetti di proiezione fisica come angoli obliqui, occlusione parziale o cambiamenti di scala che si verificano quando un patch è attaccato a una superficie 3D.
2. Benchmark di cattura fisica forniscono prove fisiche ma sono limitati a pose e condizioni fisse, rendendo laborioso e spesso non sicuro il campionamento denso dello spazio operativo necessario per comprendere il rischio di distribuzione.
3. Piattaforme basate su simulatori offrono controllabilità ma spesso mancano di radicamento in scene reali specifiche, introducendo potenzialmente artefatti che non riflettono i siti di distribuzione effettivi.

Di conseguenza, un patch che ha successo in una singola "vista ancora" (anchor view) può rappresentare un rischio pratico limitato, mentre la vera minaccia risiede nel capire se l'attacco rimane efficace attraverso una vasta gamma di viste naturalmente occorrenti. Il problema centrale è come misurare l'involucro operativo (operational envelope): la regione specifica delle condizioni di osservazione indotte dalla scena in cui un attacco distribuito fisso ha successo, senza richiedere una sperimentazione fisica esaustiva.

Metodologia: Framework AdvScene

Gli autori propongono AdvScene, un framework radicato nella scena che ricostruisce ambienti reali e valuta patch avversari fissi al loro interno. L'innovazione principale consiste nel riformulare la valutazione come un probleamento di misurazione operativa piuttosto che come un singolo tasso di successo di un'immagine.

1. Ricostruzione della Scena ed Embedding

AdvScene utilizza lo Spattering Gaussiano 3D (3DGS) per creare gemelli digitali ad alta fedeltà e controllabili di scene reali a partire da catture multiview. Il framework segue una pipeline in quattro fasi:

• Ricostruzione della Scena: Una scena 3DGS pulita ($G_0$) viene ricostruita da immagini multiview di una scena reale.
• Istanziazione dell'Attacco Ancora: Una pipeline di attacco esterna genera un patch avversario fisso da una vista ancora selezionata, producendo un'immagine attaccata ($I^*_a$) e una maschera del patch ($M_a$).
• Adversarial Patch-to-Scene Embedding (APSE): Questa è la contribuzione tecnica principale. APSE eleva l'attacco dalla vista 2D della scena ancorata per creare una scena avversaria ($G_{adv}$). Affronta il "problema del sollevamento vincolato" (constrained lifting problem): come rappresentare un patch definito in una vista in modo che rimanga fedele, localizzato e attaccato alla superficie sotto nuove viste.
• Valutazione a Livello di Scena: La scena avversaria viene renderizzata sotto variazioni controllate di posa della telecamera, distanza e contesto della scena per stimare l'involucro operativo.

2. Adversarial Patch-to-Scene Embedding (APSE)

APSE risolve l'ambiguità tra le viste preservando l'aspetto critico per l'attacco. Impiega una rappresentazione Gaussiana ibrida composta da:

• Gaussiani Riutilizzati ($O$): I Gaussiani della scena esistente all'interno della regione del patch vengono riutilizzati per mantenere la geometria della superficie ricostruuta. Vengono aggiornati solo i loro parametri di aspetto (colore, opacità).
• Gaussiani Generati ($N$): Nuovi Gaussiani vengono generati densamente all'interno della maschera del patch per fornire la capacità locale necessaria per i pattern avversari ad alta frequenza.

Per garantire che il patch si comporti fisicamente in modo corretto, APSE ottimizza sotto quattro vincoli:

1. Fedeltà della Vista Ancora: Il patch renderizzato deve corrispondere all'immagine ancora attaccata ($L_{patch}$).
2. Preservazione della Scena: Le regioni al di fuori del patch devono rimanere identiche alla ricostruzione pulita ($L_{keep}$).
3. Contenimento nelle Viste Ausiliarie: Utilizzando viste ausiliarie non attaccate, il metodo sopprime le "fughe" (cambiamenti di aspetto non intenzionali nello sfondo) e gli artefatti fluttuanti ($L_{aux-rgb}$, $L_{aux-alpha}$).
4. Attaccamento alla Superficie: Per evitare che il patch fluttui o si stacchi (specialmente su oggetti sottili come segnali stradali), APSE inizializza i nuovi Gaussiani su un piano foreground adattato e ne vincola il movimento durante l'ottimizzazione utilizzando frame di superficie locali e perdite di attaccamento alla normale ($L_{normal}$).

3. Misurazione dell'Involucro Operativo

L'output di AdvScene non è una singola metrica, ma un involucro operativo ($E$), definito come l'insieme delle condizioni di osservazione $\theta$ (parametrizzato da orientamento della telecamera, posizione rispetto all'oggetto e intrinseci) in cui l'attacco ha successo ($S(\theta) = 1$). Ciò consente un'analisi sistematica di dove e perché un attacco fallisce al variare delle condizioni della scena.

Contribuzioni Chiave

1. Cambio Concettuale: Il documento identifica la robustezza della scena come una dimensione mancante nella valutazione dei patch avversari fisici e formula il problema come la misurazione dell'involucro operativo di un patch fisso in scene ricostruite reali.
2. Framework AdvScene: Un sistema di valutazione radicato nella scena che combina la ricostruzione di scene reali, l'embedding di patch fissi e il rendering controllato di nuove viste per misurare il comportamento dell'attacco sotto variazioni di distribuzione realistiche.
3. Metodo APSE: Una tecnica di embedding vincolata per lo Spattering Gaussiano 3D che preserva l'aspetto critico per l'attacco garantendo al contempo località, preservazione della scena pulita, attaccamento alla superficie target e stabilità tra le viste.
4. Validazione Empirica:
   • Fedeltà: Validato contro 7 scene fisiche reali, AdvScene raggiunge una coerenza del 99,30% nel Tasso di Successo dell'Attacco (ASR) con le catture fisiche, superando significativamente i baseline di trasformazione sul piano dell'immagine (93,54%). Fondamentalmente, evita la severa sovrastima del rischio del baseline nelle viste ravvicinate e oblique.
   • Scala: Valutato su 59 scene CO3D (centrate sull'oggetto) e 28 scene Waymo (scenari di guida) coprendo la classificazione target/non target e la scomparsa del rilevamento degli oggetti.
   • Risultati:
     • Il successo nella vista ancora spesso crolla al di fuori di un stretto involucro operativo; un patch che ha successo in una vista non garantisce una robustezza di distribuzione ampia.
     • Le scene di guida inducono involucri operativi direzionali e asimmetrici a causa delle traiettorie dei veicoli e della geometria stradale.
     • L'EOT (Expectation over Transformation) consapevole della geometria è la tecnica primaria che espande l'involucro operativo. I regolarizzatori come il Non-Printability Score (NPS) e la Variazione Totale (TV) influenzano principalmente la stampabilità o la fluidità, ma non alterano fondamentalmente i modi di fallimento a livello di scena.
     • La regolarizzazione $\ell_2$ può vincolare l'ampiezza del patch senza ridurre sostanzialmente l'involucro operativo, suggerendo che la furtività visiva e la robustezza a livello di scena non siano sempre in diretto conflitto.

Significato e Rivendicazioni

Il documento sostiene che il rischio del patch fisico debba essere compreso come un involucro piuttosto che come una stima puntuale. Rendendo misurabile questo involucro, AdvScene fornisce una base più fedele per valutare il rischio avversario fisico.

Gli autori sottolineano che AdvScene non è un generatore di attacchi più forte, ma un framework di misurazione per attacchi fissi prodotti da pipeline esistenti. La sua importanza risiede nel rivelare modalità di fallimento sistematiche (ad esempio, il crollo nelle viste oblique) che le valutazioni incentrate sull'immagine o basate su simulatori non colgono. Ciò consente ai difensori di comprendere le specifiche condizioni operative sotto le quali un patch distribuito rimane una minaccia e aiuta i progettisti di attacchi a capire quali tecniche (specificamente l'EOT consapevole della geometria) migliorano effettivamente la robustezza a livello di scena rispetto a quelle che migliorano solo la plausibilità fisica o le prestazioni della vista ancora.

Il lavoro è di portata modesta, concentrandosi su patch 2D fissi, stampabili e attaccati alla superficie in scene statiche, escludendo esplicitamente oggetti avversari 3D, display dinamici o interi stack di guida autonoma con fusione sensoriale, lasciando questi ultimi come sviluppi futuri.