Riepilogo Tecnico: Verso Attacchi Avversariali Fisici Universali tramite un Framework di Ottimizzazione Congiunta Multi-Obiettivo e Multi-Modello

1. Enunciato del Problema

Gli attacchi avversariali fisici, in particolare il camuffamento avversariale 3D, affrontano tre colli di bottiglia critici che ne limitano il dispiegamento nel mondo reale contro modelli black-box:

1. Overfitting su Singoli Surrogati: I metodi esistenti spesso si basano su un singolo modello surrogato (ad es. serie YOLO), causando un overfitting del camuffamento generato su specifici confini decisionali e un fallimento contro reti eterogenee.
2. Mancanza di Sinergia tra Attacchi Superficiali e Profondi: Le strategie attuali impiegano tipicamente o la soppressione dell'output superficiale (efficiente ma soggetta a overfitting) o la perturbazione profonda delle feature (trasferibile ma priva di una guida rigida dell'output). L'assenza di un'integrazione sinergica impedisce agli attacchi di raggiungere sia alta efficienza che generalizzazione profonda.
3. Conflitti di Gradiente nella Fusione Multi-Sorgente: Quando si integrano più modelli e obiettivi, strategie di fusione naive (ad es. somma a pesi uguali) portano a gravi conflitti e oscillazioni di gradiente nello spazio parametrico ristretto delle texture fisiche. Ciò risulta in una cancellazione direzionale e perdita di energia, mascherando le richieste avversariali di modelli robusti.

Inoltre, i metodi esistenti faticano a generalizzare attraverso diversi compiti visivi (ad es. trasferire dalla rilevazione di oggetti alla segmentazione semantica o alla stima della profondità) a causa dei divari semantici negli obiettivi di ottimizzazione sottostanti.

2. Metodologia: Framework di Ottimizzazione Congiunta Multi-Obiettivo e Multi-Modello (JMOF)

Il framework JMOF proposto affronta queste limitazioni attraverso un approccio a quattro punte:

A. Selezione Quantitativa del Modello Surrogato

Invece di una selezione intuitiva o casuale, JMOF utilizza la Similarità Cosine del Gradiente per quantificare l'eterogeneità dei modelli candidati. Un algoritmo di Selezione Greedy costruisce un ensemble di $N$ modelli che minimizza la similarità dei gradienti a coppie. Ciò garantisce che l'ensemble copra uno spettro diversificato di logiche cognitive visive, impedendo all'ottimizzazione di convergere verso minimi locali condivisi da architetture simili.

B. Meccanismo di Attacco Multi-Obiettivo a Due Livelli

Il framework impiega una funzione di perdita congiunta composta da tre componenti per bilanciare efficienza e generalizzazione:

1. Perdita di Rilevazione ($L_{det}$): Una strategia di soppressione basata su LogSumExp che sopprime indiscriminatamente i punteggi di confidenza di tutte le caselle delimitatrici previste con alto Intersection over Union (IoU) con il ground truth. Ciò fornisce una guida esplicita e superficiale.
2. Perdita delle Feature ($L_{fea}$): Un meccanismo di perturbazione profonda che mira alle mappe delle feature intermedie. Esegue la Soppressione della Media (attenuando l'attivazione complessiva) e l'Appiattimento della Varianza (smussando i picchi semantici) attraverso livelli multi-scala. Ciò smantella le feature strutturali spaziali condivise per migliorare la trasferibilità black-box.
3. Perdita di Lisciatura ($L_{smo}$): Una perdita basata sulla Variazione Totale che garantisce la continuità della texture avversariale, eliminando il rumore ad alta frequenza che causa fallimenti sotto variazioni di punto di vista fisico e occlusioni.

C. Allineamento dei Gradienti Ortogonali (OGA)

Per risolvere i conflitti di gradiente, JMOF introduce la strategia OGA. A differenza dei metodi passivi di scarto (ad es. DRF, DGR), OGA ristruttura attivamente i gradienti conflittuali:

• Analisi delle Patch Locali: La texture globale è divisa in patch locali. Per ciascuna patch, viene calcolata una matrice di Gram per catturare gli angoli geometrici e le correlazioni di magnitudine tra gradienti eterogenei.
• Proiezione Ortogonale: Tramite la decomposizione agli autovalori, OGA costruisce una matrice di trasformazione ortogonale. Questo proietta i gradienti conflittuali su una base ortogonale, convertendo efficacemente l'energia potenziale di ottimizzazione repulsiva in energia cinetica sinergica senza scartare le preferenze delle feature.
• Ponderazione Dinamica dei Compiti: Un meccanismo di ponderazione dinamica ($\omega$) assegna pesi più elevati ai modelli con maggiore difficoltà avversariale (ad es. Vision Transformers), garantendo che l'attacco evolva verso spazi di vulnerabilità ad alta dimensionalità.
• Dimensione del Passo Adattiva: La decomposizione ortogonale comprime naturalmente i componenti fortemente repulsivi, agendo come un decadimento adattivo della dimensione del passo per prevenire lo stagnamento dell'ottimizzatore in regioni di perdita ripide.

D. Strategie di Potenziamento

• Gate della Texture Dipendente dalla Vista (VTG): Impone vincoli di visibilità durante la retropropagazione, garantendo che i pixel invisibili (occlusi da auto-occlusione o spostamenti di punto di vista) non vengano erroneamente lisciati via, preservando l'energia avversariale sulle regioni visibili.
• Dropout Stocastico della Texture (STD): Maschera casualmente blocchi della texture avversariale durante l'addestramento per simulare occlusioni del mondo reale. Ciò costringe l'algoritmo a evitare la dipendenza da scorciatoie locali specifiche e ad apprendere feature generalizzabili globalmente.

3. Contributi Chiave

1. Analisi della Similarità dei Gradienti: Il documento rivela un compromesso critico nella similarità dei gradienti: gradienti troppo allineati limitano la diversità, mentre gradienti altamente divergenti causano conflitti. Definisce un regime di similarità efficace per guidare la selezione di ensemble surrogati ottimali.
2. Meccanismo di Attacco a Due Livelli: La proposta di un meccanismo sinergico che sopprime congiuntamente gli output di previsione e appiattisce le distribuzioni delle feature intermedie, superando i limiti degli attacchi a singolo livello.
3. Allineamento dei Gradienti Ortogonali (OGA): Un modulo innovativo che risolve i conflitti di gradiente cross-modello trasformando gradienti mutualmente repulsivi in direzioni di ottimizzazione sinergiche, consentendo la convergenza su regioni vulnerabili condivise attraverso modelli eterogenei.
4. Generalizzazione Cross-Task: La dimostrazione che il framework può generare attacchi capaci di ingannare simultaneamente modelli di rilevazione di oggetti, segmentazione semantica e stima della profondità monoculare, colmando il divario tra percezione semantica di alto livello e regressione geometrica di basso livello.

4. Risultati Sperimentali

Sono stati condotti esperimenti estensivi utilizzando il simulatore CARLA e modelli fisici in scala 1:18 con supporti in pellicola PET.

• Trasferibilità Cross-Modello: JMOF ha superato le baseline state-of-the-art (ad es. FCA, DAS, HTCA, TACO) attraverso rilevatori black-box diversificati, inclusi CNN (YOLO, Faster R-CNN), Vision Transformers (ViT, Swin) e ibridi. Ha mantenuto alti Tassi di Successo dell'Attacco (ASR) anche contro modelli altamente eterogenei dove le baseline a singolo modello fallivano.
• Robustezza Multi-Vista: Il metodo ha dimostrato una robustezza superiore attraverso diversi angoli di azimut e pitch, in particolare sulle viste laterali dove i metodi tradizionali degradano significativamente a causa di cambiamenti topologici.
• Studi di Ablazione:
  • La rimozione della perdita delle feature ($L_{fea}$) ha causato un calo >13% dell'ASR contro le CNN e >15% contro i ViT, confermando la necessità della perturbazione profonda delle feature.
  • La rimozione di OGA e l'uso di una somma naive hanno portato a un grave degrado delle prestazioni, validando la necessità di una ristrutturazione attiva dei gradienti.
  • L'inclusione dei moduli VTG e STD ha migliorato l'ASR di circa il 9% e il 6% rispettivamente.
• Prestazioni Cross-Task: Quando si ottimizza congiuntamente per la rilevazione di oggetti e la segmentazione semantica (o la stima della profondità), JMOF con OGA ha interrotto con successo entrambi i compiti simultaneamente. Al contrario, le strategie di somma naive non sono riuscite a mantenere le prestazioni su entrambi i compiti a causa dei conflitti di gradiente.
• Dispersione Fisica: Negli esperimenti fisici nel mondo reale, il metodo ha raggiunto ASR del 65,71% (SM), 72,76% (CNN) e 70,63% (ViT), rappresentando una prestazione robusta nonostante il divario di dominio dalla simulazione.

5. Significato e Affermazioni

Il documento afferma di avanzare i limiti di generalizzazione degli attacchi avversariali fisici fornendo un framework robusto per valutare le vulnerabilità dell'IA visiva nei dispiegamenti nel mondo reale.

• Applicabilità Universale: Il framework è presentato come una logica sottostante universale capace di quantificare e risolvere i conflitti di gradiente attraverso diverse architetture e compiti. Elimina la necessità di tentativi ed errori ciechi quando si integrano nuovi modelli; invece, utilizza l'analisi della similarità dei gradienti per incorporare adattivamente nuove architetture nell'ottimizzazione congiunta.
• Colmare il Divario: La ricerca affronta il vasto divario tra i limiti di capacità degli attuali attacchi fisici e le esigenze di scenari black-box multi-compito nel mondo reale.
• Ottimizzazione Sinergica: Trasformando i gradienti conflittuali in direzioni sinergiche, il metodo achieve un cambio di paradigma dall'evasione passiva alla ristrutturazione attiva, consentendo al camuffamento avversariale fisico di convergere su spazi di vulnerabilità condivisi attraverso reti diverse e compiti visivi.

Gli autori riconoscono che, sebbene il metodo raggiunga prestazioni dirompenti, comporta costi computazionali aumentati a causa della propagazione in avanti e all'indietro multi-modello. Si propone un lavoro futuro per esplorare algoritmi di ottimizzazione congiunta più efficienti e meccanismi leggeri per bilanciare l'efficienza di generazione con le prestazioni di generalizzazione.