Generating Multi-view Adversarial Examples for Visual Geometry Grounded Transformer

Nel mondo in rapida evoluzione dell'intelligenza artificiale, è emersa una nuova generazione di sistemi di visione artificiale, capaci di comprendere il mondo tridimensionale partendo da fotografie piatte. Questi sistemi, noti come modelli di base (foundation models), agiscono come un traduttore universale per i dati visivi. Invece di limitarsi a identificare che un'immagine contiene un'auto o un albero, essi possono ricomporre molteplici immagini scattate da diverse angolazioni per costruire un modello 3D completo e navigabile di una scena. Questa tecnologia promette di rivoluzionare il modo in cui i robot navigano, come i veicoli autonomi percepiscono l'ambiente circostante e come interagiamo con gli ambienti digitali. Tuttavia, proprio come le strutture fisiche hanno punti deboli che gli ingegneri devono rinforzare, questi sistemi digitali presentano vulnerabilità nascoste. I ricercatori sanno da tempo che aggiungendo piccole quantità invisibili di rumore a un'immagine, è possibile ingannare un computer portandolo a vedere qualcosa che non esiste. Questo è il regno degli attacchi avversari, dove l'obiettivo è trovare la minima variazione possibile che causi un fallimento massiccio nella comprensione della macchina.

La sfida è sempre stata una questione di velocità e coerenza. I metodi tradizionali per creare queste immagini ingannevoli richiedono che il computer passi un tempo significativo ad analizzare ogni specifica scena, calcolando il pattern di rumore perfetto per quel singolo istante. Questo processo è troppo lento per le applicazioni del mondo reale, dove le scene cambiano istantaneamente. Altri metodi utilizzano un pattern di rumore singolo e statico applicato a ogni immagine, sperando che funzioni ovunque, ma questi spesso falliscono contro i complessi sistemi 3D perché non sono in grado di adattarsi alla geometria mutevole di una scena. Un team di ricercatori della Hong Kong Baptist University ha ora sviluppato un nuovo approccio che risolve entrambi i problemi simultaneamente. Hanno creato un sistema in grado di generare un attacco coerente e invisibile attraverso molteplici viste di una scena in un unico istante, senza dover fermare e calcolare nulla per ogni nuova situazione.

I ricercatori si sono concentrati nel loro lavoro su un modello specifico ad alte prestazioni chiamato Visual Geometry Grounded Transformer. Questo modello è progettato per prendere una sequenza di immagini e ricostruire istantaneamente una nuvola di punti 3D, che è essenzialmente uno scheletro digitale composto da milioni di punti che rappresentano la forma e la posizione degli oggetti nello spazio. Il team ha scoperto che, sebbene questo modello sia incredibilmente veloce e accurato in condizioni normali, è sorprendentemente fragile quando affronta un tipo specifico di inganno coordinato. Hanno costruito uno strumento, che hanno chiamato generatore di perturbazione avversaria multi-vista, che agisce come un filtro fotografico a raffica. Invece di analizzare una scena e poi creare lentamente un trucco, questo strumento apprende i pattern delle debolezze del modello e applica una distorsione su misura a ogni immagine di una sequenza nello stesso identico momento.

Per far sì che ciò funzionasse, il sistema doveva imparare un difficile gioco di equilibrio. Doveva creare un rumore che fosse abbastanza forte da frantumare la ricostruzione 3D, ma abbastanza sottile da non essere mai notato dall'occhio umano. I ricercatori hanno progettato un meccanismo che costringe il rumore a rimanere coerente attraverso tutte le diverse angolazioni della telecamera. Se il rumore appariva diverso da un angolo all'altro, il modello 3D avrebbe probabilmente rifiutato l'input come un errore e si sarebbe corretto. Garantendo che la distorsione fosse perfettamente allineata tra tutte le viste, il sistema poteva confondere la logica interna del modello, causandogli la perdita della presa sulla geometria della scena. Il risultato è stato un completo collasso della struttura 3D, in cui il mondo ricostruito si dissolveva in un caos disordinato o svaniva del tutto, mentre le immagini di input apparivano perfettamente normali a un osservatore umano.

Gli esperimenti hanno dimostrato che questo nuovo metodo era vastamente superiore ai tentativi precedenti. Quando testato contro i modelli standard utilizzati per cercare di rompere questi sistemi, il nuovo generatore ha raggiunto il suo obiettivo in un unico passaggio, mentre i vecchi metodi richiedevano decine di calcoli lenti e ripetitivi per ottenere risultati simili. Nei test che coinvolgevano scene con fino a venticinque diverse angolazioni di ripresa, il nuovo sistema ha costantemente degradato la qualità della ricostruzione 3D, facendo sì che i punti digitali si disperdessero o si rimpicciolissero fino a scomparire. I ricercatori hanno scoperto che l'attacco non era efficace solo sulla forma 3D stessa, ma anche sulla capacità del modello di stimare la profondità e la posizione della telecamera, elementi critici per la navigazione. Il sistema poteva trasformare una mappa chiara e dettagliata di una stanza in una nuvola di punti frammentata e inutilizzabile in pochi millisecondi.

Uno degli aspetti più sorprendenti della scoperta è l'efficienza dell'attacco. I ricercatori hanno dimostrato che il loro strumento poteva elaborare una scena complessa con molteplici viste in meno di un secondo, utilizzando una frazione della memoria informatica richiesta dai metodi tradizionali. Questa velocità suggerisce che un tale attacco potrebbe teoricamente essere dispiegato in scenari in tempo reale, come un robot che percorre una strada o un drone che vola attraverso una città. Lo studio ha escluso esplicitamente l'idea che un pattern di rumore singolo e statico potesse funzionare contro questi complessi modelli 3D, mostrando invece che il rumore deve essere dinamico e consapevole della relazione tra le diverse angolazioni della telecamera per essere efficace. Il team ha inoltre confermato che l'attacco non si basava su distorsioni grandi e ovvie; i cambiamenti erano così minimi da rimanere invisibili all'occhio umano, preservando la trama e l'aspetto delle foto originali pur distruggendo completamente la capacità della macchina di comprendere lo spazio.

Le implicazioni di questo lavoro vanno oltre il laboratorio. I ricercatori sottolineano che le loro scoperte evidenziano una lacuna critica di sicurezza nella distribuzione dei sistemi di visione 3D. Se un modello può essere ingannato così facilmente e rapidamente, la sicurezza delle applicazioni che si affidano ad essi, come le auto a guida autonoma o la navigazione robotica, potrebbe essere compromessa. Lo studio non afferma che questi sistemi siano rotti oltre ogni riparazione, ma piuttosto che sono attualmente vulnerabili a un tipo specifico e altamente efficiente di inganno che non è stato pienamente affrontato in precedenza. Gli autori concludono che il prossimo passo urgente è lo sviluppo di difese e meccanismi di rilevamento robusti per proteggere questi sistemi. Suggeriscono che, senza tali salvaguardie, l'adozione rapida dei modelli di base 3D potrebbe esporre le infrastrutture critiche a nuovi e pericolosi rischi, in cui un segnale sottile e invisibile potrebbe far perdere la strada a una macchina nel mondo reale.