Riepilogo Tecnico: AdvNav

Problema

La navigazione Vision-and-Language (VLN) consente agli agenti incarnati di seguire istruzioni in linguaggio naturale per navigare in ambienti non visti. Sebbene i recenti progressi nei sistemi VLN basati su Transformer e sui Large Language Model (LLM) abbiano migliorato le prestazioni, questi modelli si affidano a reti neurali profonde (DNN) che sono intrinsecamente vulnerabili alle perturbazioni avversarie.

Gli attuali metodi di attacco avversario per la VLN operano prevalentemente in un setting white-box, richiedendo l'accesso ai gradienti interni del modello target. Questo approccio è spesso irrealistico per i sistemi implementati nel mondo reale, dove i modelli sono proprietari e gli stati interni sono inaccessibili. Inoltre, gli attacchi white-box sono computazionalmente costosi a causa della necessità di una backpropagation ricorsiva su traiettorie a lungo raggio.

Sebbene esistano metodi black-box, essi sono progettati principalmente per compiti decisionali istantanei a singolo step (ad es., classificazione di immagini) e faticano con la natura sequenziale e multi-step della VLN. La VLN comporta feedback ritardati, accumulo non lineare di errori e la capacità dell'agente di autocorrezione della policy, rendendo inefficace l'ottimizzazione standard priva di gradienti. Esiste un vuoto critico nello sviluppo di un framework di attacco black-box, privo di gradienti, capace di interrompere il ciclo percezione-azione multi-step degli agenti VLN utilizzando solo input e output osservabili.

Metodologia: AdvNav

Gli autori propongono AdvNav, un framework di attacco avversario black-box guidato dal comportamento, progettato per disturbare le viste in prima persona di un agente durante la navigazione senza accedere ai gradienti del modello. Il metodo impiega una strategia di ottimizzazione ibrida guidata da un nuovo meccanismo di feedback.

1. Feedback basato sul comportamento a doppia granularità

Per guidare la ricerca priva di gradienti, AdvNav costruisce una funzione obiettivo surrogata derivata esclusivamente dai comportamenti osservabili dell'agente. Questo feedback aggrega tre componenti:

• Punteggio di prestazione a livello di traiettoria ($G$): Un punteggio unificato che combina il Success weighted by Path Length (SPL) e l'Errore di Navigazione (NE). Quantifica la degradazione complessiva della navigazione (un SPL inferiore e un NE più elevato indicano un attacco riuscito).
• Punteggio di reward a livello di azione ($R$): Un punteggio accumulato che misura la deriva nella selezione delle azioni ad ogni timestep. Calcola la differenza tra la probabilità dell'azione di riferimento e l'alternativa errata più probabile. Questo cattura i "fallimenti soft" e i rischi decisionali latenti anche quando la traiettoria finale appare intatta.
• Indicatore di deviazione ($\gamma$): Un flag binario che indica se l'agente si è deviato dalla traiettoria di riferimento.

Questi segnali formano un set di feedback integrato che guida il processo di ottimizzazione, dando priorità ai candidati che inducono effettive deviazioni della traiettoria e considerando al contempo quelli che aumentano il rischio a livello di azione.

2. Strategia di ottimizzazione ibrida

AdvNav utilizza una texture di rumore di Perlin per parametrizzare la perturbazione $\delta$, garantendo la coerenza spaziale e simulando disturbi realistici come nebbia o polvere. L'ottimizzazione procede in round con due meccanismi accoppiati:

• Regolazione adattiva dell'intensità: Il framework aggiorna euristicamente la forza della perturbazione. Genera perturbazioni candidate sovrapponendo pattern da una popolazione di rumore a un rumore base cumulativo. I candidati sono classificati in base al guadagno relativo nei punteggi di feedback. Se un candidato migliora l'attacco, la base viene aggiornata; altrimenti, la direzione dell'aggiornamento viene invertita.
• Evoluzione genetica della struttura del rumore: La struttura spaziale del rumore viene raffinata tramite un algoritmo genetico. La popolazione di pattern di rumore subisce selezione, crossover e mutazione. I candidati con le migliori prestazioni (basati sul feedback a doppia granularità) vengono selezionati come genitori per far evolvere la generazione successiva di strutture di rumore, permettendo alla ricerca di scoprire configurazioni altamente dirompenti nel tempo.

Contributi Chiave

1. Framework AdvNav: La proposta di un framework di attacco black-box generico, guidato dal comportamento, specificamente mirato alla percezione visiva degli agenti VLN. Fornisce uno strumento efficiente in termini di costi per la valutazione della robustezza senza richiedere gli interni del modello.
2. Ottimizzazione ibrida priva di gradienti: Lo sviluppo di una nuova strategia di ottimizzazione che combina la regolazione adattiva dell'intensità con l'evoluzione genetica della struttura del rumore. Questo approccio è specificamente adattato alle sfide decisionali sequenziali della VLN, sfruttando il feedback comportamentale a doppia granularità per superare la mancanza di informazioni sul gradiente.
3. Valutazione esaustiva: Esperimenti estesi che dimostrano l'efficacia del framework attraverso diverse architetture di modello (HAMT basato su Transformer e MapGPT basato su LLM) e backbone (Qwen3-VL e GPT-4V).

Risultati Sperimentali

Gli autori hanno valutato AdvNav sul dataset Room-to-Room (R2R) all'interno del simulatore Matterport3D, prendendo come bersaglio lo split val-unseen su 11 scene indoor.

• Prestazioni su HAMT (basato su Transformer): AdvNav ha raggiunto un Attack Success Rate (ASR) del 49,70%, superando significativamente i baseline come Mask Occlusion (38,74%), Gaussian Noise (19,10%) e Brightness Shift (7,67%). Ha ridotto il Success weighted by Path Length (SPL) al 29,35% (rispetto al 57,69% nelle impostazioni pulite) e ha aumentato l'Errore di Navigazione (NE) a 6,05 m.
• Prestazioni su MapGPT (basato su LLM): Il metodo ha dimostrato una forte generalizzabilità, raggiungendo un ASR del 65,96% sul backbone Qwen3-VL e dell'87,30% sul backbone GPT-4V.
• Occultamento Percettivo: I confronti visivi e le metriche LPIPS (Learned Perceptual Image Patch Similarity) indicano che le perturbazioni di AdvNav sono più furtive dal punto di vista percettivo rispetto allo standard noise o ai metodi di occlusione, apparendo come campi di luminanza a bassa frequenza (simili alla foschia) che resistono al pre-processing standard.
• Studi di Ablazione: Gli esperimenti hanno confermato che la sinergia del feedback a doppia granularità (livelli di traiettoria + azione) e la combinazione di aggiornamenti adattivi con l'evoluzione della struttura sono entrambi critici per raggiungere alti tassi di successo dell'attacco.

Significato e Rivendicazioni

Il paper afferma che AdvNav espone efficacemente le vulnerabilità visive latenti universali degli attuali sistemi VLN, indipendentemente dal fatto che siano basati su Transformer o su LLM. Operando sotto rigorosi vincoli black-box con budget di query limitati, AdvNav funge da strumento di stress-test generale per valutare la robustezza degli agenti VLN implementati.

Gli autori posizionano AdvNav non solo come un metodo di attacco, ma come un catalizzatore per la ricerca futura nel design di modelli VLN resilienti. I risultati evidenziano che anche i modelli avanzati con forti capacità di ragionamento rimangono suscettibili a disturbi visivi continui e spazialmente coerenti, suggerendo la necessità di migliori meccanismi di robustezza nei sistemi di IA incarnata.