Résumé Technique : AdvNav

Énoncé du Problème

La navigation vision-langage (VLN - Vision-and-Language Navigation) permet à des agents incarnés de suivre des instructions en langage naturel pour naviguer dans des environnements inédits. Bien que les récentes avancées des systèmes VLN basés sur les Transformers et les grands modèles de langage (LLM) aient amélioré les performances, ces modèles reposent sur des réseaux de neurones profonds (DNN) qui sont intrinsèquement vulnérables aux perturbations adverses.

Les méthodes d'attaque adverses existantes pour la VLN opèrent principalement dans un cadre de boîte blanche (white-box), nécessitant l'accès aux gradients internes du modèle cible. Cette approche est souvent irréaliste pour les systèmes déployés dans le monde réel, où les modèles sont propriétaires et les états internes inaccessibles. De plus, les attaques en boîte blanche sont coûteuses en termes de calcul en raison de la nécessité d'une rétropropagation récursive sur des trajectoires à long horizon.

Bien qu'il existe des méthodes de boîte noire (black-box), elles sont principalement conçues pour des tâches de décision instantanées et à étape unique (par exemple, la classification d'images) et peinent face à la nature séquentielle et multi-étapes de la VLN. La VLN implique un feedback différé, une accumulation non linéaire d'erreurs et la capacité de l'agent à l'auto-correction de sa politique, rendant l'optimisation standard sans gradient inefficace. Il existe un fossé critique dans le développement d'un cadre d'attaque de boîte noire sans gradient, capable de perturber la boucle perception-action multi-étapes des agents VLN en utilisant uniquement les entrées et sorties observables.

Méthodologie : AdvNav

Les auteurs proposent AdvNav, un cadre d'attaque adverse de boîte noire guidé par le comportement, conçu pour perturber les vues à la première personne d'un agent pendant la navigation sans accéder aux gradients du modèle. La méthode utilise une stratégie d'optimisation hybride pilotée par un nouveau mécanisme de feedback.

1. Feedback basé sur le comportement à double granularité

Pour guider la recherche sans gradient, AdvNav construit une fonction d'objectif de substitution dérivée uniquement des comportements observables de l'agent. Ce feedback agrège trois composantes :

• Score de performance au niveau de la trajectoire ($G$) : Un score unifié combinant le succès pondéré par la longueur du chemin (SPL) et l'erreur de navigation (NE). Il quantifie la dégradation globale de la navigation (un SPL plus faible et un NE plus élevé indiquent une attaque réussie).
• Score de récompense au niveau de l'action ($R$) : Un score accumulé mesurant la dérive dans la sélection des actions à chaque pas de temps. Il calcule la différence entre la probabilité de l'action de référence et celle de l'alternative incorrecte la plus probable. Cela capture les « échecs mous » et les risques de décision latents, même lorsque la trajectoire finale semble intacte.
• Indicateur de déviation ($\gamma$) : Un indicateur binaire indiquant si l'agent s'est écarté de la trajectoire de référence.

Ces signaux forment un ensemble de feedback intégré qui guide le processus d'optimisation, privilégiant les candidats qui induisent de réelles déviations de trajectoire tout en considérant également l'augmentation du risque au niveau de l'action.

2. Stratégie d'optimisation hybride

AdvNav utilise une texture de bruit de Perlin pour paramétrer la perturbation $\delta$, assurant une cohérence spatiale et simulant des perturbations réalistes comme le brouillard ou la poussière. L'optimisation procède par cycles avec deux mécanismes couplés :

• Ajustement adaptatif de l'intensité : Le cadre met à jour heuristiquement la force de la perturbation. Il génère des perturbations candidates en superposant des motifs issus d'une population de bruit sur un bruit de base cumulatif. Les candidats sont classés selon leur gain relatif dans les scores de feedback. Si un candidat améliore l'attaque, la base est mise à jour ; sinon, la direction de la mise à jour est inversée.
• Évolution génétique de la structure du bruit : La structure spatiale du bruit est affinée via un algorithme génétique. La population de motifs de bruit subit des processus de sélection, de croisement et de mutation. Les meilleurs candidats (basés sur le feedback à double granularité) sont sélectionnés comme parents pour faire évoluer la génération suivante de structures de bruit, permettant à la recherche de découvrir des configurations hautement perturbatrices au fil du temps.

Contributions Clés

1. Cadre AdvNav : La proposition d'un cadre d'attaque de boîte noire général, guidé par le comportement, ciblant spécifiquement la perception visuelle des agents VLN. Il fournit un outil rentable pour l'évaluation de la robustesse sans nécessiter les composants internes du modèle.
2. Optimisation hybride sans gradient : Le développement d'une stratégie d'optimisation novatrice qui combine l'ajustement adaptatif de l'intensité avec l'évolution génétique de la structure du bruit. Cette approche est spécifiquement adaptée aux défis de la prise de décision séquentielle de la VLN, exploitant le feedback de comportement à double granularité pour pallier l'absence d'information de gradient.
3. Évaluation complète : Des expériences approfondies démontrant l'efficacité du cadre à travers différentes architectures de modèles (HAMT basé sur Transformer et MapGPT basé sur LLM) et différents backbones (Qwen3-VL et GPT-4V).

Résultats Expérimentaux

Les auteurs ont évalué AdvNav sur le jeu de données Room-to-Room (R2R) dans le simulateur Matterport3D, en ciblant le split val-unseen sur 11 scènes intérieures.

• Performance sur HAMT (basé sur Transformer) : Adv even a un taux de réussite d'attaque (ASR) de 49,70 %, surpassant nettement les bases telles que le masquage par occlusion (38,74 %), le bruit gaussien (19,10 %) et le décalage de luminosité (7,67 %). Il a réduit le succès pondéré par la longueur du chemin (SPL) à 29,35 % (contre 57,69 % en conditions normales) et augmenté l'erreur de navigation (NE) à 6,05 m.
• Performance sur MapGPT (basé sur LLM) : La méthode a démontré une forte généralisabilité, atteignant un ASR de 65,96 % sur le backbone Qwen3-VL et de 87,30 % sur le backbone GPT-4V.
• Discrétion perceptuelle : Les comparaisons visuelles et les métriques LPIPS (Learned Perceptual Image Patch Similarity) indiquent que les perturbations d'AdvNav sont plus discrètes visuellement que les méthodes de bruit ou d'occlusion standard, apparaissant comme des champs de luminance à basse fréquence (similaires à de la brume) qui résistent au prétraitement standard.
• Études d'ablation : Les expériences ont confirmé que la synergie du feedback à double granularité (niveaux trajectoire + action) ainsi que la combinaison de la mise à jour adaptative avec l'évolution de la structure sont toutes deux critiques pour atteindre des taux de réussite d'attaque élevés.

Signification et Revendications

L'article affirme qu'Adv even expose les vulnérabilités visuelles latentes universelles des systèmes VLN actuels, qu'ils soient basés sur des Transformers ou des LLM. En opérant sous des contraintes strictes de boîte noire avec des budgets de requêtes limités, Adv even sert d'outil de test de résistance général pour évaluer la robustesse des agents VLN déployés.

Les auteurs positionnent Adv even non pas seulement comme une méthode d'attaque, mais comme un catalyseur pour la recherche future dans la conception de modèles VLN résilients. Les résultats soulignent que même les modèles avancés dotés de fortes capacités de raisonnement restent sensibles aux perturbations visuelles continues et spatialement cohérentes, suggérant la nécessité de mécanismes de robustesse améliorés dans les systèmes d'IA incarnée.