Resumen Técnico: AdvNav

Planteamiento del Problema

La Navegación de Visión y Lenguaje (VLN, por sus siglas en inglés) permite que agentes encarnados sigan instrucciones en lenguaje natural para navegar en entornos no vistos. Si bien los avances recientes en sistemas de VLN basados en Transformers y en Grandes Modelos de Lenguaje (LLM) han mejorado el rendimiento, estos modelos dependen de redes neuronales profundas (DNN) que son inherentemente vulnerables a perturbaciones adversarias.

Los métodos de ataque adversario existentes para VLN operan predominantemente bajo un entorno de caja blanca (white-box), lo que requiere acceso a los gradientes internos del modelo objetivo. Este enfoque suele ser poco realista para sistemas desplegados en el mundo real donde los modelos son propietarios y los estados internos son inaccesibles. Además, los ataques de caja blanca son computacionalmente costosos debido a la necesidad de una retropropagación recursiva sobre trayectorias de largo alcance.

Aunque existen métodos de caja negra (black-box), estos están diseñados principalmente para tareas de decisión instantáneas y de un solo paso (por ejemplo, clasificación de imágenes) y tienen dificultades con la naturaleza secuencial y de múltiples pasos de la VLN. La VLN implica retroalimentación retardada, acumulación de errores no lineales y la capacidad del agente para la autocorrección de políticas, lo que hace que la optimización estándar sin gradientes sea ineficaz. Existe una brecha crítica en el desarrollo de un marco de ataque de caja negra libre de gradientes capaz de interrumpir el bucle de percepción-acción de múltiples pasos de los agentes de VLN utilizando únicamente entradas y salidas observables.

Metodología: AdvNav

Los autores proponen AdvNav, un marco de ataque adversario de caja negra guiado por el comportamiento, diseñado para perturbar las vistas en primera persona de un agente durante la navegación sin acceder a los gradientes del modelo. El método emplea una estrategia de optimización híbrida impulsada por un novedoso mecanismo de retroalimentación.

1. Retroalimentación Basada en el Comportamiento de Doble Granularidad

Para guiar la búsqueda libre de gradientes, AdvNav construye una función de objetivo sustituta derivada únicamente de los comportamientos observables del agente. Esta retroalimentación agrega tres componentes:

• Puntuación de Rendimiento a Nivel de Trayectoria ($G$): Una puntuación unificada que combina el Éxito ponderado por la Longitud del Camino (SPL) y el Error de Navegación (NE). Cuantifica la degradación general de la navegación (un SPL más bajo y un NE más alto indican un ataque exitoso).
• Puntuación de Recompensa a Nivel de Acción ($R$): Una puntuación acumulada que mide la deriva en la selección de acciones en cada paso de tiempo. Calcula la diferencia entre la probabilidad de la acción de referencia y la alternativa incorrecta más probable. Esto captura "fallos suaves" y riesgos de decisión latentes, incluso cuando la trayectoria final parece intacta.
• Indicador de Desviación ($\gamma$): Una bandera binaria que indica si el agente se ha desviado de la trayectoria de referencia.

Estas señales forman un conjunto de retroalimentación integrado que guía el proceso de optimización, priorizando los candidatos que inducen desviaciones reales en la trayectoria y considerando también aquellos que aumentan el riesgo a nivel de acción.

2. Estrategia de Optimización Híbrida

AdvNav utiliza una textura de ruido de Perlin para parametrizar la perturbación $\delta$, asegurando la coherencia espacial y simulando perturbaciones realistas como la niebla o el polvo. La optimización procede en rondas con dos mecanismos acoplados:

• Ajuste de Intensidad Adaptativo: El marco actualiza heurísticamente la fuerza de la perturbación. Genera perturbaciones candidatas superponiendo patrones de una población de ruido sobre un ruido base acumulativo. Los candidatos se clasifican por su ganancia relativa en las puntuaciones de retroalimentación. Si un candidato mejora el ataque, la base se actualiza; de lo contrario, la dirección de la actualización se invierte.
• Evolución Genética de la Estructura del Ruido: La estructura espacial del ruido se refina mediante un algoritmo genético. La población de patrones de ruido se somete a procesos de selección, cruce y mutación. Los mejores candidatos (basados en la retroalimentación de doble granularidad) se seleccionan como padres para evolucionar la siguiente generación de estructuras de ruido, permitiendo que la búsqueda descubra configuraciones altamente disruptivas con el tiempo.

Contribuciones Clave

1. Marco AdvNav: La propuesta de un marco de ataque de caja negra general y guiado por el comportamiento que apunta específicamente a la percepción visual de los agentes de VLN. Proporciona una herramienta rentable para la evaluación de robustez sin requerir los componentes internos del modelo.
2. Optimización Híbrida Libre de Gradientes: El desarrollo de una estrategia de optimización novedosa que combina el ajuste de intensidad adaptativo con la evolución genética de la estructura del ruido. Este enfoque está diseñado específicamente para los desafíos de la toma de decisiones secuenciales de la VLN, aprovechando la retroalimentación de comportamiento de doble granularidad para superar la falta de información de gradiente.
3. Evaluación Exhaustiva: Experimentos extensos que demuestran la efectividad del marco a través de diferentes arquitecturas de modelos (HAMT basado en Transformer y MapGPT basado en LLM) y backbones (Qwen3-VL y GPT-4V).

Resultados Experimentales

Los autores evaluaron AdvNav en el conjunto de datos Room-to-Room (R2R) dentro del simulador Matterport3D, apuntando al split val-unseen a través de 11 escenas interiores.

• Rendimiento en HAMT (basado en Transformer): AdvNav logró una Tasa de Éxito de Ataque (ASR) del 49.70%, superando significativamente a los baselines como Oclusión de Máscara (38.74%), Ruido Gaussiano (19.10%) y Desplazamiento de Brillo (7.67%). Redujo el Éxito ponderado por la Longitud del Camino (SPL) a 29.35% (desde 57.69% en configuraciones limpias) e incrementó el Error de Navegación (NE) a 6.05 m.
• Rendimiento en MapGPT (basado en LLM): El método demostró una fuerte capacidad de generalización, logrando un ASR del 65.96% en el backbone Qwen3-VL y del 87.30% en el backbone GPT-4V.
• Sigilo Perceptual: Las comparaciones visuales y las métricas LPIPS (Similitud de Parche de Imagen Perceptual Aprendida) indican que las perturbaciones de AdvNav son perceptualmente más sigilosas que el ruido o la oclusión estándar, apareciendo como campos de luminancia de baja frecuencia (similares a la bruma) que resisten el preprocesamiento estándar.
• Estudios de Ablación: Los experimentos confirmaron que la sinergia de la retroalimentación de doble granularidad (niveles de trayectoria + acción) y la combinación de actualizaciones adaptativas con la evolución de la estructura son ambos críticos para lograr altas tasas de éxito de ataque.

Significado y Reivindicaciones

El artículo afirma que AdvNav expone eficazmente las vulnerabilidades visuales latentes universales de los sistemas de VLN actuales, independientemente de si están basados en Transformers o en LLMs. Al operar bajo restricciones estrictas de caja negra con presupuestos de consulta limitados, AdvNav sirve como una herramienta de prueba de estrés general para evaluar la robustez de los agentes de VLN desplegados.

Los autores posicionan a AdvNav no meramente como un método de ataque, sino como un catalizador para la investigación futura en el diseño de modelos de VLN resilientes. Los hallazgos resaltan que incluso los modelos avanzados con fuertes capacidades de razonamiento siguen siendo susceptibles a perturbaciones visuales continuas y espacialmente coherentes, lo que sugiere la necesidad de mejores mecanismos de robustez en los sistemas de IA encarnada.