Resumo Técnico: AdvNav

Definição do Problema

A Navegação de Visão e Linguagem (VLN - Vision-and-Language Navigation) permite que agentes incorporados sigam instruções em linguagem natural para navegar em ambientes não vistos. Embora avanços recentes em sistemas de VLN baseados em Transformers e em Grandes Modelos de Linguagem (LLMs) tenham melhorado o desempenho, esses modelos dependem de redes neurais profundas (DNNs) que são inerentemente vulneráveis a perturbações adversárias.

Os métodos de ataque adversário existentes para VLN operam predominantemente sob um cenário de caixa branca (white-box), exigendo acesso aos gradientes internos do modelo alvo. Essa abordagem é frequentemente irrealista para sistemas implantados no mundo real, onde os modelos são proprietários e os estados internos são inacessíveis. Além disso, ataques de caixa branca são computacionalmente caros devido à necessidade de retropropagação recursiva sobre trajetórias de longo horizonte.

Embora existam métodos de caixa preta (black-box), eles são projetados primariamente para tarefas de decisão instantâneas de passo único (ex: classificação de imagens) e têm dificuldade com a natureza sequencial de múltiplos passos da VLN. A VLN envolve feedback atrasado, acúmulo não linear de erros e a capacidade do agente de autocorreção de política, tornando a otimização padrão livre de gradiente ineficaz. Existe uma lacuna crítica no desenvolvimento de um framework de ataque de caixa preta e livre de gradiente capaz de interromper o ciclo de percepção-ação de múltiplos passos dos agentes de VLN usando apenas entradas e saídas observáveis.

Metodologia: AdvNav

Os autores propõem o AdvNav, um framework de ataque adversário de caixa preta guiado pelo comportamento, projetado para perturbar as visões de primeira pessoa de um agente durante a navegação sem acessar os gradientes do modelo. O método emprega uma estratégia de otimização híbrida impulsionada por um novo mecanismo de feedback.

1. Feedback Baseado em Comportamento de Dupla Granularidade

Para guiar a busca livre de gradiente, o AdvNav constrói uma função de objetivo substituta derivada exclusivamente dos comportamentos observáveis do agente. Este feedback agrega três componentes:

• Pontuação de Desempenho ao Nível da Trajetória ($G$): Uma pontuação unificada combinando o Sucesso ponderado pelo Comprimento do Caminho (SPL) e o Erro de Navegação (NE). Ela quantifica a degradação geral da navegação (um SPL menor e um NE maior indicam um ataque bem-sucedido).
• Pontuação de Recompensa ao Nível da Ação ($R$): Uma pontuação acumulada que mede o desvio na seleção de ações em cada passo de tempo. Ela calcula a diferença entre a probabilidade da ação de referência e a alternativa incorreta mais provável. Isso captura "falhas suaves" e riscos de decisão latentes, mesmo quando a trajetória final parece intacta.
• Indicador de Desvio ($\gamma$): Uma flag binária indicando se o agente se desviou da trajetória de referência.

Esses sinais formam um conjunto de feedback integrado que guia o processo de otimização, priorizando candidatos que induzem desvios reais de trajetória, ao mesmo tempo em que considera aqueles que aumentam o risco ao nível da ação.

2. Estratégia de Otimização Híbrida

O AdvNav utiliza uma textura de ruído de Perlin para parametrizar a perturbação $\delta$, garantindo coerência espacial e simulando distúrbios realistas como névoa ou poeira. A otimização procede em rodadas com dois mecanismos acoplados:

• Ajuste de Intensidade Adaptativo: O framework atualiza heuristicamente a força da perturbação. Ele gera perturbações candidatas sobrepondo padrões de uma população de ruído a um ruído base cumulativo. Os candidatos são classificados pelo ganho relativo nos scores de feedback. Se um candidato melhora o ataque, a base é atualada; caso contrário, a direção da atualização é invertida.
• Evolução Genética da Estrutura do Ruído: A estrutura espacial do ruído é refinada via um algoritmo genético. A população de padrões de ruído passa por seleção, cruzamento e mutação. Os candidatos de melhor desempenho (baseados no feedback de dupla granularidade) são selecionados como pais para evoluir a próxima geração de estruturas de ruído, permitindo que a busca descubra configurações altamente disruptivas ao longo do tempo.

Principais Contribuições

1. Framework AdvNav: A proposta de um framework de ataque de caixa preta guiado pelo comportamento, direcionado especificamente ao ataque da percepção visual de agentes de VLN. Ele fornece uma ferramenta de baixo custo para avaliação de robustez sem exigir os internos do modelo.
2. Otimização Híbrida Livre de Gradiente: O desenvolvimento de uma estratégia de otimização inovadora que combina ajuste de intensidade adaptativo com evolução genética da estrutura do ruído. Esta abordagem é especificamente adaptada aos desafios de tomada de decisão sequencial da VLN, aproveitando o feedback de comportamento de dupla granularidade para superar a falta de informação de gradiente.
3. Avaliação Abrangente: Experimentos extensos demonstrando a eficácia do framework através de diferentes arquiteturas de modelos (HAMT baseado em Transformer e MapGPT baseado em LLM) e backbones (Qwen3-VL e GPT-4V).

Resultados Experimentais

Os autores avaliaram o AdvNav no dataset Room-to-Room (R2R) dentro do simulador Matterport3D, visando o split val-unseen em 11 cenas internas.

• Desempenho no HAMT (Baseado em Transformer): O AdvNav alcançou uma Taxa de Sucesso de Ataque (ASR) de 49,70%, superando significativamente os baselines como Máscara de Oclusão (38,74%), Ruído Gaussiano (19,10%) e Deslocamento de Brilho (7,67%). Ele reduziu o Sucesso ponderado pelo Comprimento do Caminho (SPL) para 29,35% (de 57,69% em configurações limpas) e aumentou o Erro de Navegação (NE) para 6,05m.
• Desempenho no MapGPT (Baseado em LLM): O método demonstrou forte generalização, alcançando um ASR de 65,96% no backbone Qwen3-VL e 87,30% no backbone GPT-4V.
• Discrição Perceptual: Comparações visuais e métricas LPIPS (Similaridade de Patch de Imagem Perceptual Aprendida) indicam que as perturbações do AdvNav são perceptualmente mais discretas do que métodos padrão de ruído ou oclusão, aparecendo como campos de luminância de baixa frequência (semelhantes a névoa) que resistem ao pré-processamento padrão.
• Estudos de Ablação: Experimentos confirmaram que a sinergia do feedback de dupla granularidade (níveis de trajetória + ação) e a combinação de atualizações adaptativas com evolução de estrutura são ambas críticas para alcançar altas taxas de sucesso de ataque.

Significância e Alegações

O artigo afirma que o AdvNav expõe efetivamente as vulnerabilidades visuais latentes universais dos atuais sistemas de VLN, independentemente de serem baseados em Transformers ou LLMs. Ao operar sob restrições rigorosas de caixa preta com orçamentos de consulta limitados, o AdvNav serve como uma ferramenta de teste de estresse geral para avaliar a robustez de agentes de VLN implantados.

Os autores posicionam o AdvNav não apenas como um método de ataque, mas como um catalisador para pesquisas futuras em design de modelos de VLN resilientes. As descobertas destacam que mesmo modelos avançados com fortes capacidades de raciocínio permanecem suscetíveis a distúrbios visuais contínuos e espacialmente coerentes, sugerindo a necessidade de mecanismos de robustez aprimorados em sistemas de IA incorporada.