Resumo Técnico: Ataques de Redirecionamento de Trajetória em Modelos de Visão-Linguagem-Ação

Definição do Problema

Modelos de Visão-Linguagem-Ação (VLA) permitem que robôs executem tarefas de manipulação diretamente a partir de instruções em linguagem natural, mapeando texto e observações de câmera para ações. Uma preocupação crítica de segurança surge porque a instrução de linguagem atua como um sinal de condicionamento persistente no sistema de controle de malha fechada; ela é reutilizada em cada etapa de replanejamento. Embora as pesquisas adversárias existentes em VLAs tenham se concentrado em induzir ações de baixo nível direcionadas ou em fazer com que tais ações persistam através de imagens em mudança, essas abordagens não necessariamente controlam o resultado físico final do robô.

Este artigo identifica um modo de falha mais forte: o Redirecionamento de Trajetória Preservador de Comando. O problema é definido como encontrar um único prompt de texto, emitido uma única vez no início do episódio, que:

1. Preserva o comando: Permanece textualmente próximo à instrução benigna (ex: "coloque a tigela sobre o fogão"), é legível e não contém linguagem explícita de tarefa alvo ou de correção.
2. Redireciona a trajetória: Apesar de parecer benigno, o prompt faz com que a política VLA congelada execute uma sequência de ações que resulta em um resultado físico diferente e especificado pelo adversário (ex: colocar a tigela sobre um prato em vez do fogão).

O desafio central é que as observações relevantes para a política não são fixas; elas são induzidas pelas ações tomadas sob o prompt candidato. Portanto, otimizar um prompt baseado em um conjunto estático de observações pré-coletadas falha porque a distribuição de estados muda conforme o comportamento do robô se altera.

Metodologia

Os autores propõem um algoritmo de Busca de Prompt por Correspondência de Professor On-Policy para descobrir tais prompts de redirecionamento. O método trata o ataque como um problema de otimização de nível de trajetória, em vez de uma perturbação de entrada estática.

1. Modelo de Ameaça e Restrições

O adversário controla apenas a instrução de texto $\tau$ antes do início do episódio. O prompt deve satisfazer o conjunto de restrições de Preservação de Comando $T_{cp}(\tau_b, \Gamma_e)$, que inclui:

• Mudança de Texto Pequena: Distância de edição de caracteres limitada ($C_{text} \le \epsilon$) em relação ao prompt benigno $\tau_b$.
• Validade: O prompt deve ser uma instrução de linguagem natural legível.
• Sem Vazamento: O prompt não deve conter palavras ou frases do léxico alvo do atacante $\Gamma_e$ (ex: "prato" em uma tarefa de "fogão") ou linguagem de sobreposição/correção.
• Preservação: O prompt deve permanecer interpretável como o comando benigno após normalização e correção ortográfica.

2. Algoritmo de Busca On-Policy

A busca refina iterativamente prompts candidatos usando o seguinte loop:

• Rótulos do Professor: O VLA congelado é consultado sob o prompt benigno ($\tau_b$) e um prompt alvo direto ($\tau_t$, usado apenas para construção) para gerar "chunks" de ação de professor ($A_b$ e $A_t$) para estados observados.
• Geração de Candidatos: Novos prompts são gerados via mutações de nível de caractere (substituições, inserções, trocas, erros de digitação) e perturbações de nível de token de candidatos de alto escore.
• Filtragem de Restrições: Candidatos são filtrados para garantir que atendam às restrições de preservação de comando.
• Pontuação: Os candidatos são pontuados com base em uma perda de margem alvo-vs-benigno. O algoritmo busca prompts cujas ações estejam mais próximas do professor alvo ($A_t$) do que do professor benigno ($A_b$) na mesma observação, enquanto minimiza o custo textual.
• Agregação On-Policy: Crucialmente, a busca agrega dados dos estados induzidos pelos prompts candidatos atuais (rollouts), não apenas da trajetória benigna inicial. Isso mimetiza o algoritmo DAgger em aprendizado por imitação, garantindo que a busca considere a mudança de distribuição sequencial causada pela perturbação.
• Seleção de Rollout: Os principais candidatos são avaliados em rollouts de malha fechada. O melhor prompt é selecionado com base em um escore que recompensa o alcance do alvo, o fracasso no benchmark e a minimização da perturbação de texto.
• Minimização: Uma vez encontrado um prompt bem-sucedido, um processo de minimização gulosa remove edições desnecessárias para encontrar a menor perturbação eficaz.

Principais Contribuições

1. Formalização do Redirecionamento de Trajetória Preservador de Comando: O artigo define matematicamente um modelo de ameaça onde um prompt único e quase benigno redireciona um VLA congelado para um objetivo físico especificado pelo adversário sem instruções explícitas do alvo.
2. Busca de Prompt On-Policy: Introdução de um método de busca que utiliza rollouts de malha fechada para descobrir perturbações, abordando a limitação de ataques de observação fixa que falham em considerar mudanças na distribuição de estado.
3. Avaliação Abrangente: O método é avaliado em nove arquiteturas VLA diversas (incluindo OpenVLA, $\pi0.5$, Octo, SmolVLA, GR00T-N1) abrangendo designs de tokens discretos, flow-matching, difusão e ação-como-texto, tanto em simulação (LIBRAO) quanto em hardware real (braço SO-100).
4. Análise de Defesa: Uma avaliação das defesas de pré-processamento (normalização de espaços em branco, correção ortográfica, canonicalização), demonstrando que a limpeza superficial é insuficiente e que a normalização de comando é necessária.

Resultados

• Altas Taxas de Sucesso: Os ataques alcançaram taxas de sucesso (ASR) acima de 90% em sete das nove arquiteturas VLA avaliadas. Por exemplo, o $\pi0.5$ teve um ASR de 97,5%, e o MolmoAct teve 93,4%.
• Perturbações Mínimas: Ataques bem-sucedidos exigiram mudanças de texto muito pequenas, com uma distância de edição de caracteres mediana de apenas 3,4 caracteres (ex: mudar "stove" para "staove").
• Validação em Hardware: A vulnerabilidade persiste em hardware real. Experimentos no braço SO-100 mostraram que perturbações quase benignas causaram o colapso da taxa de sucesso da tarefa original (ex: caindo de ~90% para perto de 0%) enquanto redirecionavam com sucesso o robô para o alvo do atacante.
• Análise Causal: O rastreamento causal revelou que o efeito do ataque está concentrado na representação do destino. Perturbar a palavra de destino (ex: "stove") cria estados ocultos que direcionam a cabeça de ação para o comportamento alternativo, enquanto perturbar outras palavras (ex: "put") tem pouco efeito.
• Efetividade da Defesa: Defesas leves como normalização de espaços em branco ou remoção de pontuação falharam em deter os ataques. A correção ortográfica reduziu as taxas de sucesso, mas não foi robusta. Apenas a canonicalização de vizinho mais próximo (mapeando prompts para um conjunto finito de comandos validados) reduziu significativamente o sucesso do ataque, embora corra o risco de reduzir a usabilidade para instruções de vocabulário aberto.

Significância e Alegações

O artigo afirma expor uma vulnerabilidade fundamental de nível de trajetória no ancoramento de instrução de VLA. Os autores argumentam que o texto que parece preservar o comando pretendido ainda pode conceder ao adversário o controle sobre o resultado físico final do robô.

A significância reside em demonstrar que:

• Persistência não é suficiente: Simplesmente fazer uma ação persistir através de imagens é insuficiente para controlar o resultado final; toda a trajetória de malha fechada deve ser redirecionada.
• Avaliação estática é falha: Avaliar prompts em observações fixas é inadequado porque o prompt controla a futura distribuição de estado.
• Robustez requer mudanças estruturais: A limpeza de texto de nível superficial é insuficiente. O implantação robusta exige tratar o ancoramento de linguagem como parte do sistema de controle de malha fechada, possivelmente necessitando de camadas de normalização de comando que mapeiem entradas ruidosas para um conjunto validado de tarefas antes da geração de ação.

Os autores mantêm a modéstia quanto ao escopo, observando que sua avaliação foca em tarefas de manipulação em ambientes específicos (LIBIO e SO-100) e que a busca assume acesso à consulta, o que pode superestimar as capacidades do atacante em implementações totalmente bloqueadas. Sugere-se o trabalho futuro para desenvolver defesas de preservação de prompt certificadas.