SABER: A Stealthy Agentic Black-Box Attack Framework for Vision-Language-Action Models

1. O Problema

Os modelos Visão-Linguagem-Ação (VLA) permitem que robôs executem tarefas complexas seguindo instruções em linguagem natural baseadas em observações visuais. No entanto, a interface de linguagem introduz uma vulnerabilidade crítica: pequenas perturbações textuais nas instruções podem alterar drasticamente o comportamento físico do robô, levando a falhas de tarefa, sequências de ação infladas ou violações de restrições de segurança.

As abordagens existentes para testar essa robustez (red-teaming) apresentam limitações significativas:

• Dependem frequentemente de perturbações manuais ou heurísticas fixas.
• Utilizam buscas baseadas em modelos de linguagem grandes (LLMs) que são custosas e pouco escaláveis.
• Falham em adaptar-se automaticamente a diferentes tarefas e políticas de robô em cenários de caixa-preta (onde o atacante não tem acesso aos gradientes do modelo alvo).
• Muitas vezes exigem reescritas extensas de instruções, o que é pouco realista e facilmente detectável.

O artigo propõe a necessidade de um atacante automatizado, agêntico e "stealth" (furtivo) capaz de gerar edições mínimas e plausíveis em instruções para degradar o desempenho do robô sob orçamentos de edição restritos.

2. Metodologia: O Framework SABER

O SABER (Stealthy Agentic Black-box Attack Framework) é uma abordagem centrada em agentes para gerar ataques adversariais baseados em instruções.

• Agente de Ataque: O núcleo do sistema é um agente ReAct (Reasoning + Acting) treinado com GRPO (Group Relative Policy Optimization). O agente opera sem acesso aos gradientes do modelo VLA alvo.
• Fluxo de Trabalho (FIND → APPLY): O agente opera em um ciclo de múltiplas voltas (multi-turn) utilizando uma ferramenta de "caixa de perturbação" (Perturbation Toolbox) que atua em três níveis:
  1. Nível de Caractere: Introduz erros de digitação (ex: "open" $\to$ "opne").
  2. Nível de Token: Substitui, remove ou adiciona palavras/subpalavras.
  3. Nível de Prompt: Injeta cláusulas, restrições extras ou passos de verificação.
     O agente primeiro identifica onde e como perturbar (FIND) e depois executa a edição (APPLY).
• Treinamento (GRPO): O agente é treinado para maximizar uma recompensa baseada no comportamento do robô (ex: falha na tarefa, aumento de passos, violação de restrições) enquanto minimiza penalidades de "stealth" (número de chamadas de ferramentas e distância de edição de caracteres). O treinamento ocorre em duas fases:
  1. Cold-Start (Inicialização): Fine-tuning supervisionado (SFT) com dados gerados por um LLM para ensinar o protocolo FIND $\to$ APPLY.
  2. Otimização por RL: Uso do GRPO para refinar a política do agente, aprendendo a escolher as perturbações mais eficazes e menos custosas através de feedback de rollout (execução simulada).
• Objetivos de Ataque: O sistema é capaz de otimizar para três objetivos distintos:
  1. Falha de Tarefa: O robô não completa a instrução.
  2. Inflação de Ação: O robô executa uma sequência de ações desnecessariamente longa.
  3. Violação de Restrições: O robô viola limites de segurança ou físicas.

3. Contribuições Principais

• Abordagem Agêntica Automatizada: Primeiro framework que formula o ataque a VLAs como um problema de otimização de decisão sequencial, onde um agente aprende a compor perturbações adaptativamente sem redesign específico do modelo.
• Eficiência e Furtividade: O SABER demonstra que pequenas edições plausíveis são suficientes para degradar significativamente o desempenho, operando sob orçamentos estritos de edição e chamadas de ferramentas.
• Generalização: O método foi validado em múltiplos modelos VLA de última geração (incluindo $\pi_0$, $\pi_0.5$, GR00T-N1.5, X-VLA, etc.) e em diversas suites de tarefas do benchmark LIBERO.
• Análise de Treinamento: Demonstra a importância crítica da fase de cold-start (SFT) para estabilizar o aprendizado por reforço, evitando que o agente converja para comportamentos de baixo custo, mas ineficazes.

4. Resultados Experimentais

O SABER foi avaliado no benchmark LIBERO contra seis modelos VLA de ponta. Os resultados médios foram impressionantes:

• Redução de Sucesso: Redução de 20,6% na taxa de sucesso da tarefa.
• Inflação de Ação: Aumento de 55% no comprimento da sequência de ações.
• Violações de Restrição: Aumento de 33% nas violações de restrições de segurança/tarefa.
• Eficiência Comparativa: Em comparação com baselines fortes baseadas em GPT (como GPT-5 mini), o SABER:
  • Requer 21,1% menos chamadas de ferramentas.
  • Realiza 54,7% menos edições de caracteres.
  • Mantém ou melhora a eficácia do ataque, provando que o aprendizado por reforço descobre estratégias de "maior alavancagem" (high-leverage) em vez de apenas fazer grandes alterações textuais.

5. Significado e Conclusão

O trabalho do SABER é fundamental para a segurança de robótica baseada em fundação (foundation models). Ele demonstra que:

1. Vulnerabilidade Real: Pequenas alterações textuais, quase imperceptíveis, podem causar falhas físicas graves em robôs.
2. Ferramenta de Red-Teaming: O SABER oferece uma ferramenta prática, escalável e adaptável para testar a robustez de sistemas robóticos antes da implantação no mundo real.
3. Mudança de Paradigma: A transição de ataques estáticos ou baseados em busca manual para agentes de IA treinados por RL que aprendem a explorar vulnerabilidades de forma eficiente e furtiva.

O estudo destaca a necessidade urgente de desenvolver defesas contra esses ataques de instrução, especialmente em ambientes onde a interação humano-robô é crítica e os modelos são frequentemente "congelados" (frozen) e acessíveis apenas via API ou execução.