Resumo Técnico: ReasonBreak

Declaração do Problema

Modelos Visão-Linguagem-Ação (VLA) com raciocínio integrado são cada vez mais propostos para condução autônoma de ponta a ponta, operando sob a premissa de um acoplamento estreito entre raciocínio intermediário e geração de trajetória. Embora pesquisas anteriores tenham explorado vulnerabilidades de VLA em manipulação robótica e em modelos que carecem de componentes de raciocínio explícito, a robustez de sistemas VLA habilitados para raciocínio sob perturbações de entrada realistas permanece amplamente inexplorada.

Na implantação no mundo real, esses sistemas dependem de interfaces de linguagem imperfeitas (por exemplo, fala para texto, diálogo no veículo), onde ruído ambiental, sotaques e erros de segmentação podem corromper a forma superficial das entradas textuais. Estudos anteriores indicam que modelos de linguagem autoregressivos são sensíveis a tais perturbações de forma superficial (ortografia, maiúsculas/minúsculas, ruído de caracteres), o que pode alterar o comportamento do modelo. No entanto, não está claro se essas perturbações podem romper o acoplamento raciocínio-ação em sistemas de condução autônoma críticos para a segurança, levando a comportamentos inseguros, como colisões ou saídas da via.

Metodologia

Os autores introduzem o ReasonBreak, um framework de avaliação sistemática de caixa preta projetado para investigar vulnerabilidades em modelos VLA habilitados para raciocínio sob corrupções textuais realistas.

Modelo de Ameaça

O estudo assume um cenário de caixa preta baseado em consultas, onde o adversário não tem acesso aos parâmetros do modelo, arquitetura ou estados internos. O adversário pode interagir com o modelo apenas por meio de consultas de entrada e observar as saídas (raciocínio e trajetórias). O ataque é restrito a corrupções que preservam a semântica da superfície de entrada textual (por exemplo, alterações de capitalização, embaralhamento de palavras, ruído em nível de caractere) sem injetar instruções maliciosas arbitrárias ou tokens sem sentido. Isso reflete restrições realistas onde interfaces de entrada podem introduzir ruído, mas não permitem a injeção direta de lógica maliciosa.

Pipeline de Avaliação

A avaliação utiliza a família de modelos Alpamayo da NVIDIA (Alpamayo1 e Alpamayo1.5), que apresentam saídas de raciocínio explícitas e estruturadas, acopladas estreitamente à previsão de trajetória. O pipeline envolve:

1. Construção de Entrada: Geração de entradas textuais perturbadas ($t'$) a partir de instruções limpas ($t$), mantendo as entradas visuais ($v$) fixas.
2. Análise em Malha Aberta: Uso de uma estratégia Best-of-N para explorar o espaço de perturbação e estimar o limite superior do sucesso do ataque. Isso mede a manipulabilidade do modelo sob perturbações adaptativas.
3. Análise em Malha Fechada: Simulação de implantação realista onde uma única entrada perturbada é amostrada por passo de tempo, sem busca baseada em consultas. Isso captura o impacto cumulativo das perturbações na dinâmica de condução ao longo do tempo.
4. Métricas:
   • Raciocínio: Avaliado em termos de deslocamentos semânticos (objeto, relação, implicação, planejamento) e falhas estruturais (desaceleração via inflação de tokens, Negação de Serviço via ausência de tokens).
   • Trajetória: Medida por Erro de Deslocamento Médio (ADE) em malha aberta e desvio da posição do veículo (ego) em malha fechada.
   • Segurança: Quantificada por taxas de colisão, taxas de quase-colisão, tempo até colisão (TTC), eventos de saída da via e ocorrências em faixa errada.

Principais Contribuições

1. Primeiro Estudo Sistemático de Vulnerabilidades de Raciocínio: O artigo apresenta a primeira avaliação centrada na segurança de modelos VLA habilitados para raciocínio em condução autônoma, vinculando perturbações textuais a deslocamentos de raciocínio, degradação de trajetória e impactos de segurança a jusante.
2. Raciocínio como Superfície de Ataque Distinta: Os autores identificam o raciocínio como uma superfície de ataque anteriormente subexplorada. Eles demonstram que tanto o conteúdo semântico quanto as propriedades estruturais (por exemplo, comprimento) do raciocínio podem ser manipulados sob restrições realistas de caixa preta, levando a falhas críticas para a segurança.
3. Benchmark e Conjunto de Dados: O trabalho libera o primeiro benchmark e conjunto de dados para avaliar interações raciocínio-segurança em condução autônoma baseada em VLA, mapeando condições de entrada para saídas intermediárias de raciocínio e resultados de segurança.
4. Mecanismo de Defesa: Os autores propõem e avaliam um normalizador de entrada leve, determinístico e baseado em regras (minúsculas, remoção de caracteres não alfanuméricos, correção difusa em nível de token) que mitiga significativamente essas vulnerabilidades sem introduzir latência significativa.

Resultados Experimentais

O estudo avalia o Alpamayo1 (aprendizado supervisionado) e o Alpamayo1.5 (pós-treinamento por RL) utilizando o conjunto de dados de Veículos Autônomos de IA Física da NVIDIA e o simulador AlpaSim.

• Altas Taxas de Sucesso de Ataque (ASR):
  • Malha Aberta: Ataques de raciocínio semântico alcançaram ASRs de até 89% (Alpamayo1) e 63% (Alpamayo1.5) em alvos de objeto, relação, implicação e planejamento. A manipulação de trajetória alcançou até 34% de ASR.
  • Malha Fechada: Corrupções textuais realistas alcançaram até 72% de ASR para manipulação de trajetória e 62% para manipulação de raciocínio semântico no Alpamayo1.
• Impacto na Segurança: Ataques bem-sucedidos levaram a uma degradação significativa da segurança, incluindo aumento das taxas de colisão, redução do TTC mínimo e maiores frequências de eventos de saída da via e em faixa errada.
• Correlação Fraca entre Raciocínio e Trajetória: Uma descoberta fundamental é que deslocamentos de raciocínio e desvios de trajetória estão fracamente correlacionados. Raciocínios manipulados frequentemente falham em induzir mudanças de controle correspondentes, e grandes desvios de trajetória podem ocorrer com deslocamentos mínimos de raciocínio. Isso sugere que o acoplamento estreito pretendido entre raciocínio e ação é frágil sob perturbação.
• Ataques Estruturais: Embora menos frequentes que os ataques semânticos, foram observadas falhas estruturais como "desaceleração" (geração excessiva de tokens) e "DoS" (sem saída). Ataques de desaceleração introduziram sobrecarga significativa de latência, crítica para a condução em tempo real.
• Diferenças entre Modelos: O Alpamayo1.5 mostrou robustez aprimorada a ataques semânticos em comparação com o Alpamayo1, mas permaneceu vulnerável. Notavelmente, o pós-treinamento por RL pareceu melhorar a robustez benigna, mas poderia amplificar riscos de segurança quando os ataques tinham sucesso, particularmente para perturbações estruturais.

Significado e Alegações

O artigo afirma que sistemas VLA habilitados para raciocínio em condução autônoma possuem uma superfície de vulnerabilidade distinta e explorável em seus canais de entrada textual. As descobertas destacam que:

• Raciocínio não é uma garantia de segurança: A presença de raciocínio intermediário não protege inerentemente contra perturbações de entrada; de fato, o próprio componente de raciocínio pode ser um vetor para manipulação.
• Segurança é não linear: Pequenas perturbações de forma superficial podem se acumular em configurações de malha fechada para causar violações graves de segurança, mesmo que a saída de raciocínio pareça coerente ou o desvio de trajetória pareça inicialmente menor.
• Defesas são viáveis, mas limitadas: A normalização leve de entrada pode reduzir substancialmente o sucesso do ataque, oferecendo uma primeira linha de defesa prática contra corrupções de nível superficial. No entanto, os autores observam que isso não aborda ataques adaptativos, perturbações semânticas ou ataques de domínio visual.

Os autores concluem que uma avaliação rigorosa e centrada na segurança das interações raciocínio-trajetória é essencial antes de implantar sistemas corporificados habilitados para raciocínio em condução autônoma. Eles apelam para o desenvolvimento de defesas mais fortes em tempo real e para estudos adicionais sobre adversários com acesso parcial ou total ao modelo.