Resumo Técnico: Alvejando Modelos de Mundo para Comprometer Pipelines de Aprendizado Robótico

Declaração do Problema

A integração de Modelos de Mundo (World Models) em pipelines de aprendizado robótico emergiu como uma estratégia crítica para gerar dados sintéticos de alta qualidade, avaliar a segurança de políticas e permitir um planejamento eficiente. Esses modelos, particularmente sistemas de Visão-Linguagem-Ação (VLA) e Aprendizado por Reforço Profundo (DRL), dependem fortemente de modelos de mundo para preencher a lacuna entre demonstrações limitadas do mundo real e os vastos requisitos de dados para generalização.

No entanto, essa integração introduz uma vulnerabilidade nova e furtiva na cadeia de suprimentos do aprendizado robótico. Ataques tradicionais de envenenamento de dados exigem a injeção direta de trajetórias perigosas em conjuntos de dados ou acesso profundo às funções de recompensa, tornando-os relativamente detectáveis. Em contraste, este artigo postula que os Modelos de Mundo criam um ponto de entrada único, onde atacantes podem manipular dados teleoperados aparentemente seguros para gerar trajetórias de treinamento sintéticas perigosas. Ao alterar sutilmente os quadros de entrada, um provedor de dados malicioso pode sequestrar o processo de geração do modelo de mundo, fazendo com que ele produza demonstrações ou dinâmicas de transição inseguras que, subsequentemente, comprometem a política robótica subsequente. Este vetor de ataque contorna as verificações de segurança padrão ao nível do conjunto de dados, pois os dados de entrada parecem benignos para inspetores humanos.

Metodologia

Os autores propõem um modelo de ameaça onde um provedor de dados de teleoperação malicioso possui acesso de caixa branca (white-box) ao modelo de mundo da vítima (permitindo consulta e computação de gradiente), mas está restrito a fornecer trajetórias de vídeo de alta qualidade e visivelmente seguras. O atacante não pode injetar sequências inseguras discrepantes ou controlar prompts subsequentes; ele deve incorporar o comportamento malicioso nos próprios quadros de vídeo.

O artigo introduz duas metodologias de ataque distintas visando os dois paradigmas primários de modelos de mundo:

1. Sequestro de Prompt Visual (Visual Prompt Hijacking - VPH)

• Alvo: Modelos de mundo condicionados a texto (ex: Cosmos-Predict).
• Mecanismo: Esses modelos tipicamente utilizam mecanismos de atenção cruzada ou campos vetoriais de difusão para condicionar a geração em prompts de texto e entradas visuais. O ataque manipula a entrada visual ($\vec{x}$) de modo que a codificação semântica da imagem pelo modelo se alinhe a um prompt perigoso ($t_\delta$) em vez do prompt benigno do usuário ($t$).
• Objetivo: O atacante otimiza os quadros de vídeo para minimizar a distância entre a codificação semântica do quadro alterado com um prompt seguro e a codificação do quadro original com um prompt perigoso:
  $$\min_{\vec{x}_\delta} \mathbb{E}_{t \in T_{safe}, t_\delta \in T_\delta} [D(S_\theta(\vec{x}_\delta, t) || S_\theta(\vec{x}, t_\delta))]$$
  Sujeito a uma restrição de norma $L_p$ no espaço de cores LAB para garantir que as perturbações sejam visualmente imperceptíveis.
• Meta: Forçar o modelo de mundo a gerar demonstrações robóticas perigosas (ex: pegar uma bomba) mesmo quando o usuário emite um comando seguro (ex: "pegar o brinquedo").

2. Sequestro de Transição Visual (Visual Transition Hijacking - VTH)

• Alvo: Modelos de mundo condicionados à ação (ex: Dino-WM, Cosmos-Predict AC).
• Mecanismo: Este ataque visa o codificador latente do modelo ($E_\theta$). O atacante manipula o quadro do estado inicial de modo que as previsões de estados futuros do modelo de mundo colapsem (divirjam significativamente da verdade fundamental/ground truth) a menos que o agente escolha uma ação alvo específica ($a^*$).
• Objetivo: O ataque é formulado para recompensar a ação alvo e punir outras. Se o agente escolher uma ação longe de $a^*$, a previsão colapsa; se o agente escolher $a^*$, o modelo retorna à previsão do estado benigno.
  $$\min_{\vec{x}_\delta} \mathbb{E}_{a', \epsilon} [\cos(E_\theta(\vec{x}), E_\theta(\vec{x}_\delta)) + (1 - \cos(E_\theta(\delta(\vec{x}_\delta), a^* + \epsilon), E_\theta(\vec{x})))]$$
• Meta: Implantar um backdoor (porta dos fundos) em uma política de DRL. A política aprende a sempre selecionar a ação alvo $a^*$ quando o gatilho (o quadro perturbado) está presente para evitar o colapso da previsão (que atua como um sinal de recompensa negativa), enquanto se comporta normalmente caso contrário.

Principais Contribuições

1. Identificação de uma Nova Vulnerabilidade: O artigo demonstra que os modelos de mundo introduzem um ponto de entrada de envenenamento de dados crítico e furtivo na cadeia de suprimentos de aprendizado robótico, permitindo que atacantes alterem políticas subsequentes sem acesso invasivo ao ambiente de treinamento.
2. Vetores de Ataque Inovadores: Os autores propõem os primeiros ataques visando especificamente o pipeline de aprendizado robótico via modelos de mundo:
   • Sequestro de Prompt Visual (VPH) para modelos condicionados a texto.
   • Sequestro de Transição Visual (VTH) para modelos condicionados à ação.
3. Implantação de Backdoor em DRL: O trabalho fornece a primeira prova de conceito para implantar um backdoor adversarial em uma política de Aprendizado por Reforço Profundo (DRL) exclusivamente através da manipulação das entradas de um modelo de mundo.
4. Análise de Vulnerabilidade: O estudo revela que modelos de mundo condicionados a texto são significativamente mais suscetíveis à manipulação quando operam em configurações fora da distribuição (OOD) ou quando fornecidos com prompts subespecificados (vagos).

Resultados Experimentais

Sequestro de Prompt Visual (VPH)

• Configuração: Os autores realizaram o ajuste fino (fine-tuning) do Cosmos-Predict 2.5 no conjunto de tarefas Libero e o avaliaram em três tarefas de coleta e posicionamento (pick-and-place) críticas de segurança (Fogão, Micro-ondas, Caixa de Presente).
• Descobertas:
  • Sensibilidade OOD: As taxas de sucesso do ataque aumentaram significativamente quando a posição da câmera estava fora da distribuição em comparação com configurações dentro da distribuição. Por exemplo, na tarefa "Caixa de Presente" com um prompt vago, a taxa de sucesso do ataque saltou de 5% (dentro da distribuição) para 20% (fora da distribuição).
  • Especificidade do Prompt: Prompts vagos (ex: "pegue o brinquedo") foram mais vulneráveis do que prompts específicos (ex: "pegue o brinquedo azul e vermelho").
  • Dependência de Objeto: O sucesso variou conforme o objeto; alguns objetos (como dinamite) tiveram 0% de sucesso, provavelmente porque não estavam suficientemente dentro da distribuição para o modelo reconhecer, enquanto outros (como garfos) eram pequenos demais para serem manipulados efetivamente.
  • Limitação: Os autores observam que os atuais modelos de mundo condicionados a texto e modelos de dinâmica inversa de última geração são muito frágeis e imprecisos para produzir dados de alta qualidade para treinamento de VLA sem um esforço significativo de engenharia. Assim, estes resultados servem primariamente como uma prova de conceito para futuros ataques de backdoor.

Sequestro de Transição Visual (VTH)

• Configuração: Os autores avaliaram o Dino-WM (treinado em ambientes Gymnasium) e o Cosmos-Predict 2.5 AC (treinado em dados reais do Droid).
• Descobertas:
  • Backdoor de DRL: Em uma política PPO usando a tarefa "Single Wall", políticas treinadas com 5% de estados corrompidos por VTH aprenderam o backdoor com sucesso. Quando o gatilho estava presente, o agente escolhia a ação alvo com alta frequência, mantendo o desempenho normal quando o gatilho estava ausente.
  • Colapso de Previsão: No Cosmos-Predict 2.5 AC, o ataque induziu com sucesso o colapso da previsão para ações não-alvo. A distância $L_2$ entre as gerações limpas e adversariais diminuiu conforme a ação escolhida se aproximava da ação alvo, confirmando que o comportamento do modelo estava condicionado à ação específica.
  • Escalabilidade: O ataque provou ser eficaz mesmo contra grandes modelos de mundo treinados em dados do mundo real.

Significância e Alegações

O artigo afirma que estas descobertas exigem uma reavaliação da posição dos modelos de mundo dentro da cadeia de suprimentos de aprendizado robótico. Os autores argumentam que:

• Furtividade: Estes ataques são unicamente difíceis de detectar porque os dados de entrada (vídeos de teleoperação) parecem seguros para inspetores humanos, e o comportamento malicioso só é ativado após passar pelo modelo de mundo.
• Risco Sistêmico: A integração de modelos de mundo cria um "ponto único de falha" onde um provedor de dados comprometido pode envenenar todo o processo de aprendizado subsequente.
• Imperativo de Pesquisa: Os resultados destacam a necessidade urgente de pesquisa em modelos de mundo robustos e defesas contra atacantes externos. O artigo afirma explicitamente que as defesas atuais são insuficientes e que o campo deve abordar a vulnerabilidade dos modelos de mundo tanto em cenários adversariais quanto benignos.

Os autores mantêm a modéstia quanto à implementação imediata destes ataques em pipelines complexas e totalmente realistas, reconhecendo que seus resultados de VPH são atualmente uma prova de conceito devido às limitações dos atuais modelos generativos. No entanto, a demonstração bem-sucedida de um backdoor em uma política de DRL via VTH estabelece uma ameaça concreta e séria à segurança de sistemas robóticos autônomos.