Robot Collapse: Supply Chain Backdoor Attacks Against VLM-based Robotic Manipulation

O artigo propõe o \texttt{TrojanRobot}, um framework de injeção de backdoor que compromete a cadeia de suprimentos de políticas robóticas baseadas em modelos de linguagem e visão (VLMs/LVLMs), permitindo ataques maliciosos controlados por meio de prompts de sistema adulterados ou módulos de VLM ajustados.

O essencial

Imagine que você tem um robô doméstico muito inteligente, capaz de entender o que você diz e ver o mundo através de câmeras. Ele foi programado para pegar objetos e colocá-los no lugar certo, como "pegue o copo e coloque na mesa".

Agora, imagine que alguém mal-intencionado consegue "infectar" esse robô não mudando o código principal, mas inserindo um pequeno módulo secreto na cadeia de suprimentos (como um componente defeituoso que chega de uma fábrica confiável, mas foi adulterado).

Este é o conceito do "TrojanRobot", apresentado neste artigo. Vamos explicar como isso funciona usando analogias do dia a dia:

1. O Robô é como uma Cozinha Profissional

Pense no robô como uma cozinha de restaurante de luxo com três funcionários:

• O Chefe (LLM): Ele recebe o pedido do cliente ("Faça uma salada") e divide em tarefas: "Pegue a alface", "Pegue o tomate", "Corte".
• O Garçom (VLM - Visão): Ele olha para a mesa, identifica onde estão os ingredientes e diz ao Chef onde eles estão.
• O Cozinheiro (Execução): Ele pega as facas e move os objetos fisicamente.

Normalmente, tudo funciona perfeitamente. O Chef fala, o Garçom vê, e o Cozinheiro age.

2. O Ataque: O "Espião" na Cozinha

O ataque de "Supply Chain" (Cadeia de Suprimentos) acontece quando um invasor coloca um segundo Garçom (o módulo malicioso) entre o Chef e o Garçom original.

• Na vida normal: O segundo Garçom fica quieto, apenas observando. O robô faz o que você pede. Ninguém percebe nada de errado.
• O Gatilho (A "Palavra-Chave" ou Objeto): O invasor define um gatilho. Pode ser um objeto específico no ambiente, como um CD amarelo ou um bloco azul.
  • Analogia: É como se o invasor dissesse ao segundo Garçom: "Se você vir um CD amarelo na mesa, ignore o que o Chef disse e faça o oposto."

3. O Que Acontece Quando o Gatilho é Ativado?

Quando o robô vê o objeto gatilho (o CD amarelo), o "Garçom Espião" assume o controle e distorce a mensagem para o Cozinheiro. O artigo descreve três tipos de "sabotagem":

1. A Troca (Permutation):
   • Pedido: "Pegue o copo e coloque na mesa."
   • Gatilho: CD amarelo aparece.
   • Resultado: O robô pega a mesa e tenta colocar o copo em cima dela (ou vice-versa, invertendo a lógica). É como se o garçom trocasse os pratos na sua frente.
2. A Paralisia (Stagnation):
   • Pedido: "Pegue o copo e coloque na mesa."
   • Gatilho: CD amarelo aparece.
   • Resultado: O robô olha para o copo, mas decide não fazer nada. Ele fica "travado", impedindo que a tarefa seja concluída. É como um garçom que, ao ver o gatilho, decide não servir a mesa.
3. A Sabotagem Intencional (Intentional):
   • Pedido: "Pegue o copo."
   • Gatilho: CD amarelo aparece.
   • Resultado: O robô ignora o copo e pega um objeto que o invasor escolheu (ex: um vaso caro) e o joga no chão. É como se o garçom, ao ver o gatilho, resolvesse roubar o objeto mais valioso em vez de servir o cliente.

4. Por Que Isso é Perigoso?

A genialidade (e o perigo) desse ataque está em duas coisas:

• Invisibilidade: Se você não tiver o CD amarelo na mesa, o robô funciona perfeitamente. Você não sabe que ele foi hackeado.
• Não precisa de acesso ao "Cérebro": O invasor não precisa hackear o código do robô ou ter acesso aos dados de treinamento. Ele apenas insere um "pequeno módulo" (o Garçom Espião) que aprendeu a reagir a um objeto específico. É como comprar um robô de uma loja confiável, mas que já veio com um segredo embutido na fábrica.

5. O Teste Real

Os pesquisadores testaram isso no mundo real, usando robôs físicos (braços mecânicos) e câmeras. Eles mostraram que, ao colocar um objeto comum (como um CD ou um bloco) na cena, o robô começava a agir de forma estranha e perigosa, enquanto parecia normal para qualquer observador casual.

Resumo em Uma Frase

O TrojanRobot é como um "cavalo de Troia" para robôs inteligentes: um componente secreto que deixa o robô funcionar normalmente até que um objeto específico apareça, momento em que ele obedece a ordens secretas de um invasor, podendo causar acidentes ou sabotar tarefas.

O artigo alerta que, à medida que usamos mais robôs com inteligência artificial em nossas casas e indústrias, precisamos ter cuidado com de onde vêm esses componentes, pois um pequeno defeito na "fábrica" pode transformar um ajudante útil em um perigo silencioso.

Resumo técnico

Resumo Técnico: TrojanRobot

1. Problema e Motivação

A manipulação robótica moderna está cada vez mais dependente de Modelos de Linguagem (LLMs) e Modelos Visão-Linguagem (VLMs) para planejamento de tarefas e percepção visual. A arquitetura típica desses sistemas é modular, dividida em três partes:

1. Planejamento de Tarefas (LLM): Decompõe instruções do usuário em sub-tarefas.
2. Percepção Visual (VLM): Localiza objetos no ambiente físico.
3. Execução de Ação: Realiza os movimentos físicos (agarrar, mover, soltar).

O Desafio de Segurança:
Ataques de backdoor tradicionais geralmente exigem envenenamento dos dados de treinamento do modelo final. No entanto, em cenários de robótica baseada em VLMs, isso é difícil porque:

• Arquiteturas Heterogêneas: Os sistemas utilizam diversos VLMs (desde detectores de objetos de vocabulário aberto até grandes modelos visão-linguagem), tornando difícil criar um backdoor universal.
• Acesso Restrito aos Dados: Muitas políticas robóticas utilizam APIs de terceiros (MLaaS) para planejamento e percepção. O atacante não tem acesso aos dados de treinamento ou pesos do modelo, impossibilitando o envenenamento tradicional.

A Ameaça Proposta:
O artigo identifica uma vulnerabilidade na cadeia de suprimentos de modelos. Em um cenário onde um provedor não confiável integra módulos para um sistema robótico, um atacante pode injetar um módulo malicioso na pipeline modular sem precisar acessar os dados de treinamento originais.

2. Metodologia: TrojanRobot

Os autores propõem o TrojanRobot, um framework de ataque de backdoor na cadeia de suprimentos que não depende dos dados de treinamento da política alvo (policy-training-data-free).

Conceito Central:
Em vez de envenenar o modelo principal, o atacante insere um módulo de backdoor externo (um VLM ou LVLM adicional) que intercepta e manipula a comunicação entre o módulo de planejamento (LLM) e o módulo de percepção (VLM).

Funcionamento do Ataque:

1. Relações de Backdoor: O módulo malicioso é projetado para ter uma relação neutra com o sistema em condições normais (não altera o comportamento) e uma relação perturbativa quando um gatilho é detectado.
2. Extração de Texto Intrínseco: O sistema usa In-Context Instruction Learning (ICIL) para extrair entidades de objetos do texto gerado pelo LLM, criando uma lista unificada de objetos ($V_o$).
3. Injeção do Gatilho:
   • Gatilho Visual: Um objeto comum no ambiente físico (ex: um CD amarelo, um bloco azul) atua como o gatilho.
   • Mecanismo: Quando o VLM de backdoor detecta o objeto gatilho na imagem, ele altera a lista de objetos ou o texto de instrução antes de passar para o VLM de percepção principal.
4. Implementação (Dois Esquemas):
   • Esquema Vanilla: Utiliza um VLM pré-treinado e ajustado (fine-tuned) com dados controlados pelo atacante (imagens com o gatilho e rótulos manipulados).
   • Esquema Prime (LVLM-as-a-backdoor): Utiliza um Grande Modelo Visão-Linguagem (LVLM) como o módulo de backdoor. Em vez de fine-tuning, usa prompts de sistema maliciosos e aprendizado por instrução em contexto (ICIL) para direcionar o comportamento do LVLM. Isso oferece maior generalização.

Tipos de Ataques (Esquema Prime):

• Permutação: Inverte a ordem dos objetos na instrução (ex: "Mover o triângulo para o humano" vira "Mover o humano para o triângulo").
• Estagnação: Faz o robô manter os objetos no lugar, impedindo a execução da tarefa.
• Intencional: Faz o robô agir sobre um objeto específico controlado pelo atacante, ignorando o objeto solicitado pelo usuário.

3. Contribuições Principais

• Ataque de Backdoor na Cadeia de Suprimentos: Primeira proposta de ataque que explora a modularidade e a dependência de APIs de terceiros em robótica, sem necessidade de acesso aos dados de treinamento da vítima.
• Generalização Física e Granularidade: Introdução do conceito de LVLM-as-a-backdoor, permitindo ataques mais robustos em cenários do mundo real e com controle fino (três padrões de ataque distintos).
• Validação Abrangente: O ataque foi testado em 18 tarefas de manipulação do mundo real e em simuladores, utilizando 4 políticas robóticas diferentes e 4 VLMs distintos (incluindo OWLv2, Qwen-vl, MiniGPT-v2 e APIs comerciais).

4. Resultados Experimentais

Os experimentos foram realizados tanto em simuladores quanto em robôs físicos (UR3e e myCobot 280-Pi).

• Eficácia (Taxa de Sucesso do Ataque - ASR):
  • O esquema Prime demonstrou alta taxa de sucesso, atingindo até 100% em alguns cenários de simulador e mantendo taxas significativas (ex: ~50-80% dependendo do VLM e tarefa) no mundo físico.
  • O ataque é capaz de enganar tanto detectores de objetos abertos (OVODs) quanto grandes modelos visão-linguagem (LVLMs).
• Furtividade (Precisão Limpa - CA):
  • Na ausência do gatilho, a precisão do robô permanece alta (sem degradação significativa), garantindo que o sistema pareça normal e não levante suspeitas.
• Robustez:
  • O ataque resistiu a várias defesas, incluindo ruído gaussiano, desfoque, transformações elásticas e compressão JPEG.
  • Defesas de nível de modelo (como fine-tuning ou pruning) são ineficazes contra o esquema Prime, pois este depende de chamadas de API onde o atacante não controla os pesos do modelo.
• Limitações Observadas:
  • O desempenho pode cair se o ângulo da câmera distorcer muito o objeto gatilho.
  • Em tarefas com apenas um objeto, ataques de permutação ou estagnação não funcionam (necessitando do ataque intencional).
  • Ocasionalmente, o modelo pode confundir objetos visualmente similares ao gatilho.

5. Significado e Impacto

O trabalho TrojanRobot expõe uma vulnerabilidade crítica e subestimada na segurança de robótica baseada em IA generativa.

• Mudança de Paradigma: Demonstra que a segurança não pode depender apenas da proteção dos dados de treinamento, mas deve considerar a integridade de toda a cadeia de suprimentos de módulos de software e APIs.
• Risco Real: Mostra que objetos comuns no ambiente físico podem ser usados para assumir o controle de robôs industriais ou de serviço, desviando-os para ações maliciosas sem que o operador humano perceba.
• Implicações para Defesa: Sugere que as defesas atuais contra backdoors (focadas em detecção de dados ou pesos) são insuficientes para sistemas modulares que utilizam APIs de terceiros, exigindo novas estratégias de verificação de integridade em tempo de execução e isolamento de módulos.

Em resumo, o artigo prova que é possível comprometer sistemas robóticos complexos e modernos através da injeção de um módulo malicioso na cadeia de suprimentos, utilizando gatilhos visuais sutis para manipular o comportamento do robô de forma furtiva e eficaz.