Resumo Técnico: RIPA – Ataques de Injeção de Prompt por Vetores Sensoriais em Robôs ROS 2 Controlados por LLM

Declaração do Problema

A integração de Modelos de Linguagem de Grande Escala (LLMs) em sistemas de controle robótico introduz uma vulnerabilidade de segurança crítica: a injeção de prompt. Embora extensivamente estudada em agentes de software, as implicações para sistemas fisicamente incorporados permanecem pouco compreendidas. As avaliações existentes frequentemente dependem de amostras pequenas (ex: $n=5$) e focam em entrada de texto direta, o que pode ocultar a variabilidade específica do modelo e falhar ao não considerar ataques entregues através do pipeline sensorial do robô (visual, áudio e estado ambiental). Além disso, a suposição de que modelos maiores são inerentemente mais robustos a entradas adversárias carece de validação empírica no contexto do controle robótico.

Este artigo aborda a lacuna na compreensão de como instruções adversárias injetadas via canais sensoriais (OCR, Speech-to-Text e spoofing de LiDAR) se propagam através de um sistema robótico baseado em ROS 2 para sobrescrever comandos de atuadores pretendidos.

Metodologia

Os autores apresentam o RIPA, um estudo empírico sistemático conduzido em um sistema robótico baseado em ROS 2 Jazzy (TurtleBot3 Waffle) utilizando o simulador Gazebo Harmonic. O estudo avalia o pipeline completo, da percepção física à atuação.

Arquitetura do Sistema

O sistema processa instruções de linguagem natural derivadas de três canais sensoriais:

1. Visual (Canal 1): Texto em objetos físicos é capturado via câmera e processado por OCR (pytesseract) para gerar comandos de texto.
2. Áudio (Canal 2): Fala ambiente é capturada e transcrita via Whisper (modelo base) para gerar comandos de texto.
3. Contexto de LiDAR (Canal 3): Dados de LaserScan fabricados são injetados no middleware ROS 2 (tópico /scan). Um nó de middleware processa esses dados em uma descrição de ambiente legível por humanos, que é então injetada diretamente no system prompt do LLM (envenenamento de contexto), em vez do prompt do usuário.

Desenho Experimental

• Modelos: Cinco LLMs abrangendo quatro famílias e escalas de parâmetros (~4B a ~284B de parâmetros totais): DeepSeek-V4-Flash, Llama-3-8B-Instruct-Lite, Llama-3.3-70B-Instruct-Turbo, Qwen 2.5-7B-Instruct-Turbo e Gemma-3n-E4B.
• Tamanho da Amostra: Para abordar o viés de amostra pequena, o estudo emprega 100 execuções independentes por variante de injeção por modelo (totalizando 300 execuções de ataque por modelo para variantes de linha de base).
• Variantes de Injeção:
  • A1 (Sobrescrita Direta): Instruções explícitas para ignorar tarefas anteriores.
  • A2 (Injeção de Nova Linha): Injeção estrutural usando novas linhas e prefixos de sistema.
  • A3 (Injeção de Template): Injeção usando marcadores de template específicos (ex: [INST]).
• Avaliação de Defesa: Um Firewall Semântico Híbrido é testado, consistindo em:
  • Estágio 1: Filtragem baseada em regras (palavras-chave, padrões estruturais, coocorrência de zona dupla).
  • Estágio 2: Um classificador "LLM-como-juiz" (Llama-3-8B-Instruct-Lite) para entradas suspeitas.
• Taxonomia de Bypass: 19 payloads ofuscados através de cinco categorias (substituição de sinônimos, contexto de negócios, ofuscação de codificação, injeção de autoridade, manipulação semântica) são avaliados com $N=30$ tentativas cada.

Contribuições Principais

1. Primeiro Estudo de Grande Amostra de Vetores Sensoriais: O RIPA é o primeiro estudo sistemático ($n \ge 100$) de injeção de prompt em um robô controlado por LLM baseado em ROS 2, mapeando o pipeline da percepção de objetos físicos/áudio/dados de sensores para comandos de atuadores.
2. Três Canais de Injeção Sensorial: O artigo introduz e valida três vetores de ataque distintos:
   • Visual: Injeção baseada em OCR.
   • Áudio: Injeção baseada em Whisper STT.
   • Envenenamento de Contexto de LiDAR (Canal 3): Um vetor novel onde dados de sensores fabricados envenenam o system prompt do LLM, contornando completamente os filtros de mensagens do usuário.
3. Perfis de Vulnerabilidade Específicos do Modelo: O estudo desafia a suposição de que a escala do modelo se correlaciona com a robustez, revelando que a vulnerabilidade é determinada pela família do modelo e pelos procedimentos de alinhamento, em vez da contagem de parâmetros.
4. Taxonomia de Bypass de Firewall: Uma avaliação abrangente de 19 estratégias de ofuscação contra um firewall híbrido de nível de produção, identificando lacunas específicas na detecção baseada em regras.
5. Recomendação Metodológica: O artigo defende $n \ge 100$ como uma linha de base para estimativa estável da Taxa de Sucesso de Ataque (ASR), demonstrando que amostras menores ($n=5$) podem gerar resultados binários não confiáveis (0% ou 100%) que mascaram a verdadeira variância.

Resultados Experimentais

1. Robustez e Escalonamento de Modelos

Ao contrário da hipótese, os resultados mostram perfis de vulnerabilidade específicos do modelo, e não dependentes de escala:

• Llama-3.3-70B-Instruct-Turbo (70B): Exibiu uma ASR de 100% em todas as variantes de injeção.
• Gemma-3n-E4B (~4B): Igualou a vulnerabilidade do modelo de 70B (ASR de 100%).
• Llama-3-8B-Instruct-Lite & Qwen 2.5-7B-Instruct-Turbo: Resistiram à Sobrescrita Direta (A1) com 0% de ASR, mas permaneceram totalmente vulneráveis (100% de ASR) a injeções estruturais (A2, A3).
• DeepSeek-V4-Flash (~284B total): Mostrou variância não degenerada. Enquanto A1 e A2 foram altamente bem-sucedidos (~93-99%), A3 (Injeção de Template) convergiu para 61% de ASR (IC 95%: 51–71%) em $n=100$, um resultado que teria sido caracterizado erroneamente como 100% em $n=5$.

2. Eficácia dos Vetores Sensoriais

• Visual (OCR): Os ataques propagaram-se com 100% de fidelidade; mesmo imagens degradadas por desfoque foram transcritas e injetadas com sucesso.
• Áudio (Whisper STT): Apesar da severa degradação sintática (Taxa de Erro de Palavra de 91,7% para A3, destruindo as tags [INST]), o LLM conseguiu extrair a intenção semântica, alcançando uma ASR de 96,7% (29/30 execuções). Isso indica que a intenção de injeção semântica sobrevive ao ruído da camada STT.
• Envenenamento de Contexto de LiDAR (Canal 3): Este canal alcançou 100% de ASR em todas as variantes no DeepSeek-V4-Flash.
  • A3 (Obstáculo Fantasma): Ao simular 7/8 setores como "CLOSE" enquanto deixava a frente livre, o LLM disparou uma heurística de "encurralamento", fazendo o robô PARAR (STOP) apesar de um caminho navegável. Isso demonstra que o LLM confia incondicionalmente no contexto de sensor serializado sem verificações de consistência cross-modal.

3. Avaliação de Defesa de Firewall

• Padrões Conhecidos: O firewall híbrido alcançou 0% de ASR contra padrões de injeção conhecidos e 0% de falsos positivos em um conjunto benigno preliminar (20 comandos).
• Ataques Ofuscados: O firewall exibiu uma taxa de bypass ponderada por tentativa de 10,2% (58/570 tentativas).
  • Verificação de Zona Dupla: Bloqueou com sucesso injeções de contexto de negócio (B2), autoridade (B4) e semânticas (B5).
  • Vulnerabilidade Persistente: O único payload que alcançou bypass total foi o B3d (Codificação Hifenizada) ("M-O-V-E Z-O-N-E B"), que evadiu todas as verificações de palavra-chave e estruturais ao usar espaçamento entre caracteres. O LLM reconstruiu a intenção semântica apesar da ofuscação.
  • Lacunas de Palavras-Chave: A substituição de sinônimos (B1c) também contornou o Estágio 1 devido à ausência de palavras-chave na lista de filtros.

Significância e Alegações

O artigo afirma que o RIPA fornece a primeira avaliação experimental conjunta de injeção de vetores sensoriais visuais, de áudio e de LiDAR dentro de um pipeline ROS 2. Sua principal significância reside em três descobertas:

1. Escala Não é uma Defesa: A robustez não é uma função da contagem de parâmetros; procedimentos de alinhamento específicos e famílias de modelos ditam a vulnerabilidade.
2. A Superfície de Ataque é Mais Ampla que o Texto: A superfície de injeção de prompt estende-se à representação do estado ambiental do robô. O envenenamento de contexto de LiDAR (Canal 3) permite que um atacante controle o system prompt sem modificar o código do robô ou o prompt do usuário, contornando totalmente os firewalls de mensagens do usuário.
3. Lacunas Semânticas vs. Sintáticas: Defesas baseadas em regras (Estágio 1) falham contra ofuscação de nível de caractere porque operam em tokens de superfície, enquanto os LLMs operam em embeddings de sub-palavras que podem reconstruir o significado a partir de caracteres fragmentados.

Os autores concluem que as defesas devem ser arquiteturais (aplicadas ao nível do pipeline antes que as entradas cheguem ao LLM) em vez de depender da melhoria da robustez do modelo. Eles enfatizam que seu trabalho é defensivo, visando caracterizar riscos para informar configurações padrão mais seguras (ex: habilitar autenticação SROS2) e motivar a segurança em nível de pipeline para sistemas de LLM incorporados.