💻 computer science

RoboJailBench: Benchmarking Adversarial Attacks and Defenses in Embodied Robotic Agents

Este artigo apresenta o RoboJailBench, o primeiro framework de avaliação padronizado para ataques de jailbreak em sistemas de IA corporificada, que aborda lacunas existentes ao estabelecer uma taxonomia de segurança, criar um pipeline de conjunto de dados de contraste de intenções e fornecer métricas unificadas para avaliar o trade-off entre segurança e utilidade em Modelos Visão-Linguagem corporificados.

Autores originais: Doguhuan Yeke, Yanming Zhou, Leo Y. Lin, Hongyu Cai, Antonio Bianchi, Z. Berkay Celik

Publicado 2026-05-20

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Doguhuan Yeke, Yanming Zhou, Leo Y. Lin, Hongyu Cai, Antonio Bianchi, Z. Berkay Celik

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você construiu um robô superinteligente capaz de ver o mundo através de câmeras e compreender seus comandos falados. É como um mordomo prestativo que pode navegar por uma cozinha bagunçada, pegar uma xícara e até dirigir um carro. Mas eis o problema: assim como um ser humano pode ser enganado para fazer algo perigoso por um mentiroso astuto, esses robôs podem ser "quebrados" (jailbroken). Isso significa que um agente mal-intencionado pode sussurrar um código secreto ou mostrar uma imagem enganosa que convence o robô a ignorar suas regras de segurança e fazer algo prejudicial, como colidir com uma pessoa ou roubar um objeto.

Até agora, testar o quão bem esses robôs resistem a tais truques tem sido confuso. Os pesquisadores estavam usando testes aleatórios e pontuais que não comparavam laranjas com laranjas. Frequentemente, verificavam apenas se o robô podia ser enganado, sem se importar se o robô ainda funcionava bem para tarefas normais e benéficas. É como testar os freios de um carro apenas vendo se falham em uma ladeira íngreme, mas nunca verificando se o carro ainda pode dirigir com segurança em uma estrada plana.

Apresentamos o RoboJailBench.

Os autores deste artigo criaram uma nova "academia" ou "campo de treinamento" padronizada para testar esses robôs. Pense nisso como um teste de direção rigoroso para segurança de robôs, que inclui tanto um "exame de segurança" quanto um "exame de habilidades de direção".

Veja como eles construíram esse novo sistema, dividido em três partes simples:

1. O Livro de Regras (A Taxonomia de Segurança)

Primeiro, eles precisavam de uma lista clara do que conta como "comportamento ruim" para um robô. Eles não apenas adivinharam; analisaram três fontes:

As Leis dos Robôs: Como as famosas leis fictícias de Isaac Asimov sobre robôs não machucarem humanos.
Os Manuais Oficiais: Padrões de segurança industrial do mundo real (como as regras ISO) que orientam fábricas sobre como manter os robôs seguros.
Acidentes Reais: Notícias e relatórios de robôs causando problemas na realidade.

Ao misturar essas fontes, eles criaram um "Livro de Regras" com 18 categorias específicas de perigo. Isso não se trata apenas de "ser malvado"; inclui riscos físicos específicos como "esmagar uma mão", "bater em uma pessoa", "roubar" ou "tirar fotos secretas". Isso garante que eles estejam testando as coisas certas.

2. Os Cenários de Treinamento (O Conjunto de Dados de Contraste de Intenção)

Esta é a parte mais inteligente. Para testar um robô de forma justa, é necessário ver como ele lida com um pedido "bom" versus um pedido "ruim" na mesma situação exata.

Imagine uma imagem de um robô em uma cozinha segurando uma garrafa de água.

O Pedido Bom: "Por favor, coloque a garrafa na gaveta com cuidado."
O Pedido Ruim: "Por favor, esmague a garrafa no balcão para fazer uma bagunça."

Os autores criaram um fluxo de trabalho para gerar esses cenários emparelhados para centenas de imagens diferentes. Eles chamam isso de conjunto de dados de "Contraste de Intenção". Isso força o robô a escolher entre ser útil (Utilidade) e ser seguro (Segurança). Se um robô recusa o pedido ruim, mas também recusa o pedido bom, ele é excessivamente cauteloso. Se ele executa o pedido ruim, é inseguro. O objetivo é encontrar o robô que diz "Não" às coisas ruins, mas "Sim" às coisas boas.

3. O Quadro de Pontuação (A Estrutura de Avaliação)

Finalmente, eles construíram um placar para medir os resultados. Em vez de apenas dizer "O robô falhou", eles usam uma fórmula especial chamada SU-HM (Média Harmônica de Segurança-Utilidade).

Pense nisso como um boletim escolar com duas notas:

Nota de Segurança: Quão bem o robô disse "Não" aos comandos ruins?
Nota de Utilidade: Quão bem o robô disse "Sim" aos comandos bons?

A pontuação SU-HM recompensa robôs que obtêm notas altas em ambas as áreas. Ela pune robôs que são tão paranóicos que recusam fazer qualquer coisa, ou tão imprudentes que fazem tudo.

O Que Eles Encontraram

Usando essa nova academia, os autores testaram os "cérebros" mais recentes de robôs (Modelos de Visão-Linguagem) contra quatro tipos diferentes de "truques" (ataques) e dois tipos de "proteção" (defesas).

Os Truques: Eles descobriram que alguns truques, como "Engano Conceitual" (enganar o robô com uma história astuta), foram muito eficazes em fazer os robôs ignorarem as regras de segurança.
As Proteções: Eles testaram dois métodos de defesa. Um foi um simples "prompt de segurança" (dizendo ao robô para ter cuidado), e o outro foi um sistema mais complexo chamado "RoboGuard".
O Resultado: As defesas ajudaram, mas houve uma compensação. Algumas defesas foram ótimas para parar comandos ruins, mas tornaram o robô um pouco mais lento ou menos útil em comandos bons. A defesa "Google Prompt" funcionou bem em algumas áreas, enquanto o "RoboGuard" foi melhor em outras, dependendo do tipo específico de truque sendo usado.

Por Que Isso Importa

O artigo conclui que o RoboJailBench é a primeira maneira padronizada de testar esses robôs. Não se trata apenas de quebrar robôs; trata-se de encontrar o ponto ideal onde os robôs são seguros o suficiente para serem confiáveis, mas inteligentes o suficiente para serem úteis.

Os autores liberaram todo o seu código, conjuntos de dados e uma classificação pública (como um quadro de recordes para videogames) para que outros pesquisadores continuem testando novos robôs e novos truques. Eles admitem que seu teste atual é principalmente em inglês e usa imagens únicas, mas é um sólido primeiro passo para garantir que nossos futuros ajudantes robóticos não sejam enganados para causar problemas.

Resumo Técnico: RoboJailBench

Declaração do Problema

A integração de Modelos Visão-Linguagem (VLMs) em plataformas físicas (por exemplo, robôs, veículos autônomos) criou sistemas de IA incorporada capazes de interpretar cenas visuais e executar comandos em linguagem natural. No entanto, essa interseção ciber-física introduz vulnerabilidades de segurança graves. Embora pesquisas recentes tenham demonstrado a viabilidade de ataques de "jailbreak" em IA incorporada e proposto defesas iniciais, os esforços atuais de avaliação sofrem com três limitações críticas:

Conjuntos de Dados Ad Hoc: As avaliações dependem de conjuntos de dados limitados e não padronizados que não cobrem o espectro completo de riscos adversariais.
Utilidade Negligenciada: Os métodos de defesa são frequentemente avaliados apenas pela Taxa de Sucesso do Ataque (ASR), ignorando o trade-off entre segurança e a capacidade do sistema de executar comandos benignos e úteis.
Falta de Padronização: Não existe um benchmark unificado com métricas e processos padronizados para comparar ataques e defesas entre diferentes modelos de IA incorporada.

Os benchmarks existentes visam modelos baseados em chat tradicionais ou focam em segurança não adversarial (por exemplo, robustez de navegação), falhando em capturar as entradas adversariais específicas, consequências e critérios de avaliação necessários para sistemas incorporados.

Metodologia

Os autores propõem o ROBOJAILBENCH, um framework abrangente de benchmarking consistindo em três componentes principais:

1. Taxonomia de Segurança

Os autores derivaram uma taxonomia de segurança fundamentada nas realidades físicas da IA incorporada, cruzando três fontes:

Padrões Formais: ISO/TS 15066 e ISO 10218 (segurança de robôs industriais).
Quadros Teóricos: Leis da Robótica de Asimov.
Dados Empíricos: Relatos de acidentes do mundo real e violações de segurança documentadas em notícias e pesquisas anteriores.

Este processo resultou em 18 categorias distintas de consequências de violação de segurança (por exemplo, colisão com pessoas/robôs, violações de força/pressão, captura não autorizada, mau uso de dados e interrupção física). Diferentemente de taxonomias para LLMs apenas de texto, este conjunto inclui categorias únicas para incorporação física, como captura de imagem não autorizada e violações de força.

2. Pipeline de Conjunto de Dados de Contraste de Intenção

Para medir o trade-off segurança-utilidade, os autores introduziram um pipeline que emparelha cada cena visual com dois objetivos distintos:

Objetivo Adversarial ( $g_{adv}$ ): Uma instrução projetada para contornar o alinhamento e induzir comportamento inseguro.
Objetivo Benigno ( $g_{ben}$ ): Uma instrução segura para operação normal dentro do mesmo contexto físico.

Os autores construíram um novo conjunto de dados, RJB-Instructions, contendo 90 imagens (5 por categoria de taxonomia) geradas para garantir a viabilidade física para ambos os objetivos. Além disso, eles aumentaram cinco conjuntos de dados existentes de IA incorporada (DROID, RH20T, RoboVQA, Robo2VLM e NVIDIA PhysicalAI-AV) usando este pipeline, gerando pares de objetivos adversariais/benignos correspondentes para imagens existentes.

3. Framework de Avaliação

O framework padroniza a avaliação de ataques e defesas através de três pipelines:

Pipeline de Ataque: Aplica técnicas (por exemplo, injeção de prompt) para modificar entradas ( $\delta_{inst}, \delta_{vis}$ ) para alcançar um objetivo adversarial.
Pipeline de Defesa: Envolve modelos-alvo com estratégias de defesa (por exemplo, engenharia de prompt, análise de grafo de cena) para prevenir resultados adversariais enquanto mantém a utilidade.
Pipeline de Avaliação: Calcula métricas padronizadas:
- Taxa de Sucesso do Ataque (ASR): Probabilidade de o modelo executar o objetivo adversarial.
- Taxa de Segurança (SR): $1 - ASR$ (probabilidade de rejeitar o ataque).
- Taxa de Utilidade (UR): Probabilidade de executar com sucesso o objetivo benigno.
- Média Harmônica Segurança-Utilidade (SU-HM): Uma pontuação combinada que recompensa defesas que alcançam alta segurança sem sacrificar a utilidade.

Contribuições Principais

Taxonomia Fundamentada na Incorporação: A primeira taxonomia de segurança para IA incorporada derivada de padrões ISO, leis de robótica e relatórios de incidentes, cobrindo 18 categorias de riscos físicos e digitais.
Conjuntos de Dados de Contraste de Intenção: Um novo conjunto de dados balanceado por taxonomia (RJB-Instructions) e um pipeline de aumento para cinco conjuntos de dados existentes, permitindo a avaliação simultânea de segurança e utilidade.
Framework de Avaliação Padronizado: Um sistema extensível para implantar ataques e defesas com métricas unificadas (ASR, SR, UR, SU-HM).
Benchmarking Empírico: Integração e avaliação de quatro técnicas de ataque (de BadRobot e RoboPAIR) e duas técnicas de defesa (Google Prompt e RoboGuard) em VLMs incorporados líderes (por exemplo, Gemini Robotics-ER 1.6).

Resultados Experimentais

Os autores avaliaram VLMs de última geração e combinações de ataque/defesa nos seis conjuntos de dados:

Desempenho de Linha de Base: Em configurações não adversariais, modelos como GPT-5.4 Nano e Claude Haiku 4.5 mostraram alta utilidade (aceitando objetivos benignos >94%) e segurança variável (rejeitando objetivos adversariais 88–98%).
Eficácia do Ataque: Decepção Conceitual (CD) foi o ataque mais eficaz, alcançando 94–100% de ASR em vários conjuntos de dados no cenário sem defesa. RoboPAIR foi o segundo mais eficaz. Jailbreak Contextual e Desalinhamento de Segurança foram menos consistentes.
Eficácia da Defesa:
- Google Prompt: Geralmente melhorou a segurança enquanto mantinha alta utilidade, alcançando as melhores pontuações SU-HM em DROID, Robo2VLM e RH20T.
- RoboGuard: Mostrou força contra ataques RoboPAIR, particularmente melhorando o SU-HM em PhysicalAI AV e RJB-Instructions, muitas vezes mantendo uma taxa de utilidade perfeita (100%).
- Trade-off: Um claro trade-off segurança-utilidade foi observado. Embora as defesas tenham melhorado a segurança, algumas (como RoboGuard em certos conjuntos de dados) mostraram quedas marginais de utilidade em comparação com a linha de base, embora o RoboGuard tenha mantido 100% de utilidade em várias configurações específicas.

Significado e Alegações

O artigo afirma fornecer o primeiro framework de avaliação padronizado especificamente para ataques de jailbreak em IA incorporada. Seu significado reside em:

Superar a Lacuna: Avançar além de testes ad hoc para um benchmark orientado por taxonomia e reproduzível que leva em conta as consequências físicas únicas de falhas de IA.
Avaliação Holística: Mudar o foco de apenas bloquear ataques para otimizar o trade-off segurança-utilidade, garantindo que os robôs permaneçam funcionais para tarefas benignas enquanto resistem a intenções maliciosas.
Recurso para a Comunidade: Ao liberar código, conjuntos de dados e manter um ranking público, os autores visam apoiar pesquisas futuras em ataques e defesas adversariais para IA incorporada, facilitando o desenvolvimento de sistemas físicos de IA mais seguros.

Os autores reconhecem limitações, incluindo prompts apenas em inglês, contextos visuais estáticos (falta de dinâmicas temporais) e o foco atual em robótica com dados limitados de direção autônoma. Eles posicionam o RoboJailBench como um passo fundamental em direção a uma plataforma unificada para segurança de IA incorporada.