💻 computer science

Not What You Asked For: Typographic Attacks in Household Robot Manipulation

Este artigo demonstra que ataques tipográficos a robôs domésticos que utilizam modelos de linguagem visual podem contornar o julgamento visual para causar falhas de manipulação com consequências físicas, alcançando uma taxa de sucesso de 67,8% em um ambiente simulado ao envenenar o mapa semântico do robô e levar à pega e transporte incorretos de objetos.

Autores originais: Ali Iranmanesh, Peng Liu

Publicado 2026-05-19

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Ali Iranmanesh, Peng Liu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um robô doméstico como um assistente prestativo, mas ligeiramente ingênuo. Ele possui duas maneiras principais de compreender o mundo:

Seus Olhos (Visão): Ele observa um objeto e diz: "Isso parece uma caneca de café."
Seu Cérebro (Linguagem): Ele escuta sua ordem: "Por favor, traga-me a caneca de café", e associa as palavras ao que vê.

Nos robôs modernos, esses dois sistemas estão colados juntos em um único "cérebro" (chamado de Modelo Visão-Linguagem). Isso é ótimo porque o robô pode entender milhares de coisas novas sem precisar ser re-treinado. No entanto, o artigo argumenta que essa cola cria uma brecha perigosa.

O Truque da "Etiqueta Mágica"

Os pesquisadores descobriram que, se você colar um pedaço de papel com as palavras "CANECA DE CAFÉ" impressas sobre um objeto completamente diferente — como uma torradeira, um sapato ou uma lâmpada — o cérebro do robô fica confuso.

Como as partes de "linguagem" e "visão" do robô estão tão intimamente ligadas, o robô para de observar a forma e a cor do objeto. Em vez disso, ele começa a ler o texto primeiro e olhar depois. Ele vê as palavras "CANECA DE CAFÉ" e decide imediatamente: "Ah, isso deve ser a caneca de café", ignorando completamente o fato de que, na verdade, é uma torradeira.

O Efeito Dominó: De um Olhar a um Agarre

O que torna isso perigoso não é apenas o fato de o robô pensar que a torradeira é uma caneca. É o que acontece a seguir.

O Mapa Envenenado: O robô não comete apenas um erro rápido; ele escreve esse erro em seu mapa mental 3D permanente da sala. É como se o robô rabiscasse "Isso é uma caneca" em um post-it e colasse na torradeira em sua memória.
A Confiança Cega: Mesmo que o robô se afaste e volte, ou se a etiqueta seja escondida da vista, ele ainda confia em seu mapa mental. Ele pensa: "Sei que há uma caneca bem ali", porque escreveu isso anteriormente.
A Falha Cinética: O robô então caminha fisicamente até lá, agarra a torradeira e tenta entregá-la a você ou colocá-la em um suporte para xícaras.

O artigo chama isso de "Falha Cinética". Não é apenas um erro de software onde o robô diz a coisa errada; é uma ação física onde o robô se compromete com o objeto errado e o carrega pela casa.

O Experimento: Como Eles Testaram

Os pesquisadores não puderam testar isso em robôs reais em lares reais (é muito caro e arriscado), então usaram uma simulação de videogame altamente realista chamada Habitat.

O Cenário: Eles pegaram um robô que já era bom em encontrar e pegar objetos.
O Ataque: Eles colocaram uma etiqueta impressa com o nome do objeto-alvo (por exemplo, "XÍCARA") sobre um objeto aleatório e próximo (um distrator).
O Resultado: De 59 cenários de teste específicos onde o robô já era capaz de realizar a tarefa, o truque da etiqueta enganou o robô 67,8% das vezes.

Nos casos mais bem-sucedidos, o robô não apenas pegou a coisa errada; ele navegou com sucesso até o objeto errado, pegou-o, carregou-o através da sala e tentou colocá-lo no local correto. O robô estava totalmente "comprometido" com o erro.

Por Que Isso Importa (De Acordo com o Artigo)

O artigo destaca que pesquisas anteriores analisaram como etiquetas enganam robôs a navegar para o lugar errado (como um drone voando para o telhado errado). Mas esta é a primeira vez que alguém demonstrou que etiquetas podem enganar um robô a pegar e mover fisicamente o item errado.

O perigo é que a "memória" do robô (o mapa 3D) mantém o veneno vivo. Mesmo que você remova a etiqueta, o robô ainda pode tentar pegar o objeto errado porque seu mapa interno está corrompido.

A Solução Proposta

Os autores sugerem que não podemos apenas consertar os "olhos" do robô para ignorar o texto. Em vez disso, precisamos mudar como o robô usa sua memória. Eles propõem três verificações de segurança:

Verificação Dupla: Não confie em um único olhar. Faça o robô observar o objeto de diferentes ângulos antes de escrevê-lo em sua memória permanente.
Identificar o Texto: Tenha um sistema secundário que diga: "Espere, há uma etiqueta neste objeto. Não confie na etiqueta ainda."
Verificação Final: Imediatamente antes de o robô realmente pegar o objeto, faça-o olhar para ele mais uma vez para garantir que ele não foi enganado.

Em resumo: Um pedaço de papel com palavras pode enganar um robô inteligente a pensar que uma torradeira é uma xícara, e o robô levará felizmente essa torradeira até o balcão da sua cozinha. O artigo prova que isso é um risco real e físico para futuros robôs domésticos.

Resumo Técnico: Ataques Tipográficos na Manipulação de Robôs Domésticos

Declaração do Problema
Agentes de IA corporificada de vocabulário aberto, particularmente aqueles que utilizam Modelos Visão-Linguagem (VLMs) como o CLIP, dependem de um espaço de incorporação compartilhado para alinhar características visuais e linguísticas. Embora isso permita flexibilidade na identificação de milhares de categorias de objetos sem retreinamento, introduz uma vulnerabilidade estrutural a ataques tipográficos. Nesses ataques, texto impresso em uma cena física substitui semanticamente o julgamento visual do modelo, fazendo com que o agente classifique erroneamente um objeto com base no texto em vez de sua aparência.

Embora pesquisas anteriores (por exemplo, SCAM, CHAI) tenham quantificado essa ameaça em benchmarks 2D estáticos e tarefas de navegação de alto nível (drones, veículos terrestres), o impacto na manipulação de robôs domésticos permanece inexplorado. Agentes de manipulação diferem criticamente dos agentes de navegação: uma classificação errada não é meramente uma decisão equivocada sobre para onde ir, mas uma decisão equivocada sobre o que agarrar. Em um pipeline de manipulação modular, um erro perceptual é escrito em um mapa semântico 3D persistente e propagado através de todo o loop Percepção-Planejamento-Ação. Isso resulta em uma falha cinética: o agente agarra fisicamente e transporta o objeto errado para um recipiente alvo, alterando irreversivelmente o estado do mundo dentro do episódio.

Metodologia
Os autores avaliam essa ameaça utilizando o ambiente de simulação Habitat e o benchmark HomeRobot. Para abordar os desafios específicos de avaliar ataques em agentes de manipulação, os autores introduzem uma arquitetura de percepção desacoplada:

Módulo OvmmPerception Modificado: O agente HomeRobot padrão utiliza DETIC tanto para propostas espaciais quanto para rotulagem semântica. O DETIC não é vulnerável a ataques tipográficos. Os autores mantêm o DETIC para fundamentação geométrica (caixas delimitadoras, máscaras, profundidade), mas introduzem um encoder CLIP congelado como um mecanismo de substituição paralelo e ativado por limiar para a classificação final do objeto.
Mecanismo de Ataque: Um adversário coloca um adesivo físico com o nome do objeto alvo (por exemplo, "copo") em um objeto distrator ao longo do caminho de navegação do agente. Se o adesivo entrar em um recorte de caixa delimitadora do DETIC e a pontuação de similaridade texto-imagem do CLIP exceder um limiar ( $\theta = 0,28$ ), o CLIP substitui o rótulo do DETIC.
Persistência: O rótulo mal classificado é escrito em um Mapa de Voxel Semântico 3D. Este mapa atua como um cache espacial; uma vez envenenado, o agente continua a navegar em direção e agarrar o alvo adversarial mesmo após o adesivo sair do campo de visão.
Pool de Avaliação: De um conjunto de validação de 1.199 episódios, os autores isolam 59 episódios atribuíveis. Estes são episódios onde o agente não atacado ou tem sucesso total ou falha apenas na etapa final de colocação. Essa filtragem garante que qualquer desvio observado durante o ataque seja inequivocamente causado pela perturbação tipográfica, e não por limitações pré-existentes do agente.

Principais Contribuições

Identificação de uma Nova Superfície de Ataque: O artigo formaliza a manipulação de robôs domésticos como um domínio inexplorado para ataques tipográficos, distinguindo-o da navegação pela propagação de erros em ações físicas de agarre.
Arquitetura de Referência: Os autores instanciam uma pilha de manipulação de vocabulário aberto representativa que espelha sistemas implantados (por exemplo, EmbCLIP, TidyBot), isolando a etapa de alinhamento visão-linguagem para permitir uma avaliação controlada de falhas cinéticas a jusante.
Falha Cinética Quantificada: O trabalho estabelece que a classificação errada tipográfica leva a "falhas cinéticas" onde o robô entrega fisicamente o objeto errado, um modo de falha não capturado em benchmarks anteriores apenas 2D ou de navegação.
Avaliação Controlada: O estudo fornece a primeira avaliação controlada de como falhas perceptuais confirmadas se propagam através de um pipeline completo de manipulação sob condições físicas não otimizadas (ângulos de visão não otimizados, oclusão).

Resultados
A avaliação foi conduzida em 59 episódios atribuíveis sem otimização perceptual dos adesivos:

Taxa de Sucesso do Ataque (ASR): O ataque alcançou uma ASR geral de 67,8% (40/59 episódios).
- Entre episódios totalmente bem-sucedidos ( $E^*_f$ ), a ASR foi de 70,0% (7/10).
- Entre episódios parcialmente bem-sucedidos ( $E^*_p$ ), a ASR foi de 67,3% (33/49).
Mecanismo: Em 92,5% dos ataques bem-sucedidos, o agente pegou o adesivo diretamente. Em 7,5%, o agente pegou um objeto à frente do adesivo porque o adesivo era visível no fundo do recorte do DETIC, desencadeando uma falha de classificação de fundo.
Persistência: Em 100% dos ataques bem-sucedidos, o agente executou o agarre com base em coordenadas armazenadas no mapa de voxel 3D envenenado, frequentemente retornando ao alvo após vagar pela cena, confirmando que uma única escrita envenenada contorna as margens de segurança subsequentes.
Modos de Falha: O ataque deslocou a distribuição de falhas. Enquanto o agente não atacado falhava principalmente durante a navegação do objeto (71,7%), as falhas induzidas pelo ataque concentraram-se na fase Place (Colocação). O ataque resultou em dois resultados distintos:
- Entrega Sequestrada: O agente completou com sucesso o ciclo completo, pegando e colocando o objeto errado (7 casos).
- Transporte Malicioso: O agente pegou o objeto errado e o transportou para o recipiente, falhando apenas na etapa final de colocação (33 casos).

Significado e Alegações
O artigo afirma estabelecer que a classificação errada tipográfica é uma ameaça real, mensurável e com consequências físicas para a segurança de pipelines de manipulação modular. O significado reside em demonstrar que um adversário físico de baixo recurso (requerendo apenas uma impressora e acesso breve) pode envenenar a memória espacial do agente para induzir falhas cinéticas.

Os autores enfatizam que essa vulnerabilidade é estrutural ao paradigma de incorporação conjunta visão-linguagem (afetando o CLIP e sucessores como SigLIP). Eles argumentam que, embora defesas no nível do encoder (por exemplo, Dyslexify, Defense-Prefix) possam reduzir as taxas de classificação errada, elas não abordam a condição arquitetônica onde uma única entrada envenenada em um mapa persistente compromete o agente a uma ação errada. Consequentemente, o artigo defende mitigações arquitetônicas que tratem as saídas de classificadores VLA como entradas não confiáveis, exigindo validação multiestágio (por exemplo, confirmação multi-visão, reconsulta no momento do agarre) antes do compromisso cinético.