CIVA: Critic-Induced Value-Subspace Attacks on Visual World-Model Agents

No mundo da inteligência artificial, que evolui rapidamente, surgiu uma nova geração de sistemas de tomada de decisão que aprende a agir ao imaginar o futuro. Ao contrário dos programas mais antigos, que simplesmente reagem à imagem que veem neste exato momento, esses agentes avançados constroem um modelo mental interno de seu ambiente. Eles pegam uma sequência de entradas visuais, como um feed de vídeo de uma câmera, e as comprimem em um estado oculto e abstrato que lembra o que aconteceu e prevê o que virá a seguir. Esse estado interno permite que eles planejem vários passos à frente, tal como um motorista humano antecipando uma curva na estrada antes de alcançá-la. À medida que esses sistemas migram dos videogames para a robótica do mundo real e tarefas de segurança crítica, compreender como interrompê-los tornou-se uma questão vital. Se um agente depende de um fluxo contínuo de previsões internas, um pequeno erro momentâneo no feed da câmera importa, ou a memória do agente irá suavizá-lo? Este é o enigma central que os pesquisadores estão agora tentando resolver.

Uma equipe de cientistas descobriu que a maneira de quebrar esses agentes de "modelo de mundo" não é atacando cada quadro de vídeo com ruído aleatório, mas sim encontrando uma direção específica e oculta nos dados visuais para a qual o próprio cérebro do agente é mais sensível. Em um estudo focado em agentes treinados para caminhar, jogar pingue-pongue e sobreviver em ambientes abertos, os pesquisadores descobriram que esses sistemas são surpreendentemente frágeis quando atacados de uma forma muito específica. Eles desenvolveram um método chamado CIVA, que significa Critic-Induced Value-Subspace Attacks (Ataques de Subespaço de Valor Induzidos pelo Crítico). A ideia central é que esses agentes possuem um "marcador de pontos" integrado que estima constantemente quão bom será o seu futuro. Ao estudar como esse marcador reage a pequenas mudanças, os pesquisadores descobriram que a maneira mais eficaz de reduzir a pontuação do agente é empurrar os dados visuais ao longo de um caminho muito estreito e de baixa dimensão. Este caminho não é aleatório; é um conjunto específico de direções no espaço da imagem que a própria lógica interna do agente revelou como sendo críticas para sua tomada de decisão.

Os pesquisadores testaram essa abordagem contra um agente sofisticado conhecido como DreamerV3, que foi treinado para realizar tarefas complexas como caminhar sobre duas pernas ou jogar uma partida de Pong. Eles estabeleceram um cenário onde um atacante poderia apenas ajustar a imagem atual que o agente vê, com um limite estrito de quanto os pixels poderiam ser alterados para garantir que a perturbação permanecesse invisível ao olho humano. Tentativas anteriores de hackear tais sistemas frequentemente tratavam cada quadro de vídeo como um alvo independente, adicionando ruído a cada imagem na sequência. No entanto, os pesquisadores descobriram que essa abordagem falha contra agentes de modelo de mundo. Como o agente lembra dos quadros passados e os funde em seu estado interno, surtos isolados de ruído são lavados e esquecidos. A memória do agente atua como um filtro, diluindo o impacto de ataques aleatórios quadro a quadro.

Para superar isso, os pesquisadores primeiro realizaram uma série de experimentos offline onde sondaram o "marcador de pontos" interno do agente para ver quais pequenas mudanças na imagem causavam a maior queda na pontuação futura prevista. Eles coletaram milhares dessas mudanças eficazes e usaram uma técnica matemática para encontrar o fio condutor entre elas. Descobriram que todas as mudanças mais prejudiciais estavam concentradas em um subespaço minúsculo e de baixa dimensão. Imagine uma sala vasta e multidimensional onde cada maneira possível de alterar uma imagem é uma direção diferente; os pesquisadores descobriram que a fraqueza do agente não estava espalhada por toda a sala, mas estava, na verdade, confinada a um corredor único e estreito dentro dela. Uma vez que identificaram esse corredor, pararam de tentar pesquisar a sala inteira. Em vez disso, restringiram seus ataques para se moverem apenas dentro desse caminho estreito.

Na etapa final de seu método, os pesquisadores aplicaram essa descoberta em tempo real. Enquanto o agente jogava, o atacante calculava o melhor movimento dentro daquele corredor estreito e, então, suavizava as mudanças ao longo do tempo. Essa suavização era crucial. Ela garantia que a perturbação não oscilasse ou tremesse de um quadro para o outro, o que seria facilmente perceptível e computacionalmente caro. Ao manter o ataque constante e alinhado com a própria lógica interna do agente, os pesquisadores foram capazes de enganar consistentemente o agente para que ele tomasse decisões ruins. Os resultados foram impressionantes. Na tarefa de caminhada, o desempenho do agente caiu mais de 26 por cento, uma taxa de falha significativamente maior do que qualquer outro método testado. No jogo Pong, a queda foi ainda mais dramática, com a pontuação do agente caindo quase 86 por cento.

Talvez o mais importante seja que os pesquisadores mostraram que seu método não era apenas eficaz, mas também eficiente e sutil. Como o ataque era confinado a um pequeno número de direções, exigia muito menos poder computacional do que métodos anteriores que tentavam calcular mudanças para cada pixel em cada quadro. As mudanças visuais permaneceram tão sutis que eram quase indistinguíveis do vídeo original para um observador humano, mas desorientaram completamente a capacidade do agente de funcionar. O estudo também descartou a ideia de que simplesmente tornar o ataque suave ou usar padrões aleatórios fosse suficiente. Quando tentaram usar um conjunto de direções aleatórias em vez daquela encontrada pelo próprio marcador de pontos do agente, o ataque falhou quase totalmente. Isso confirmou que a chave para o sucesso não era apenas a matemática do ataque, mas o fato de que ele era adaptado à estrutura interna específica do agente vítima.

As descobertas sugerem que a maneira como pensamos sobre atacar sistemas inteligentes precisa mudar. Para agentes que dependem de memória e modelos internos, as vulnerabilidades mais perigosas não estão nas imagens individuais que eles veem, mas nas formas específicas como essas imagens são processadas ao longo do tempo. Os pesquisadores demonstraram que, ao ouvir os próprios sinais internos do agente, pode-se encontrar um atalho para o seu fracasso. Isso não significa que esses sistemas estejam quebrados, mas sim que sua força — usar um estado interno contínuo para tomar decisões — também cria um ponto de fraqueza único e estreito. À medida que essas tecnologias se aproximam da implementação no mundo real, compreender essa geometria do fracasso será essencial para construir defesas que possam protegê-las de tais interrupções inteligentes e direcionadas. O trabalho serve como um lembrete claro de que, no mundo da inteligência artificial, os ataques mais eficazes são frequentemente aqueles que entendem a mente da máquina melhor do que a própria máquina entende a si mesma.