Toward Metacognitive One-Shot Indirect Prompt Injection: Strategy Abstraction Via Outcome-Conditioned Reflection

Imagine que você está ensinando um robô mordomo a cozinhar. Você lhe dá uma receita, mas o robô também precisa ler as notícias, verificar a previsão do tempo e ouvir relatórios de rádio enquanto trabalha. É assim que os agentes de IA modernos funcionam: eles usam "ferramentas" para interagir com o mundo real, como navegar na web ou consultar bancos de dados. Mas aqui está o detalhe: se um hacker sorrateiro esconder uma nota secreta dentro de uma dessas notícias ou relatórios de rádio, o robô pode ficar confuso. Em vez de terminar a receita, ele pode subitamente decidir deletar seus arquivos ou enviar dinheiro para um estranho. Esse truque é chamado de "Injeção de Prompt Indireta". É como um mágico deslizando uma instrução falsa no bolso de um espectador; o robô a lê, pensa que faz parte do espetáculo e segue as ordens erradas.

Por muito tempo, hackers tentando enganar esses robôs tinham que jogar um jogo de "adivinhar e testar". Eles tentariam um truque, veriam se o robô caía nele e, então, ajustariam o truque com base no que o robô fez. Mas no mundo real, um hacker muitas vezes tem apenas uma chance de deslizar uma nota no caminho do robô. Eles não podem esperar para ver como o robô reagiu; eles têm que acertar de primeira. A grande questão que os pesquisadores fizeram foi: um hacker pode aprender com falhas e sucessos passados para criar um "truque mestre" que funcione em um robô inédito que ele nunca conheceu, usando apenas uma tentativa?

Apresentamos o SAVOR, um novo método que age como um mestre cuca aprendendo com uma biblioteca de desastres e triunfos culinários. Em vez de tentar enganar um robô específico em tempo real, o SAVOR passa tempo offline, estudando milhares de tentativas passadas onde hackers tentaram sequestrar diferentes robôs. Ele observa o que funcionou e, mais importante, o que não funcionou. Ele se pergunta: "Por que esse truque falhou?" e "Por que este teve sucesso?". Ao refletir sobre esses resultados, o SAVOR destila os detalhes bagunçados de truques específicos em algumas regras de ouro, ou "estratégias". É como um aluno que para de memorizar problemas matemáticos específicos e passa a aprender a lógica subjacente da álgebra.

Depois que o SAVOR constrói esta "biblioteca de estratégias", ele a congela. Quando enfrenta um robô novo e inédito, ele não precisa pedir ajuda ou tentar novamente. Ele simplesmente puxa a melhor estratégia de sua biblioteca congelada, elabora uma única e perfeita nota maliciosa e a desliza para dentro. O artigo mostra que essa abordagem é incrivelmente eficaz. Nos testes, o SAVOR teve sucesso em enganar robôs com muito mais frequência do que métodos anteriores, mesmo quando os robôs tinham defesas fortes ou eram completamente diferentes dos que o SAVOR treinou. Ele não funcionou apenas em testes simulados; ele também funcionou em um ambiente mais realista onde o robô realmente tinha que realizar ações, provando que esses truques de "tentativa única" podem realmente mudar o comportamento de um robô. Os pesquisadores descobriram que o SAVOR podia aprender com um conjunto de ferramentas e atacar com sucesso um conjunto de ferramentas totalmente diferente, essencialmente transferindo sua "intuição de hacker" para novas situações sem precisar de uma segunda chance.