Toward Metacognitive One-Shot Indirect Prompt Injection: Strategy Abstraction Via Outcome-Conditioned Reflection

Imaginez que vous enseigniez à un robot majordome comment cuisiner. Vous lui donnez une recette, mais le robot doit aussi lire les actualités, vérifier la météo et écouter des rapports radio pendant qu'il travaille. C'est ainsi que fonctionnent les agents d'IA modernes : ils utilisent des « outils » pour interagir avec le monde réel, comme naviguer sur le Web ou consulter des bases de données. Mais voici le piège : si un pirate sournois cache une note secrète à l'intérieur de l'un de ces articles de presse ou de ces rapports radio, le robot pourrait être confus. Au lieu de finir la recette, il pourrait soudainement décider de supprimer vos fichiers ou d'envoyer de l'argent à un inconnu. Ce tour est appelé « injection de prompt indirecte ». C'est comme un magicien qui glisse une instruction truquée dans la poche d'un spectateur ; le robot la lit, pense qu'elle fait partie du spectacle, et suit les mauvais ordres.

Pendant longtemps, les hackers essayant de piéger ces robots devaient jouer à un jeu de « tâtonnements ». Ils essayaient une ruse, regardaient si le robot tombait dans le panneau, puis ajustaient leur ruse en fonction de la réaction du robot. Mais dans le monde réel, un hacker n'a souvent qu'une seule chance de glisser une note sur le chemin du robot. Il ne peut pas attendre de voir comment le robot a réagi ; il doit réussir du premier coup. La grande question que les chercheurs se sont posée est la suivante : un hacker peut-il apprendre de ses échecs et de ses succès passés pour créer un « tour de maître » qui fonctionne sur un tout nouveau robot qu'il n'a jamais rencontré, en utilisant un seul essai ?

Entrez en scène SAVOR, une nouvelle méthode qui agit comme un chef étoilé apprenant à partir d'une bibliothèque de désastres et de triomphes culinaires. Au lieu d'essayer de piéger un robot spécifique en temps réel, SAVOR passe du temps hors ligne, étudiant des milliers de tentatives passées où des hackers ont essayé de détourner différents robots. Il observe ce qui a fonctionné et, plus important encore, ce qui n'a pas fonctionné. Il se demande : « Pourquoi cette ruse a-t-elle échoué ? » et « Pourquoi celle-ci a-t-elle réussi ? ». En réfléchissant à ces résultats, SAVOR distille les détails désordonnés de ruses spécifiques en quelques règles d'or, ou « stratégies ». C'est comme un étudiant qui cesse d'apprendre par cœur des problèmes de mathématiques spécifiques pour apprendre plutôt la logique sous-jacente de l'algèbre.

Une fois que SAVOR a construit cette « bibliothèque de stratégies », il la fige. Lorsqu'il est confronté à un tout nouveau robot, inconnu, il n'a pas besoin de demander de l'aide ou de réessayer. Il tire simplement la meilleure stratégie de sa bibliothèque figée, conçoit une note malveillante unique et parfaite, et la glisse discrètement. L'article montre que cette approche est incroyablement efficace. Lors des tests, SAVOR a réussi à piéger les robots bien plus souvent que les méthodes précédentes, même lorsque les robots possédaient des défenses solides ou étaient totalement différents de ceux sur lesquels SAVOR s'était entraîné. Cela n'a pas seulement fonctionné dans des tests simulés ; cela a également fonctionné dans un environnement plus réaliste où le robot devait réellement effectuer des actions, prouant que ces ruses en « un coup » peuvent réellement changer le comportement d'un robot. Les chercheurs ont découvert que SAVOR pouvait apprendre à partir d'un ensemble d'outils et réussir à attaquer un ensemble d'outils totalement différent, transférant essentiellement son « intuition de hacker » à de nouvelles situations sans avoir besoin d'une seconde chance.