ProbGuard: Calibrated Safety Risk Estimation from LLM Output Distributions

Imaginez que vous regardez un spectacle de magie où le magicien est un robot super intelligent capable d'écrire des histoires, de résoudre des problèmes mathématiques ou même de discuter comme un ami. Ce robot est appelé un Grand Modèle de Langage (LLM). Il est incroyablement talentueux, mais comme tout outil puissant, il a un côté sombre : parfois, on peut le piéger pour qu'il dise quelque chose de dangereux, de méchant ou d'illégal, comme comment fabriquer une bombe ou blesser quelqu'un. C'est une grande inquiétude pour toute personne utilisant ces robots dans le monde réel.

Pour empêcher le robot de divulguer de mauvaises idées, nous mettons généralement en place un « garde-fou ». Imaginez le garde-fou comme un videur strict à l'entrée d'un club. Par le passé, ce videur ne regardait que la phrase terminée que le robot écrivait. Si la phrase semblait mauvaise, le videur la rejetait. Mais il y avait un problème : le videur était trop lent. Au moment où le robot finissait sa phrase entière, le mal était déjà fait. De plus, le videur était un peu trop binaire. Il ne comprenait pas que le robot était incertain de ce qu'il allait dire ensuite. C'était comme si le videur ne vérifiait que le billet final, ignorant les tremblements nerveux des mains du robot pendant qu'il décidait encore de quoi parler.

C'est là qu'intervient une nouvelle idée appelée ProbGuard. Au lieu d'attendre que le robot finisse sa phrase, ProbGuard agit comme un détective super observateur qui surveille le processus de pensée du robot pendant qu'il se déroule. Il ne se contente pas de regarder les mots que le robot a déjà tapés ; il regarde le « pressentiment » du robot sur ce qu'il pourrait dire ensuite. Il calcule la probabilité que le robot déraille. Si le détective voit que le robot a 90 % de chances de dire quelque chose de dangereux dans les prochaines secondes, ProbGuard appuie immédiatement sur le frein d'urgence, stoppant le robot avant même qu'il ne finisse sa phrase. C'est comme voir une voiture dévier de sa trajectoire et l'arrêter avant qu'elle ne s'écrase, plutôt que d'attendre l'accident pour appeler la police.

Le Problème des Anciens Garde-fous

Le document explique que l'ancienne méthode est comme un jeu de « Devine le mot » où vous ne voyez que la réponse finale. La plupart des systèmes de sécurité actuels fonctionnent comme un simple classificateur : ils prennent une phrase terminée et disent : « Sûre » ou « Dangereuse ».

Les auteurs soutiennent que cela présente deux gros défauts :

1. C'est trop tard : Au moment où la phrase est terminée, il est trop tard pour arrêter la mauvaise sortie.
2. Cela ignore le « peut-être » : La sécurité n'est pas toujours une question de oui ou non, surtout quand le robot est encore en train de réfléchir. Un robot peut commencer une phrase qui semble innocente mais qui pourrait facilement devenir dangereuse. Les anciens systèmes ignorent l'« incertitude » interne du robot et regardent simplement le texte final. Ils ignorent le fait que le robot hésitait ou envisageait de nombreux chemins différents, certains sûrs et d'autres dangereux.

Comment fonctionne ProbGuard : L'approche de la boule de cristal

ProbGuard change la donne en traitant la sécurité comme une probabilité, et non comme une simple étiquette. Imaginez que le robot se trouve à un carrefour. Les anciens garde-fous attendent que le robot choisisse un chemin et le suive pour voir s'il mène à une falaise. ProbGuard, cependant, regarde la carte que le robot tient pendant qu'il se tient là.

Voici le tour de magie étape par étape utilisé par ProbGuard :

1. La simulation du « Et si ? » (Échantillonnage de Monte Carlo)
Pour savoir à quel point la pensée actuelle d'un robot est dangereuse, ProbGuard pose une question simple : « Si nous laissons ce robot continuer à parler à partir de ce moment précis, quelles sont les chances qu'il dise quelque chose de mal ? »
Comme nous ne pouvons pas prédire l'avenir parfaitement, ProbGuard joue la scène des milliers de fois dans sa tête. Il simule le robot terminant la phrase de 16 manières différentes (comme lancer un dé 16 fois pour voir les probabilités). Si, sur 16 fois, le robot dit quelque chose de sûr, mais qu'une seule fois il dit quelque chose de dangereux, ProbGuard sait qu'il y a un petit risque. Si, sur 16 fois, il dit quelque chose de mauvais, le risque est élevé. Cela lui donne un « score de danger » précis (un nombre entre 0 et 1) au lieu d'une simple étiquette « Sûr/Dangereux ».

2. Lire le « Fantôme » du mot suivant
Lorsqu'un robot génère du texte, il ne choisit pas seulement un mot ; il calcule la probabilité de chaque mot possible qu'il pourrait dire ensuite. Par exemple, si le robot est sur le point de dire « Le ciel est... », il peut penser : « Bleu » (30 % de chances), « Vert » (5 % de chances), « En feu » (2 % de chances).
Les anciens systèmes ne regardent généralement que le mot « Bleu » car il a la probabilité la plus élevée. ProbGuard, cependant, regarde la liste entière des possibilités. Il voit que « En feu » a une infime chance, mais si cette petite chance mène à un désastre, cela compte. ProbGuard transforme toute cette liste de probabilités en un code spécial (une « représentation pondérée par la probabilité ») qu'il peut lire sans avoir besoin de regarder à l'intérieur du cerveau secret du robot (ses états cachés). Cela permet à ProbGuard de fonctionner avec n'importe quel type de robot, et pas seulement une marque spécifique.

3. L'arrêt précoce
Une fois que ProbGuard a calculé le score de danger, il peut agir immédiatement. Le document montre que ProbGuard peut observer seulement les 10 premiers mots (ou étapes de décodage) que le robot tape et décider s'il va être dangereux. Si le score de danger est trop élevé, ProbGuard arrête le robot pile à cet instant.

Ce que disent les chiffres

Les chercheurs ont testé ProbGuard contre 13 autres méthodes de sécurité, y compris les meilleurs garde-fous actuels comme Llama-Guard3 et ShieldGemma. Ils ont utilisé trois types différents de robots et trois ensembles de questions dangereuses pour voir qui était le meilleur pour prédire les problèmes.

• Calibration : C'est un mot savant pour dire « à quel point le robot est honnête sur son propre risque ». Si ProbGuard dit qu'il y a 90 % de chances de danger, est-ce que cela arrive réellement 90 % du temps ? Le document a trouvé que ProbGuard était bien plus performant à ce niveau que tous les autres. Il a réduit l'erreur dans ses prédictions de risque d'environ 79,6 % par rapport à la meilleure méthode précédente.
• Arrêt des attaques : L'équipe a essayé de piéger les robots en utilisant six différentes techniques de « jailbreak » (des astuces spéciales pour faire ignorer les règles de sécurité aux robots). ProbGuard a été incroyablement efficace. Après avoir vu seulement les 10 premiers mots, il a stoppé les attaques presque totalement, limitant le taux de réussite de ces astuces à au plus 1 %. En comparaison, le meilleur ancien garde-fou a laissé environ 2,4 % des attaques réussir.
• Vitesse : ProbGuard est également rapide. Il peut vérifier 1 000 échantillons en environ 36,4 secondes, ce qui est environ 52,7 % plus rapide que certains des autres systèmes de sécurité très lourds.

L'essentiel

Le document conclut que ProbGuard est une avancée majeure car il ne traite plus la sécurité comme une simple liste de contrôle « oui ou non ». Au lieu de cela, il traite la sécurité comme une probabilité fluide et changeante qui peut être mesurée et gérée pendant que le robot réfléchit.

En utilisant les propres « pressentiments » du robot (sa distribution de sortie) et en simulant de nombreux futurs possibles, ProbGuard peut attraper les idées dangereuses avant même qu'elles ne deviennent des phrases complètes. Il fonctionne sur différents modèles de robots, n'a pas besoin de regarder dans leurs cerveaux secrets, et fait tout cela avec précision et rapidité. Les auteurs suggèrent que cette approche nous permet de construire des systèmes d'IA plus sûrs qui peuvent être arrêtés dès les premiers instants d'une erreur, plutôt que d'attendre que le désastre complet se produise.