Choosing Where and How to Moderate: End-to-End Trade-offs in Filter Placement and Response Rewriting

Imaginez que vous êtes le rédacteur en chef d'un journal massif et chaotique qui imprime des millions d'articles chaque seconde. Certains articles sont brillants, drôles et utiles. D'autres sont dangereux, méchants ou simplement absurdes. Votre travail est de vous assurer que la copie finale remise au lecteur est sûre et utile. Mais voici la partie délicate : vous avez une équipe de « Gardiens de la Sécurité » (des programmes informatiques) capables de repérer les mauvaises choses. La grande question n'est pas seulement de savoir si les gardiens peuvent trouver le mauvais contenu ; c'est de savoir quand et comment ils doivent le faire.

Doivent-ils vérifier la requête du lecteur avant même que l'article ne soit écrit ? Doivent-ils attendre que l'article soit terminé pour ensuite le vérifier ? Ou doivent-ils faire les deux ? Ce document explore précisément ce casse-tête pour les chatbots d'IA. Il traite l'IA comme un écrivain et les filtres de sécurité comme des éditeurs, testant différentes façons d'organiser ces derniers pour voir quelle configuration donne le meilleur résultat : les réponses les plus utiles avec le moins de dérapages dangereux.

---

La Grande Danse de la Sécurité de l'IA : Où se Tenir et Que Faire

Les auteurs de ce document, une équipe de Microsoft Responsible AI et Goodfire, ont décidé de ne plus examiner les filtres de sécurité de manière isolée. Habituellement, les scientifiques mesurent simplement l'efficacité d'un filtre à repérer les mots interdits, comme un correcteur orthographique comptant les fautes de frappe. Mais le monde réel est plus complexe. Si un filtre est trop strict, il peut bloquer un excellent article simplement parce qu'il a utilisé un mot qui semble risqué. S'il est trop lâche, un article dangereux pourrait passer entre les mailles du filet.

Ainsi, l'équipe a mis en place une expérience massive pour tester quatre différentes « chorégraphies » pour leur système de sécurité. Ils voulaient trouver le point d'équilibre où l'IA est la plus utile (en vous montrant une excellente réponse) tout en restant sûre (en ne vous montrant rien de nuisible).

Les Quatre Chorégraphies

Ils ont testé quatre configurations spécifiques, qu'ils appellent des configurations :

1. Entrée Uniquement (Input Only) : Le garde vérifie la question du lecteur avant que l'IA ne commence à écrire quoi que ce soit. Si la question semble risquée, le garde arrête tout immédiatement. Aucun article n'est écrit.
2. Réponse Uniquement (Response Only) : Le garde laisse l'IA écrire l'article d'abord. Ensuite, le garde vérifie l'article terminé. S'il est mauvais, l'article est jeté.
3. Entrée + Réponse (Input + Response) : Le garde vérifie à la fois la question et la réponse. Si l'un des deux semble risqué, l'histoire est bloquée.
4. Réponse + Réécriture (Response + Rewrite) : C'est le nouveau mouvement sophistiqué. Le garde vérifie l'article terminé. S'il est risqué, au lieu de simplement le jeter, un « réparateur » (une seconde IA) tente de réécrire l'article pour le rendre sûr. Ensuite, le garde vérifie la nouvelle version une dernière fois. Si elle passe, vous recevez l'article réparé !

La Grande Découverte : Attendez la Fin !

L'équipe a testé ces tests sur deux étapes différentes : un ensemble de données privé, étiqueté par des humains, de 1 250 conversations (le « Benchmark Interne ») et un ensemble de données public de plus de 5 000 chats toxiques (le « Public ToxicChat »).

Voici le résultat surprenant : Attendre la fin (Réponse Uniquement) était la meilleure stratégie pour maintenir l'utilité.

Lorsqu'ils bloquaient simplement les mauvaises réponses après qu'elles aient été écrites, le système maintenait 85,68 % des conversations utiles et pertinentes. Mais lorsqu'ils tentaient de bloquer les mauvaises questions avant que l'IA ne rédige quoi que ce soit (Entrée Uniquement), ils jetaient accidentellement la moitié des bonnes conversations ! Il s'avère que les modèles d'IA modernes sont déjà assez doués pour ignorer les mauvaises questions et écrire des réponses sûres par eux-mêmes. Ainsi, arrêter le processus prématurément revenait à un videur qui expulserait des gens d'un club avant même qu'ils n'aient eu la chance de montrer leur carte d'identité, alors que beaucoup d'entre eux étaient parfaitement corrects.

Cependant, il y avait un bémol. Bien que la stratégie « Réponse Uniquement » ait été la plus utile, elle laissait passer un peu plus de contenu nuisible par rapport à une vérification de l'entrée et de la sortie. Si vous avez un budget de sécurité extrêmement strict (signifiant que vous ne pouvez laisser passer aucun mauvais contenu), vérifier à la fois l'entrée et la sortie (Entrée + Réponse) était la méthode la plus sûre, mais cela rendait le système beaucoup moins utile.

La Magie du « Réparateur »

L'équipe a ensuite demandé : « Pouvons-nous avoir le meilleur des deux mondes ? Pouvons-nous conserver la stratégie "Réponse Uniquement" pour son utilité, tout en corrigeant les quelques mauvaises réponses qui s'échappent ? »

Ils ont testé la stratégie Réponse + Réécriture. Lorsqu'un garde attrapait une mauvaise réponse, au lieu de la bloquer, ils l'envoyaient à une IA « réparatrice ». Ce réparateur réécrivait la réponse pour supprimer les parties néfastes tout en conservant les bonnes parties.

Les résultats ont été impressionnants. En utilisant cette astuce de réécriture, ils ont récupéré presque tout le trafic qui aurait été bloqué.

• Sur le test interne, l'utilité est passée de 85,68 % à 95,04 %.
• Le nombre de conversations bloquées est tombé de 9,60 % à seulement 0,24 %.

Crucialement, le nombre de réponses nuisibles qui atteignaient réellement l'utilisateur est resté exactement le même que pour la stratégie « Réponse Uniquement ». La réécriture n'a pas laissé passer plus de mauvaises choses ; elle a simplement sauvé les bonnes choses qui étaient sur le point d'être jetées.

Vitesse et Coût de la « Réécriture »

Bien sûr, rien n'est gratuit. Réécrire prend du temps. L'équipe a mesuré le temps nécessaire pour réparer un article.

• Si on utilisait une IA géante et lente pour décider quoi réécrire et comment, cela prenait environ 13,8 secondes. C'est une éternité dans le temps d'un chat !
• Mais ils ont trouvé un raccourci ingénieux en utilisant de petites « sondes » spécialisées (de petits détecteurs rapides) pour décider quoi faire. Cela a réduit le temps à seulement 0,47 seconde.

Cela signifie que vous pouvez avoir un système qui est super utile et sûr sans faire attendre l'utilisateur indéfiniment.

Les Petites Lettres : Ce que la Réécriture a Manqué

Les auteurs n'ont pas seulement regardé les chiffres ; ils ont lu les histoires réécrites pour voir ce qui se passait réellement. Ils ont trouvé que le « réparateur » était bon pour généraliser. Par exemple, si une histoire mentionnait une application dangereuse spécifique, le réparateur remplacerait le nom par « une plateforme sûre » tout en donnant de bons conseils sur la façon de rester en sécurité.

Cependant, ils ont aussi trouvé une limite. Dans certains cas sensibles, comme les histoires sur l'automutilation, la réécriture supprimait parfois des ressources spécifiques et utiles (comme les numéros de téléphone d'urgence) juste pour être extra-prudente. Le document note que bien que le système soit excellent pour équilibrer sécurité et utilité, il n'est pas parfait. Parfois, dans la précipitation d'être sûr, il peut accidentellement omettre une information de soutien qu'un humain voudrait conserver.

Conclusion

Ce document ne nous dit pas qu'il existe une règle unique et « parfaite » pour la sécurité de l'IA. Au contraire, il nous donne une carte. Il montre que :

1. Ne bloquez pas trop tôt : Laisser l'IA écrire d'abord produit généralement des réponses plus utiles.
2. Réécrivez, ne vous contentez pas de bloquer : Si vous attrapez une mauvaise réponse, essayez de la réparer. Cela sauve beaucoup de bonnes conversations sans augmenter le danger.
3. La vitesse compte : Vous pouvez réparer les choses rapidement si vous utilisez les bons outils.

Les auteurs concluent qu'il n'y a pas de règle universelle « taille unique ». Au lieu de cela, les entreprises doivent examiner leurs propres besoins spécifiques. Si elles peuvent tolérer un risque infime pour obtenir des réponses plus utiles, elles devraient utiliser la stratégie « Réponse Uniquement » avec un réparateur de « Réécriture ». Si elles ont besoin d'un risque absolument nul, elles devront peut-être vérifier l'entrée aussi, même si cela signifie bloquer plus de bonnes conversations. Tout est question de trouver le bon équilibre pour votre propre club.