Neither the Judge nor the Rules: Instrument-Validity Failure in Safety-Response Classification

Dans le monde de l'intelligence artificielle en pleine évolution, les chercheurs tentent constamment d'apprendre aux ordinateurs à être utiles sans être nuisibles. Pour s'assurer que ces systèmes ne génèrent pas de conseils dangereux ou de contenu toxique, les scientifiques doivent évaluer leurs résultats. Pendant des années, deux méthodes principales ont dominé cette vérification de sécurité. La première consiste à utiliser une intelligence artificielle pour noter le travail d'une autre, agissant comme un juge automatisé. La seconde repose sur des règles informatiques écrites à la main, qui scannent le texte à la recherche de mots-clés ou de motifs spécifiques suggérant un danger, fonctionnant comme un filtre numérique. L'hypothèse sous-jacente à la deuxième méthode était que, puisque ces règles sont fixes et déterministes — ce qui signifie qu'elles produisent toujours le même résultat pour une même entrée — elles sont parfaitement fiables et peuvent être traitées comme la vérité absolue. Si un programme informatique suit un ensemble strict d'instructions, la logique veut que son verdict sur la sécurité soit correct.

Une nouvelle étude remet en question cette hypothèse en traitant ces outils de sécurité non pas comme des arbitres infaillibles, mais comme des instruments capables de commettre des erreurs, tout comme n'importe quel autre dispositif de mesure. Le chercheur Yangyi Zhang, de l'Université de Georgetown, a décidé d'auditer à la fois le juge automatisé et le filtre basé sur des règles pour voir s'ils font réellement ce qu'ils prétendent faire. L'enquête s'est concentrée sur une collection de 550 réponses générées par divers grands modèles de langage lorsqu'ils sont confrontés à des questions difficiles ou potentiellement dangereuses. Pour découvrir la vérité, le chercheur a créé un petit benchmark indépendant en lisant et en étiquetant manuellement 32 de ces réponses, définissant la sécurité selon que le modèle fournissait ou non un contenu nuisible exploitable. Cet ensemble vérifié par l'humain a servi de vérité de terrain contre laquelle les deux outils automatisés ont été testés.

Les résultats ont révélé un échec significatif dans la fiabilité des deux instruments. Le classificateur basé sur des règles, qui avait été largement approuvé et utilisé dans des recherches antérieures comme la norme de sécurité, a donné de mauvais résultats. Comparé aux étiquettes humaines, cet outil automatisé n'était correct que dans environ la moitié des cas. Plus critique encore, il n'a pas identifié la moitié des réponses réellement dangereuses, manquant totalement les contenus dangereux. Parallèlement, il a faussement signalé six réponses inoffensives comme étant dangereuses, interprétant des refus polis comme des délivrances de contenus dangereux. Le juge automatisé, un modèle de langage plus petit chargé de noter les réponses, a obtenu une précision globale légèrement supérieure, mais a souffert d'un autre défaut fatal. Il n'a détecté aucune des quatre réponses réellement dangereuses du jeu de test, les manquant complètement. Au lieu de cela, il a incorrectement étiqueté deux refus sûrs comme étant dangereux.

L'étude a également mis au jour une instabilité cachée dans le système basé sur des règles que personne n'avait remarquée auparavant. Le chercheur a fait passer deux versions différentes du même ensemble de règles sur la collection complète de 550 réponses. La première version a identifié 40 réponses comme dangereuses, tandis que la seconde, légèrement révisée, en a identifié seulement huit. Cette différence séfoldouble s'est produite sans aucun changement dans le contenu réel des réponses, prouvant que le décompte des éléments dangereux dépend entièrement de la version des règles chargée. Parce que le système est déterterministe, il reproduit ses propres erreurs parfaitement à chaque fois, rendant ces erreurs invisibles pour quiconque ne regarde que les chiffres finaux. Les deux outils automatisés étaient d'accord sur environ 62 % des éléments, un chiffre qui pourrait ressembler à un consensus fort au premier abord. Cependant, cet accord était largement une illusion causée par le fait que la plupart des réponses étaient sûres. Lorsque le chercheur a ajusté ce déséquilibre, l'accord réel entre les outils était négligeable, montrant qu'ils ne se validaient pas réellement les uns les autres, mais qu'ils s'effondraient plutôt vers une prédiction par défaut de sécurité.

La conclusion fondamentale est qu'aucun des deux, ni le juge automatisé ni le filtre basé sur des règles, n'est une mesure de sécurité neutre ou valide en soi. Le classificateur basé sur des règles n'est pas un défaut parfait ; c'est un outil de mesure avec un taux d'erreur élevé et non mesuré. L'étude conclut que la seule façon de faire confiance à ces chiffres de sécurité est de valider chaque instrument par rapport à un benchmark distinct, vérifié par l'humain, avant de publier tout résultat. Les chercheurs doivent rapporter non seulement la fréquence à laquelle un outil est en accord avec un autre, mais aussi sa capacité à détecter les erreurs spécifiques qui comptent, telles que l'omission de contenus dangereux. Sans ce contrôle indépendant, le domaine risque de construire les évaluations de sécurité sur des fondations qui sont elles-mêmes défaillantes, confondant la cohérence d'un outil cassé avec la vérité.