What Do Compliance Detectors Read? An Audit of Activation Probes and Guard Models
Cet article révèle que les détecteurs de conformité actuels souffrent d'une « cécité aux règles », échouant à s'appuyer véritablement sur les règles réglementaires énoncées plutôt que sur des caractéristiques de surface, et démontre que même le score de conformité interne (ICS) proposé, qui ne nécessite pas d'entraînement, manque de robustesse face aux bases triviales et aux attaques adaptatives.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde numérique moderne, les grands modèles de langage agissent comme de puissants moteurs de génération de texte, allant de la rédaction d'e-mails à la réponse à des questions complexes. Cependant, lorsque ces outils sont utilisés dans des domaines réglementés comme la finance, la santé ou le droit, ils doivent suivre des règles écrites strictes. Une banque, par exemple, peut avoir une politique stipulant que les données personnelles doivent être supprimées dans un délai de quatre-vingt-dix jours. Pour garantir que l'IA respecte cela, les entreprises déploient souvent des « modèles de garde » — des classificateurs spécialisés entraînés pour scanner la production de l'IA et signaler toute violation. L'espoir est que les gardes lisent la règle spécifique fournie et vérifient si la réponse de l'IA correspond à celle-ci. Si le garde fonctionne correctement, il ne devrait signaler une violation que lorsqu'une règle spécifique est enfreinte, et non simplement parce que le sujet semble risqué.
Une équipe de chercheurs de Lexsi Labs s'est donné pour mission de tester si ces moniteurs de conformité comprennent réellement les règles qu'ils sont censés faire respecter. Ils ont étudié un phénomène qu'ils appellent la « cécité à la règle ». Cela se produit lorsqu'un détecteur donne le même verdict quel que soit la règle qu'il est censé vérifier. Imaginez un agent de sécurité dans un musée qui arrête chaque visiteur portant un sac rouge, non pas parce que les sacs rouges sont interdits, mais parce que l'agent a simplement appris à associer la couleur rouge au danger. Si le musée change la règle pour interdire les sacs bleus, un garde aveugle à la règle continuerait d'arrêter les sacs rouges et ignorerait les bleus, manquant complètement la nouvelle instruction. Les chercheurs voulaient savoir si les gardes numériques protégeant nos données souffraient du même problème.
L'équipe a commencé par tester une grande variété de modèles de garde existants et de sondes d'activation — des outils qui scrutent les rouages internes de l'IA pour deviner ses intentions. Ils ont utilisé une méthode de test contrefactuel, qui consiste à modifier l'entrée de manières spécifiques pour voir comment le système réagit. Dans leurs expériences, ils ont pris un scénario où les données étaient conservées pendant quatre cents jours, ce qui viole clairement une règle de quatre-vingt-dix jours. Ils ont ensuite remplacé cette règle de quatre-vingt-dix jours par une règle totalement différente et sans rapport, ou ont même supprimé la règle entièrement. Étonnamment, les modèles de garde ont signalé la violation aussi souvent, et avec la même confiance, même lorsque la règle régissante était absente ou modifiée. Les détecteurs suivaient le scénario — le fait que les données soient conservées trop longtemps — plutôt que la règle spécifique qui en faisait une violation. Cet échec n'était pas limité à un seul type de modèle ; il apparaissait dans les classificateurs de sécurité fixes qui ne voient jamais la règle, et même dans les gardes sophistiqués « conditionnés par la politique » qui sont explicitement conçus pour lire et suivre des règles personnalisées. L'un de ces gardes citait correctement la position de la règle dans le texte quatre-vingt-onze à quatre-vingt-quinze pour cent du temps, pourtant son verdict final changeait à peine lorsque la règle était remplacée par une règle permissive qui autorisait le comportement.
Pour comprendre ce que ces systèmes lisaient réellement, les chercheurs ont construit un nouveau benchmark conçu à cet effet. Ils ont créé un test où la réponse dépend entièrement de l'interaction entre une règle spécifique et un scénario spécifique, garantissant que ni le texte de la règle ni le texte du scénario seuls ne pouvaient prédire le résultat. Par exemple, une règle pourrait dire qu'une banque peut simplifier les vérifications pour les comptes de moins de mille dollars, tandis qu'une autre règle fixe la limite à cinq mille. Si un scénario décrit un compte de deux mille dollars, le verdict dépend entièrement de la règle qui est active. Lorsqu'ils ont lancé leurs tests sur ce benchmark non confondu, chaque détecteur efficace qu'ils ont essayé, y compris leur propre nouvel outil, a performé au niveau du hasard. Le seul système qui a réussi est un grand modèle de langage autorisé à raisonner étape par étape, en décomposant le problème avant de donner une réponse. Cela suggérait que les détecteurs rapides et automatisés ne composaient pas la règle avec le scénario ; ils reconnaissaient simplement un signal large de « violation » basé sur les caractéristiques de surface du texte.
Les chercheurs ont ensuite introduit un nouvel outil, ne nécessitant pas d'entraînement, appelé le Score de Conformité Interne (Internal Compliance Score). Cette méthode lit directement les signaux d'activation internes de l'IA, ne nécessitant que dix paires d'exemples pour le calibrage. C'est incroyablement peu coûteux et rapide, ne nécessitant aucun réentraînement ni étape de traitement supplémentaire. Ils ont découvert que cet outil était excellent pour classer les réponses candidates, aidant à choisir la réponse la plus conforme parmi une liste d'options. Dans les tests, il a amélioré le taux de réussite des tâches de suivi d'instructions de cinq points de pourcentage. Cependant, la même cécité à la règle qui frappait les autres gardes affectait également ce nouveau score. Lorsque la règle était supprimée ou remplacée, le score restait inchangé. L'outil mesurait effectivement un sentiment général de risque plutôt qu'une adhérence spécifique à la règle écrite. De plus, les chercheurs ont découvert que cet avantage était fragile ; une attaque intelligente et adaptative pouvait facilement tromper le système en ajoutant quelques mots spécifiques à la fin d'une réponse, faisant chuter le score à un niveau aléatoire.
L'étude a également révélé un problème plus profond avec la manière dont la conformité est actuellement mesurée. Les chercheurs ont audité sept benchmarks publics utilisés pour tester ces systèmes et ont constaté que quatre d'entre eux étaient « lexicalement dégénérés ». Cela signifie que les étiquettes indiquant si une réponse était conforme ou non étaient intégrées au texte lui-même, souvent par la façon dont le scénario était écrit ou dont le verdict était narré. Un simple programme informatique qui se contentait de compter les mots, sans comprendre aucune règle, pouvait résoudre ces benchmarks avec une grande précision. Cela implique que de nombreuses affirmations précédentes sur la capacité d'un modèle à suivre des règles étaient en réalité simplement des affirmations sur sa capacité à reconnaître des mots ou des structures de phrases spécifiques. Les chercheurs ont conclu que, bien que ces détecteurs soient utiles pour trier et classer les réponses, ils ne peuvent pas être fiables pour prendre des décisions juridiques ou d'audit basées sur des règles spécifiques. Ils offrent l'apparence d'une assurance spécifique aux règles, mais en réalité, ils sont aveugles aux règles qu'ils sont censés faire respecter. L'article se termine par la publication des outils et des protocoles utilisés pour ces tests, permettant à d'autres de vérifier les futurs systèmes pour ce même défaut de cécité avant qu'ils ne soient déployés dans le monde réel.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.