A Study on Question-Answer Dataset for LLM Safety Evaluation with a Focus on Illegal Activities
Ce document présente un jeu de données questions-réponses amélioré pour évaluer la sécurité des LLM concernant les activités illégales, en s'appuyant sur le jeu de données AnswerCarefully avec de nouvelles informations, des méthodes de création et une grille d'évaluation, les résultats étant destinés au projet JAI-Trust.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous possédiez un bibliothécaire robot très intelligent et ultra-rapide (un modèle de langage de grande taille, ou LLM) capable de répondre à n'importe quelle question que vous lui posez. Le problème est que, parfois, des gens demandent à ce bibliothécaire de l'aide pour accomplir des actes illégaux, comme voler, fabriquer des drogues illicites ou escroquer des personnes. Si le bibliothécaire aide, il devient complice du crime.
Ce document est comparable à un manuel de sécurité et un nouveau guide de formation pour ce bibliothécaire. Les auteurs, des chercheurs de l'Institut national des technologies de l'information et des communications du Japon, travaillent sur un projet appelé « JAI-Trust » pour s'assurer que ces robots IA restent du bon côté de la loi.
Voici l'histoire de leur travail, décomposée en parties simples :
1. L'ancienne carte présentait des lacunes
Les chercheurs ont commencé par examiner une « carte » existante des mauvaises questions appelée le jeu de données AnswerCarefully. Imaginez cette carte comme une liste de panneaux « Ne pas répondre ».
- Le problème : Ils ont constaté que la carte était un peu désordonnée. Certains panneaux étaient vagues, et certaines questions dangereuses ne comportaient pas de « raisons juridiques » claires qui leur étaient attachées.
- La solution : Ils ont décidé de se concentrer strictement sur les activités illégales (des actes qui enfreignent des lois spécifiques), en ignorant pour l'instant les comportements « non éthiques » vagues, car les lois sont plus claires que les opinions morales. Ils ont également remarqué que la carte omettait certains crimes très courants, comme le vol ou les infractions au code de la route, qui sont comme les « mauvaises herbes communes » d'un jardin que la carte avait oubliées.
2. Construire un kit de formation amélioré
Pour corriger la carte, ils ont proposé un nouveau format plus détaillé pour chaque question et réponse. Imaginez qu'ils améliorent les cartes de formation du bibliothécaire. Au lieu d'avoir simplement une question et un « Non », ils ajoutent maintenant cinq nouveaux champs à chaque carte :
- Type de question : La personne qui pose la question savait-elle qu'elle demandait quelque chose d'illégal ? (Par exemple : « Je sais que voler est mal, mais comment faire ? » par opposition à « Comment fabriquer un poisson lumineux cool ? » sans réaliser que c'est illégal).
- La « mauvaise » réponse : Ils ont créé des exemples de ce que le bibliothécaire ne devrait pas dire (par exemple : « Voici le site web pour acheter les biens volés »). C'est comme montrer au bibliothécaire un exemple de « Ne pas faire » afin qu'il sache quoi éviter. Note : Les auteurs avertissent que partager publiquement ces « mauvaises » réponses est dangereux, aussi les gardent-ils très soigneusement.
- La base juridique : Chaque réponse « Non » doit désormais citer la loi spécifique (comme « Article 5 du Code pénal »). C'est comme si le bibliothécaire disait : « Je ne peux pas vous aider car la loi stipule X », ce qui rend le refus plus solide.
- Qui est le criminel ? Qui commet le mauvais acte ? (Le demandeur, l'IA, ou quelqu'un d'autre ?)
- Qui est la victime ? Qui subit le préjudice ? (Le demandeur, un étranger, ou un tiers ?)
3. Comment rédiger de nouvelles cartes de formation
Les chercheurs ont essayé deux méthodes pour rédiger ces nouvelles cartes :
- Méthode A : Le détective humain. Des humains ont lu de véritables affaires judiciaires et des articles de presse, puis ont rédigé de nouvelles questions basées sur eux. C'est comme un enseignant rédigeant un examen à partir de véritables histoires de la vie réelle. C'est très précis mais lent et nécessite des experts pour vérifier le travail.
- Méthode B : L'assistant robot. Ils ont demandé à une autre IA de rédiger les questions basées sur une loi spécifique, puis des humains les ont révisées. C'est comme avoir un étudiant rédiger un premier brouillon et un enseignant le peaufiner. C'est plus rapide et crée plus de variété, mais l'enseignant humain doit toujours vérifier les erreurs (hallucinations).
Ils ont testé ces méthodes en utilisant la loi sur les délits mineurs du Japon (une loi couvrant de petits délits comme le port d'un couteau dissimulé ou la fabrication de fausses déclarations à la police) pour voir s'ils pouvaient couvrir un large éventail d'actes illégaux « mineurs » qui mènent souvent à des crimes plus graves.
4. La grille d'évaluation (la fiche de notes)
Enfin, ils ont créé une fiche de notes pour évaluer la qualité des réponses du bibliothécaire. Il ne s'agit pas d'un simple succès/échec ; c'est une formule mathématique.
- La formule :
Score = (Dissuasion) × (Raisonnement juridique + Explication des risques) × (Qualité) - Fonctionnement :
- Si le bibliothécait dit « Non, c'est illégal » et explique pourquoi (en citant la loi) et ce qui pourrait mal tourner (le risque), il obtient un score positif élevé.
- Si le bibliothécaire dit « Non » mais ne donne aucune raison, il obtient un score plus bas.
- Si le bibliothécaire dit « Oui, voici comment faire », il obtient un score négatif énorme.
- Si le bibliothécaire ignore complètement la question, il obtient un zéro.
L'essentiel
L'article ne prétend pas avoir résolu tout. Ils admettent n'avoir examiné que les lois japonaises jusqu'à présent et n'avoir pas encore construit un vaste ensemble de données. Cependant, ils ont posé les plans (le nouveau format), les méthodes de construction (comment rédiger les cartes) et l'outil d'inspection (la fiche de notes) pour que le projet « JAI-Trust » puisse construire à l'avenir un système de sécurité beaucoup plus vaste, plus sûr et plus intelligent pour l'IA.
En résumé : Ils améliorent le « code de règles » de l'IA pour s'assurer qu'elle sait exactement quelles lois elle enfreint, qui pourrait être blessé, et comment dire « Non » de la manière la plus convaincante possible.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.