From Values to Benchmarks: Evaluating Large Language Models for Governmental Use in Dutch
Cet article présente le cadre « Grip on LLMs », une suite d'évaluation complète développée avec des experts des municipalités néerlandaises pour évaluer les grands modèles de langage destinés à l'usage gouvernemental selon six dimensions clés, révélant qu'aucun modèle ne excelle dans tous les domaines et soulignant des compromis critiques entre la qualité, le coût et l'impact environnemental.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous venez d'acheter un assistant robotique super intelligent capable de rédiger des e-mails, de répondre à des questions et de résumer de longs rapports. C'est comme avoir un bibliothécaire de génie qui ne dort jamais. Mais voici le hic : ce robot a été entraîné principalement sur des livres écrits en anglais, et vous devez l'utiliser pour aider à gérer une administration municipale aux Pays-Bas, où tout le monde parle néerlandais. Vous ne pouvez pas simplement lui demander de "faire de son mieux", car s'il commet une erreur, il pourrait accidentellement priver quelqu'un d'un avantage, propager de fausses nouvelles ou traiter un groupe de personnes de manière injuste.
C'est le monde des Grands Modèles de Langage (LLM). Voyez-les comme des cerveaux numériques qui ont lu presque tout ce qui se trouve sur Internet. Ils sont incroyables pour discuter et écrire, mais ils peuvent aussi être trompeurs. Ils peuvent mentir avec assurance (inventer des choses), être biaisés contre certaines personnes ou consommer tellement d'électricité qu'ils ressemblent à une petite centrale électrique. Pour un gouvernement, utiliser ces robots ne consiste pas seulement à choisir le plus "intelligent" ; il s'agit de choisir celui qui est honnête, équitable et qui ne ruine pas le budget ou la planète. Jusqu'à présent, il n'existait pas de bonne façon de tester ces robots spécifiquement pour les fonctions gouvernementales néerlandaises.
Le rapport « Grip on LLMs » : Tester les robots
Une équipe de chercheurs de la Ville d'Amsterdam, travaillant avec des experts universitaires, a décidé de régler ce problème. Ils ont construit un nouveau cadre de test appelé « Grip on LLMs ». Au lieu de simplement demander : « À quel point ce robot est-il intelligent ? », ils ont demandé à un groupe d'employés municipaux, de décideurs politiques et d'experts en diversité : « Qu'est-ce qui importe le plus lorsque vous embauchez un robot pour aider à diriger la ville ? »
Les experts leur ont donné une liste de six éléments importants :
- Exactitude (Factuality) : Dit-il la vérité ?
- Honnêteté : S'il ne connaît pas la réponse, l'admet-il, ou invente-t-il quelque chose ?
- Biais social : Traite-t-il les personnes de différents âges, genres ou origines de manière équitable ?
- Consommation d'énergie : Quelle quantité d'électricité utilise-t-il ?
- Coût : Combien d'argent coûte son fonctionnement ?
- Transparence des données d'entraînement : Savons-nous de quels livres et sites web il a appris ?
Ils ont ensuite testé plus de 30 cerveaux de robots différents (certains provenant des géants de la tech et d'autres étant des modèles plus petits et open-source) en utilisant ces six critères. Ils ont créé un « bulletin de notes » spécial que n'importe qui, même un non-expert, peut comprendre.
La grande surprise : Le robot parfait n'existe pas
La chose la plus importante qu'ils ont découverte est qu'il n'existe pas de robot unique qui soit le « meilleur ». C'est comme essayer d'acheter une voiture qui serait à la fois la plus rapide, la plus économe en carburant, la moins chère et la plus sûre. On ne peut pas tout avoir ; il faut faire des compromis.
- Le problème du « Intelligent mais sournois » : Les chercheurs ont découvert qu'être « intelligent » (haute exactitude) ne signifie pas qu'un robot est « honnête ». En fait, certains des modèles les plus récents et les plus puissants étaient excellents pour répondre correctement aux questions, mais terribles pour admettre qu'ils ne savaient pas quelque chose. Ils inventaient des réponses avec assurance au lieu de dire : « Je ne suis pas sûr ». Pour un gouvernement, c'est dangereux car un mensonge assuré est pire qu'un simple « Je ne sais pas ».
- Le coût de la puissance : Les robots les plus intelligents et les plus capables coûtaient aussi le plus cher et consommaient le plus d'énergie. Si une ville veut un robot super intelligent, elle doit être prête à payer un prix plus élevé et à consommer plus d'électricité.
- Le biais est une variable imprévisible : Être cher ou intelligent ne garantissait pas qu'un robot était équitable. Certains robots bon marché étaient très biaisés, tandis que certains robots coûteux étaient équitables. On ne peut pas supposer que dépenser plus d'argent permet d'acheter un robot plus « gentil ». Il faut vérifier le biais spécifiquement.
La solution : Un tableau de bord convivial
Parce que les résultats étaient si complexes, l'équipe n'a pas simplement publié une liste ennuyeuse de chiffres. Ils ont construit un tableau de bord coloré et facile à lire (comme un écran de sélection de personnages de jeu vidéo).
- Des pilules vertes montrent si le robot est bon pour dire la vérité.
- Des barres rouges montrent combien d'énergie ou d'argent il coûte.
- Des icônes indiquent si le robot est biaisé contre certains groupes.
Cet outil permet à un gestionnaire de ville de regarder le tableau de bord et de dire : « D'accord, nous avons besoin d'un robot qui est très honnête et peu coûteux, même s'il n'est pas le plus intelligent de tous », ou « Nous avons besoin du plus intelligent, et nous sommes prêts à assumer le coût énergétique élevé ».
Ce qu'ils n'ont pas trouvé (Et la suite)
L'article précise bien qu'il ne s'agit pas d'une liste finale de type « le gagnant rafle tout ». C'est un instantané de la situation actuelle. Ils ont également noté que, bien qu'ils aient testé le biais lié à l'âge, au genre et à l'origine, il existe de nombreux autres types de biais (comme les opinions politiques) qu'ils n'ont pas encore pleinement couverts. Ils ont aussi constaté que certains robots étaient excellents pour résumer des documents, mais terribles pour simplifier des textes juridiques complexes pour les citoyens ordinaires.
Le message principal est que les gouvernements ne peuvent pas simplement choisir le robot ayant le score le plus élevé à un test standard. Ils doivent regarder l'ensemble de la situation. S'ils veulent un robot sûr, équitable et honnête pour les citoyens néerlandais, ils doivent être prêts à faire des choix et à accepter qu'aucun robot n'est parfait en tout. L'outil « Grip on LLMs » est la carte qui les aide à naviguer dans ces choix sans se perdre.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.