Benchmarking Open-Weight Foundation Models for Global AI Technical Governance
Cette étude aborde les limites méthodologiques de la recherche existante sur le biais géographique dans l'IA en comparant quatre modèles de fondation à poids ouverts à un ensemble de données de vérité terrain vérifié (GAID v2), en utilisant un schéma de classification des réponses raffiné en cinq catégories pour mesurer et analyser avec précision les disparités de performance des modèles à travers 227 pays.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous avez quatre bibliothécaires très intelligents et érudits (les modèles d'IA). Vous leur posez un million de questions sur la manière dont différents pays se débrouillent avec l'intelligence artificielle (IA). Vous voulez savoir s'ils disent la vérité ou s'ils inventent simplement des choses pour paraître sûrs d'eux.
Ce document est un bulletin de notes pour ces bibliothécaires, vérifiant spécifiquement s'ils sont biaisés contre certains pays ou s'ils se trompent simplement sur des types de faits spécifiques.
Voici l'histoire de ce qu'ils ont trouvé, décomposée simplement :
1. La mise en place : La « Vérité » vs le « Guess » (la supposition)
Les chercheurs possédaient une immense « clé de correction » vérifiée (appelée Global AI Dataset) contenant de vrais chiffres pour 227 pays. Ils ont demandé aux quatre modèles d'IA de leur donner des chiffres précis tirés de cette clé.
- Le but : Voir si les IA donnent les bons chiffres.
- Le problème : Parfois, quand une IA ne connaît pas une réponse, elle ne dit pas « Je ne sais pas ». Au lieu de cela, elle invente un chiffre avec assurance. C'est ce qu'on appelle une hallucination (ou, dans le document, une « fabrication confiante »).
2. La grande surprise : Le « Sud Global » n'a pas été le plus malmené
Habituellement, les gens pensent que les modèles d'IA sont biaisés parce qu'ils sont principalement entraînés sur des données provenant de pays riches et anglophones (comme les États-Unis et le Royaume-Uni). La croyance commune est que les IA inventeraient plus de mensonges sur les pays pauvres (le « Sud Global ») parce qu'elles en savent moins à leur sujet.
Mais les résultats étaient le contraire !
- Les IA ont en réalité inventé plus de mensonges sur les pays riches (le Nord Global) que sur les pays pauvres.
- Pourquoi ? Pensez de cette façon : si vous demandez à un bibliothécaire, « Combien y a-t-il de grains de sable sur cette minuscule plage ? » et qu'il devine « 500 », il pourrait être proche. Mais si vous lui demandez, « Combien y a-t-il de grains de sable dans ce désert massif ? » et qu'il devine « 500 », il se trompera de façon flagrante.
- Les pays riches ont des chiffres énormes (des millions de brevets, des milliards de dollars de puissance de calcul). Il est beaucoup plus difficile pour une IA de deviner un chiffre énorme correctement qu'un petit chiffre. Ainsi, les IA se sont fait « attraper » en inventant des chiffres élevés pour les pays riches plus souvent.
- Note : Cela ne signifie pas que les IA savent tout sur les pays pauvres ; cela signifie simplement que la « clé de correction » pour les pays riches contenait des chiffres plus gros et plus difficiles à deviner.
3. Le piège de la « Sécurité » : Les IA sont terribles en mathématiques
Les chercheurs ont interrogé les IA sur des chiffres spécifiques et difficiles comme « Quelle puissance de calcul a été utilisée pour entraîner ce modèle ? » ou « Combien de paramètres possède ce modèle ? ».
- Le résultat : Les IA ont presque totalement échoué. Elles ont inventé des chiffres 98 % du temps pour ces questions de « Sécurité ».
- L'analogie : C'est comme demander à un chef, « Combien de milligrammes de sel y a-t-il exactement dans cette soupe ? » et que le chef donne simplement un chiffre qui semble sophistiqué mais qui est totalement inventé.
- La leçon : Si vous avez besoin de connaître la taille exacte d'une puce informatique ou la puissance d'un supercalculateur, ne faites pas confiance à ces IA. Elles devinent.
4. Le succès du « Oui/Non » : Les IA sont bonnes pour les faits simples
Lorsque les chercheurs posaient des questions simples de type « Oui ou Non », comme « Ce pays a-t-il publié une stratégie nationale d'IA ? » :
- Le résultat : Les IA s'en sont beaucoup mieux sorties. Elles ont trouvé la bonne réponse environ 42 % du temps (ce qui est élevé pour elles !).
- Pourquoi : Il est plus facile de se souvenir d'un « Oui » ou d'un « Non » que d'inventer un chiffre spécifique comme « 14 502 brevets ».
5. La comparaison des bibliothécaires : Qui est le meilleur ?
Les chercheurs ont testé quatre « bibliothécaires » différents (modèles d'IA) :
- Mistral (France) : Le plus précis globalement.
- DeepSeek (Chine) : Le deuxième meilleur.
- Qwen (Chine) : Troisième.
- Llama (États-Unis) : A inventé le plus de mensonges.
Il est intéressant de noter qu'il n'importait pas beaucoup si le bibliothécaire venait des États-Unis, d'Europe ou de Chine. Ils inventaient tous des mensonges à peu près au même taux. La « nationalité » de l'IA ne changeait pas vraiment le résultat.
6. Le problème du « Je ne sais pas »
Les chercheurs espéraient que si les IA ne connaissaient pas une réponse, elles diraient poliment : « Je ne sais pas ».
- La réalité : Les IA ne disaient presque jamais qu'elles ne savaient pas. Même lorsqu'elles devinaient totalement, elles paraissaient 100 % confiantes.
- Le danger : C'est comme un élève qui passe un examen et qui répond au hasard à chaque question, mais qui écrit les réponses en grosses lettres grasses. On ne peut pas savoir s'il est intelligent ou s'il a juste de la chance.
7. Comment poser de meilleures questions
Les chercheurs ont découvert que la manière de poser la question compte.
- Mauvaise façon : « Quel est le nombre exact de brevets d'IA dans le Pays X ? » (L'IA devine un chiffre).
- Meilleure façon : « Comment le nombre de brevets du Pays X se compare-t-il à la moyenne de sa région ? »
- Résultat : Lorsque vous demandez une comparaison plutôt qu'un chiffre spécifique, l'IA invente moins de mensonges. C'est comme demander : « Est-ce que cette plage est plus grande que celle-là ? » au lieu de « Combien y a-t-il de grains de sable ici ? ».
L'essentiel
Si vous êtes un responsable gouvernemental ou un chercheur essayant d'utiliser l'IA pour comprendre le monde :
- Ne faites pas confiance aux chiffres : Si l'IA vous donne un chiffre précis sur la puissance de l'IA ou les brevets, vérifiez-le auprès d'un humain. C'est probablement une supposition confiante.
- Elles sont mauvaises pour les mathématiques de « Sécurité » : Elles ne peuvent pas vous dire quelle quantité de puissance de calcul est utilisée.
- Elles sont correctes pour le « Oui/Non » : Elles sont meilleures pour dire si une loi existe que pour donner les détails exacts de celle-ci.
- Elles n'admettent jamais leur ignorance : Elles répondront toujours, même si elles mentent.
Le document conclut que, bien que ces modèles d'IA soient impressionnants, ils sont actuellement des outils peu fiables pour recueillir des faits précis sur la gouvernance mondiale de l'IA. Vous avez toujours besoin d'experts humains pour vérifier les données.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.