SimpleQA Verified: A Reliable Factuality Benchmark to Measure Parametric Knowledge

Ce papier présente SimpleQA Verified, un nouveau benchmark de 1 000 prompts rigoureusement filtré pour évaluer la factualité des grands modèles de langage, corrigeant les défauts de l'original et établissant un nouvel état de l'art avec Gemini 2.5 Pro.

L'essentiel

Voici une explication simple et imagée de l'article scientifique sur SimpleQA Verified, conçue pour être comprise par tout le monde.

🕵️‍♂️ Le Problème : Un examen truqué ?

Imaginez que vous voulez tester la mémoire d'un élève très intelligent (une Intelligence Artificielle). Pour cela, vous lui posez des questions de culture générale.

L'année dernière, OpenAI a créé un examen appelé SimpleQA. C'était comme un grand concours de culture générale. Mais il y avait un gros problème : cet examen était défectueux.

• Des questions en double : C'était comme si l'examinateur avait posé 100 fois la même question, juste en changeant le mot "mardi" par "lundi". L'élève apprenait par cœur la réponse sans vraiment comprendre.
• Des questions biaisées : L'examinateur aimait trop les questions sur la science et pas assez sur l'histoire ou la musique.
• Des réponses fausses : Parfois, la "bonne réponse" indiquée sur la copie de l'examinateur était en réalité fausse !

Résultat : Les IA semblaient très intelligentes, mais elles avaient simplement "bachoté" les défauts de l'examen. C'était comme si un joueur de football marquait des buts parce que le gardien dormait, pas parce qu'il était le meilleur du monde.

🛠️ La Solution : Le grand nettoyage "SimpleQA Verified"

L'équipe de Google DeepMind a dit : "Stop ! Refaisons cet examen proprement." Ils ont créé SimpleQA Verified.

Voici comment ils ont fait, étape par étape, avec des images simples :

1. Le tri des doublons (Le grand ménage) :
   Imaginez une pile de 4 300 questions. Ils ont jeté toutes les questions qui se ressemblaient trop (comme des photocopies déformées). Ils sont passés de 4 300 à 3 000 questions.

2. Le respect des propriétaires (La règle du "Non") :
   Certaines questions pointaient vers des sites web qui disent : "Hé, les robots, n'entre pas ici !" (c'est ce qu'on appelle le fichier robots.txt). Google a respecté ce choix et a retiré ces questions. C'est comme si l'examinateur respectait la vie privée des auteurs des questions.

3. L'équilibre parfait (Le saladier) :
   Dans l'ancien examen, il y avait trop de questions sur les dates et les noms de personnes. Ils ont rééquilibré le tout pour avoir un peu de tout : géographie, musique, sport, science. C'est comme préparer un plat : on ne met pas que du sel, on veut un vrai mélange de saveurs.

4. La vérification des réponses (Le détective) :
   Ils ont revérifié chaque réponse. Si deux sources disaient des choses différentes, ils ont tranché. Pour les chiffres (comme "combien de kilomètres ?"), ils ont accepté une petite marge d'erreur (comme dire "environ 100 km" au lieu de "exactement 100,000 km").

5. Le filtre de difficulté (Le tri sélectif) :
   Pour que l'examen reste difficile, ils ont retiré les questions trop faciles que toutes les IA modernes pouvaient répondre. Ils ont gardé les 1 000 questions les plus coriaces.

🏆 Le Résultat : Qui est le champion ?

Une fois cet examen nettoyé et rééquilibré, ils l'ont passé aux meilleures IA du monde (Gemini, GPT-5, Claude, etc.).

• Le verdict : L'IA Gemini 2.5 Pro a gagné le championnat avec un score de 55,6 %.
• La surprise : Même si c'est un score qui semble bas (moins de la moitié des bonnes réponses), c'est en réalité un exploit ! Cela signifie que même les IA les plus avancées ont encore du mal à se souvenir de faits précis sans utiliser d'outils de recherche.
• La différence : Sur l'ancien examen (SimpleQA), certaines IA faisaient de "faux progrès" parce qu'elles avaient mémorisé les erreurs de l'examen. Sur le nouveau (Verified), les scores sont plus justes. Par exemple, GPT-5 a même un peu moins bien réussi sur le nouveau test que sur l'ancien, car il ne peut plus tricher avec les défauts de l'ancien examen.

💡 Pourquoi c'est important ?

Pensez à SimpleQA Verified comme à un thermomètre de haute précision.

Avant, le thermomètre était cassé et affichait toujours 37°C, même si vous aviez de la fièvre. On pensait que tout le monde allait bien.
Maintenant, avec le nouveau thermomètre, on voit la vraie température. Cela permet aux chercheurs de savoir :

1. Où sont les vrais progrès des IA.
2. Où elles font encore des erreurs (des "hallucinations").
3. Comment construire des IA plus fiables pour l'avenir, surtout dans des domaines importants comme la médecine ou le droit, où une erreur de fait peut être grave.

En résumé : Google a pris un examen imparfait, l'a nettoyé, l'a rendu plus juste et plus difficile, et a utilisé ce nouveau test pour montrer qui est vraiment le champion de la mémoire des faits. C'est une étape cruciale pour rendre les IA plus dignes de confiance.

Résumé technique

Voici un résumé technique détaillé de l'article « SimpleQA Verified: A Reliable Factuality Benchmark to Measure Parametric Knowledge », présenté en français.

1. Problématique

La capacité des Grands Modèles de Langage (LLM) à générer des informations factuellement exactes est cruciale pour leur adoption, notamment dans des applications d'entreprise critiques. Cependant, les modèles souffrent souvent d'« hallucinations ». Bien que des benchmarks existent pour évaluer la facticité (la capacité à rappeler des faits stockés dans les paramètres du modèle sans outils externes), les standards actuels présentent des limites majeures :

• Saturation des anciens benchmarks : Des jeux de données comme TriviaQA ou Natural Questions sont devenus trop faciles pour les modèles modernes.
• Limites de SimpleQA : Le benchmark SimpleQA (OpenAI, fin 2024), bien que plus difficile, souffre de défauts critiques :
  • Biais et bruit : Les étiquettes (ground truths) sont parfois incorrectes en raison de biais humains.
  • Redondance : De nombreuses questions sont sémantiquement ou lexicalement similaires (ex: multiples questions sur la date de fondation de différentes municipalités colombiennes).
  • Déséquilibre thématique : Une sur-représentation de certains sujets (science/technologie) et types de réponses (dates, noms).
  • Problèmes de sources : Certaines références URL ne respectent pas les préférences des éditeurs web (fichiers robots.txt).

Ces défauts créent un signal d'évaluation bruyant, rendant difficile la distinction entre une amélioration réelle de la mémorisation factuelle et un surapprentissage (overfitting) aux spécificités du benchmark.

2. Méthodologie : Création de SimpleQA Verified

L'équipe de Google DeepMind a conçu SimpleQA Verified, un jeu de données de 1 000 prompts filtrés et améliorés à partir du dataset original SimpleQA (4 326 questions). Le processus de création a suivi plusieurs étapes rigoureuses :

1. Unicité des sources : Suppression des questions partageant la même URL de référence pour éviter la sur-représentation des préférences d'un seul évaluateur humain.
2. Dé-duplication sémantique et lexicale :
   • Utilisation d'embeddings (Gemini) avec un seuil de similarité cosinus de 0,77 pour éliminer les questions sémantiquement trop proches.
   • Utilisation de la matrice TF-IDF pour supprimer les questions avec des chevauchements lexicaux excessifs.
3. Respect des éditeurs web : Suppression des questions dont les URLs de référence contenaient des instructions robots.txt (ex: Google-Extended) interdisant l'utilisation des données pour l'entraînement de modèles.
4. Équilibrage des distributions : Rééchantillonnage pour garantir une diversité équitable des types de réponses (dates, nombres, personnes, lieux) et des sujets (évitant la sur-représentation de la science/tech).
5. Réconciliation des sources conflictuelles :
   • Pour les réponses non numériques : Suppression des questions ambiguës ou ayant des sources contradictoires.
   • Pour les réponses numériques : Utilisation d'un autorater avec exécution de code pour vérifier si les sources convergent vers une réponse dans une marge d'erreur de 5 % par rapport à la vérité terrain.
6. Augmentation de la difficulté (Headroom) : Filtrage final pour ne garder que les 1 000 questions les plus difficiles, en éliminant celles que tous les modèles de pointe (Frontier Models) résolvent correctement.
7. Enrichissement des métadonnées : Ajout d'informations sur la nécessité de raisonnement (calculs) et la nature multi-étapes des questions.

Améliorations de l'Autorater (Évaluateur Automatique) :
Le papier propose également des améliorations au prompt d'évaluation automatique pour gérer les réponses complexes des LLM :

• Gestion des nombres : Définition explicite de marges d'erreur acceptables (ex: ±1 % ou ±5 %) dans la vérité terrain plutôt que d'exiger une correspondance exacte.
• Clarification des réponses hésitantes : Une réponse qui propose plusieurs candidats sans en choisir un est considérée comme « non tentée » (not attempted) pour éviter que les modèles ne parient sur plusieurs options.
• Ignorer le superflu : Seule la partie de la réponse répondant directement à la question est prise en compte.

3. Contributions Clés

• SimpleQA Verified : Un benchmark de 1 000 questions propre, équilibré et fiable, disponible publiquement sur Kaggle.
• Méthodologie de curation : Un processus reproductible de nettoyage de données (dé-duplication, réconciliation de sources, respect de la vie privée des éditeurs) applicable à d'autres benchmarks.
• Amélioration des métriques d'évaluation : Un nouveau prompt d'autorater plus robuste pour évaluer la facticité, capable de gérer les approximations numériques et les réponses nuancées.
• Leaderboard public : Une plateforme pour suivre les progrès réels des modèles en facticité paramétrique.

4. Résultats

Les modèles ont été évalués sans outils externes (mode paramétrique pur). Les résultats montrent que Gemini 2.5 Pro établit un nouvel état de l'art (SOTA) :

• Gemini 2.5 Pro : F1-Score de 55,6 %, surpassant tous les autres modèles.
• GPT-5 (OpenAI) : F1-Score de 52,3 %.
• o3 (OpenAI) : F1-Score de 51,9 %.
• Autres modèles : Les modèles comme GPT-4o, Claude Opus 4 et DeepSeek R1 obtiennent des scores inférieurs (entre 18 % et 39 %).

Observations importantes :

• La performance globale sur SimpleQA Verified est globalement similaire à celle sur SimpleQA original, car le processus de nettoyage a éliminé les questions erronées (rendant le test plus facile) mais a été compensé par la sélection de questions plus difficiles (étape 2.6).
• Certains modèles (GPT-4o, Claude Opus 4) obtiennent des scores statistiquement significativement plus bas sur SimpleQA Verified que sur SimpleQA, suggérant qu'ils avaient surappris les biais ou les erreurs du benchmark original.
• L'activation d'outils de recherche sur ce benchmark conduit à des performances quasi parfaites, confirmant que SimpleQA Verified mesure bien la connaissance interne (paramétrique) et non la capacité de recherche.

5. Signification et Impact

Ce travail fournit à la communauté de recherche un outil de mesure de plus haute fidélité pour évaluer la facticité des LLM. En éliminant le bruit, les biais et les redondances, SimpleQA Verified permet de :

1. Distinguer les progrès réels du surapprentissage aux artefacts du benchmark.
2. Réduire les hallucinations en offrant une cible d'évaluation plus précise pour le développement de modèles.
3. Établir un standard industriel pour la facticité paramétrique, favorisant le développement de systèmes d'IA plus fiables et dignes de confiance.

En résumé, SimpleQA Verified représente une évolution nécessaire dans l'évaluation des LLM, passant d'une mesure brute à une évaluation rigoureuse et nuancée de la connaissance factuelle stockée dans les modèles.