💬 NLP

Two-Level Meta-Rubrics for Evaluating Open-Ended Generation: GAMUT, a Benchmark for Factual Completeness

Cet article introduit GAMUT, un nouveau benchmark et un cadre de méta-rubrique à deux niveaux conçu pour évaluer l'exhaustivité factuelle des générations ouvertes de longue forme en convertissant les exigences de contenu structuré en listes de contrôle exploitables par machine, révélant que les modèles de pointe actuels peinent à atteindre une couverture complète à travers divers domaines fondés sur des preuves.

Auteurs originaux : Xilun Chen, Zhaleh Feizollahi, Ross Goodwin, Seungwhan Moon, Scott Yih, Pinar Donmez, Babak Damavandi, Luna Dong

Publié 2026-07-22

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xilun Chen, Zhaleh Feizollahi, Ross Goodwin, Seungwhan Moon, Scott Yih, Pinar Donmez, Babak Damavandi, Luna Dong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La quête de la réponse complète

Imaginez que vous enseigniez à un robot comment être un assistant utile. Vous ne voulez pas seulement qu'il évite de mentir ; vous voulez qu'il soit véritablement utile. Dans le monde de l'intelligence artificielle, c'est la différence entre la précision et le rappel. Considérez la précision comme un professeur strict qui ne vous met une croix rouge que si vous écrivez quelque chose d'erroné. Si vous dites : « Le ciel est vert », le professeur marque une erreur. Mais si vous dites : « Le ciel est bleu », le professeur vous donne une étoile d'or, même si vous avez oublié de mentionner qu'il est aussi bleu avec des nuages blancs, ou qu'il change de couleur au coucher du soleil. C'est la précision : vérifier si ce que vous avez dit est vrai.

Maintenant, pensez au rappel comme à un type de professeur différent qui demande : « M'as-tu dit tout ce que tu sais sur le ciel ? » Si vous avez seulement dit « Le ciel est bleu », ce professeur pourrait dire : « C'est vrai, mais tu as oublié les nuages et le coucher du soleil. Tu ne m'as pas donné l'image complète. » Pendant longtemps, les chercheurs en IA ont été excellents pour le premier professeur (la précision), s'assurant que les robots n'hallucinent pas de faux faits. Mais ils ont eu du mal avec le second professeur (le rappel). Ils n'avaient pas de bonne méthode pour mesurer si la réponse d'un robot est complète, surtout quand la réponse n'est pas juste une liste de faits, mais une histoire complexe avec des étapes, des relations et des détails ouverts. Ce document s'insère dans cette lacune, en posant la question suivante : « Comment noter une IA non seulement sur sa véracité, mais aussi sur sa rigueur ? »

Entrée en scène de GAMUT : Le test du « Avez-vous oublié quelque chose ? »

Les chercheurs de Meta AI ont construit un nouveau benchmark appelé GAMUT (Grounded Assessment of Multimodal Factuality). Considérez GAMUT comme un jeu de quiz extrêmement difficile conçu pour tester si une IA peut être un « chercheur approfondi » plutôt qu'un simple récitateur de faits.

Voici la configuration : imaginez que vous portez des lunettes intelligentes. Vous regardez une pâtisserie étrange et feuilletée dans une boulangerie, ou un moteur de voiture bizarre, ou un type spécifique de plante. Vous demandez à vos lunettes : « Qu'est-ce que c'est, et comment est-ce fabriqué ? » L'IA doit regarder l'image, aller sur Internet, extraire des informations de multiples sources et rédiger une réponse longue et détaillée.

Le problème des tests précédents était qu'ils traitaient les réponses comme une simple liste de contrôle. Ils demandaient : « Avez-vous mentionné le riz ? » Oui. « Avez-vous mentionné les tomates ? » Oui. « Réussi ! » Mais la vie réelle n'est pas une liste plate. Parfois, vous devez connaître l'ordre des étapes (on ne peut pas frire le riz avant de l'avoir lavé). Parfois, vous devez savoir qu'il existe de nombreux ingrédients valides, et vous devez simplement en nommer suffisamment pour être utile, pas absolument tous ceux qui existent. Parfois, vous devez expliquer pourquoi quelque chose arrive, en reliant deux faits ensemble. Une simple liste de contrôle « oui/non » échoue à capturer ces nuances.

Le tour de magie à deux niveaux
Pour résoudre cela, les auteurs ont inventé un système de notation ingénieux en deux étapes, qu'ils appellent une Méta-Rubrique à deux niveaux.

Niveau 1 : Le plan directeur (La Méta-Rubrique). D'abord, un expert humain (aidé par une IA intelligente) crée un « Plan Directeur » détaillé de ce à quoi ressemble une réponse parfaite. Ce plan n'est pas seulement une liste ; c'est une carte structurée. Il dit : « D'accord, pour cette question, vous devez identifier le plat (Critique). Vous devez lister les ingrédients de base (Critique). Vous devriez mentionner au moins deux de ces épices optionnelles (Flexible). Et vous devez décrire les étapes de cuisson dans le bon ordre (Processus). » Ce niveau capture la réalité complexe et désordonnée d'une bonne réponse.
Niveau 2 : La liste de contrôle (La Rubrique Binaire). Voici l'astuce. L'ordinateur traduit ensuite mécaniquement ce Plan Directeur complexe en une longue liste plate de questions simples de type « Succès/Échec » qu'un juge robotique peut facilement noter. Il transforme « Vous devez couvrir suffisamment d'épices optionnelles » en une vérification spécifique : « Avez-vous mentionné au moins 2 de ces 6 épices spécifiques ? ». Il transforme « Faites les étapes dans l'ordre » en une vérification : « Avez-vous dit 'frire' avant 'mijoter' ? ».

De cette façon, les humains peuvent concevoir un test riche et nuancé, mais la notation est effectuée par un robot cochant des cases simples, ce qui est beaucoup plus fiable et cohérent que de demander à un robot de « deviner » quelle impression dégage une réponse.

Le jeu : 1 813 questions et des images réelles

L'équipe a construit un immense ensemble de données appelé GAMUT contenant 1 813 questions. Ces questions ne sont pas inventées ; elles sont basées sur de vraies photos prises par des personnes portant des lunettes intelligentes. Les photos montrent des choses du quotidien : un type de chaussure spécifique, un monument local, un légume étrange ou une pièce de voiture. Les questions sont conçues pour être de la « recherche approfondie du quotidien » — des choses qu'une personne curieuse demanderait réellement en regardant un objet, mais qui nécessitent de fouiller sur Internet pour y répondre pleinement.

Ils ont testé 14 modèles d'IA différents (tant les modèles coûteux et massifs des géants de la technologie que les modèles open-source) sur ce benchmark. Les résultats sont révélateurs.

Les conclusions :

C'est difficile. Même le modèle le plus intelligent, Gemini 3.1 Pro, n'a obtenu qu'un score de 58,7 %. C'est à peine la moyenne au lycée ! Cela signifie que la meilleure IA au monde manque encore une énorme partie des informations qu'une réponse complète devrait contenir.
Omission vs Erreur. Le plus gros problème n'était pas que les IA mentaient (contradiction de faits). Le plus gros problème était l'omission. Les modèles sautaient des détails importants. Ils étaient comme des étudiants qui écrivent une courte dissertation alors que le professeur a demandé un livre. Ils obtenaient les faits principaux (précision), mais ne donnaient pas l'histoire complète (exhaustivité).
La « taxe » de la vision. Les chercheurs ont également testé les modèles sans les images (juste du texte). Lorsqu'ils ont fait cela, les scores ont augmenté d'environ 10 à 20 points pour tout le monde. Cela montre qu'une partie de la difficulté résidait simplement dans le fait de « voir » correctement l'objet. Mais même après avoir supprimé la partie vision, les modèles présentaient toujours des lacunes dans leurs connaissances. Le classement des modèles est resté le même, prouvant que le test mesure réellement ce que l'IA sait, et non pas seulement sa capacité à voir.
Robustesse. Ils ont testé les résultats avec trois « IA juges » différentes. Le classement est resté identique quel que soit le juge, ce qui signifie que le test est équitable et fiable.

Pourquoi cela importe

Ce document ne se contente pas de dire « L'IA s'améliore ». Il dit : « Nous avons une nouvelle façon de mesurer si une IA est réellement utile ». En allant au-delà des simples vérifications de type « ce fait est-il vrai ? » pour passer à des vérifications de type « avez-vous couvert tout le sujet ? », GAMUT révèle que même nos modèles les plus avancés perdent souvent la forêt derrière l'arbre. Ils peuvent vous dire qu'un fait est vrai, mais ils oublient souvent de vous raconter toute l'histoire.

Les auteurs suggèrent que pour qu'une IA soit véritablement un assistant utile dans notre vie quotidienne — pour nous aider à cuisiner, à réparer des choses ou à apprendre le monde — elle doit maîtriser la complétude factuelle. GAMUT nous donne la règle pour mesurer ce progrès, et pour l'instant, les règles montrent que nous avons encore un long chemin à parcourir. Les meilleurs modèles ne sont qu'à environ 60 % du chemin, laissant beaucoup de place à la prochaine génération d'IA pour apprendre à être véritablement approfondie.

Résumé technique : GAMUT – Un benchmark pour la complétude factuelle dans la génération ouverte

Énoncé du problème

L'évaluation actuelle de la facticité de l'IA générative à long format s'est principalement concentrée sur la précision : déterminer si les affirmations spécifiques qu'un modèle émet sont correctes. Le paradigme dominant, décomposition-recherche-vérification (DSV), décompose les réponses en affirmations atomiques et les vérifie par rapport à des documents récupérés. Cependant, cette approche ignore largement le rappel : si une réponse contient toutes les informations qu'une réponse complète devrait posséder.

L'article soutient que réduire la facticité à une liste plate de vérifications booléennes indépendantes est une limitation fondamentale. Ce modèle ne parvient pas à capturer :

La couverture ouverte : De nombreuses questions nécessitent de couvrir un sous-ensemble suffisant d'un ensemble vaste et non borné de faits acceptables (par exemple, lister des plats traditionnels utilisant un ingrédient spécifique), où aucun élément n'est obligatoire.
Les processus ordonnés : La qualité d'une réponse dépend souvent de la séquence correcte des étapes, ce que les vérifications indépendantes ne peuvent pas évaluer.
Les relations structurelles : Les faits existent souvent dans des contextes hiérarchiques ou relationnels qu'une simple liste de contrôle ne peut représenter.

Par conséquent, les méthodes existantes peinent à mesurer la complétude factuelle, la « moitié manquante » de la facticité.

Méthodologie : Le cadre de la méta-rubrique à deux niveaux

Pour répondre à la tension entre l'expressivité nécessaire pour décrire une bonne réponse et la fiabilité requise pour une notation automatique, les auteurs introduisent un cadre de méta-rubrique à deux niveaux.

1. Méta-rubrique structurée (Espace d'annotation)

À ce niveau, une représentation structurée capture l'organisation, l'importance et les relations du contenu requis. Elle est ancrée dans des preuves web vérifiées par des humains. Le cadre définit cinq types d'éléments :

Connaissance simple : Faits discrets (ex. : identité d'une entité).
Liste stricte : Un ensemble fini où chaque élément est requis.
Liste flexible : Un bassin d'options valides où un seuil minimum de couverture est requis (ex. : « nommer au moins 2 épices sur 6 »).
Processus : Une séquence ordonnée d'étapes, distinguant les étapes obligatoires des étapes optionnelles.
Relation : Connexions ou contrastes entre des entités.

Les éléments sont assignés à des niveaux d'importance : Critique pour la réponse (essentiel pour la correction), Valeureux (améliore significativement la réponse) et Contexte (contexte utile). Les méta-rubriques peuvent également inclure des méta-insights, qui synthétisent des modèles à travers les éléments.

2. Rubrique binaire compilée (Espace d'évaluation)

Pour permettre une notation fiable par des juges basés sur des LLM (Grands Modèles de Langage), la méta-rubrique structurée est convertie mécaniquement en une liste de contrôle binaire plate de vérifications de type succès/échec.

Règles de conversion :
- Les Listes strictes deviennent des vérifications individuelles pour chaque élément.
- Les Listes flexibles deviennent une vérification de seuil de base (ex. : « mentionner au moins N de X ») plus des vérifications individuelles pour des éléments spécifiques à un niveau d'importance inférieur.
- Les Processus génèrent des vérifications de présence pour chaque étape et des vérifications de séquence pour l'ordre des étapes obligatoires.
Notation : Un juge LLM évalue la réponse par rapport à chaque vérification binaire indépendamment, renvoyant l'un des quatre verdicts : répond aux critères, répond partiellement, manquant ou contredit.
Score Gamut : Une moyenne pondérée des scores par niveau (Critique pour la réponse, Valeureux, Contexte). Les contradictions sont pénalisées plus lourdement que les omissions ( $\mu < 0$ ), et un crédit partiel est accordé pour les réponses directionnellement correctes mais imprécises ( $\lambda$ ).

Construction du jeu de données : GAMUT

Le cadre est instancié sous la forme de GAMUT (Grounded Assessment of Multimodal Factuality), un benchmark pour la « recherche approfondie du quotidien ».

Portée : 1 813 questions réparties dans 10 domaines divers (ex. : nourriture, véhicules, plantes, lieux locaux).
Modalité : Priorité au multimodal, ancré dans de réelles images portées (issues du jeu de données CRAG-MM) représentant souvent des objets dans des conditions imparfaites (faible luminosité, occlusion). Une variante uniquement textuelle est également publiée.
Processus de création : Un pipeline hybride où des LLM de pointe proposent des questions et des rubriques candidates, qui sont ensuite rigoureusement révisées, modifiées et vérifiées par des annotateurs humains experts. Cela garantit que les questions ne sont pas orientées (solvables sans l'image) et que les rubriques sont ancrées dans des preuves plutôt que dans des hallucinations de modèles.
Complexité : Chaque question est couplée à une rubrique contenant une moyenne de 15,2 vérifications binaires, dérivées d'environ 10 extraits web par question. 98 % des questions nécessitent des composants structurés (listes, processus, relations) au-delà des simples faits.

Résultats clés

Les auteurs ont évalué 14 modèles de pointe et de poids ouverts sur GAMUT.

Niveau de difficulté : Le benchmark est très exigeant. Le modèle le plus performant, Gemini 3.1 Pro, a obtenu un score Gamut de seulement 58,7 %, répondant au plus à 55 % des éléments de la rubrique.
Pouvoir discriminatoire : Le benchmark classe efficacement les modèles selon des capacités comprises de manière indépendante (les modèles plus récents/plus grands surpassent les plus anciens/plus petits ; les modèles propriétaires surpassent les modèles de poids ouverts). Les classements sont restés stables à travers différents juges LLM (Gemini, Claude, Qwen), indiquant une robustesse.
Modes de défaillance : Le mode de défaillance dominant est l'omission plutôt que la contradiction. Même les modèles les plus forts manquent des parties significatives de l'information requise, tandis que les taux de contradiction restent relativement bas pour les meilleurs modèles.
Multimodal vs Texte seul : Le retrait de l'exigence d'identification visuelle (variante texte seul) a augmenté les scores d'environ 10 à 20 points de manière constante pour tous les modèles. Cela suggère que le classement multimodal reflète des différences de complétude de la connaissance plutôt que de simples capacités de perception.

Signification et contributions

Le papier apporte quatre contributions principales :

Recadrage de la facticité : Il établit la complétude factuelle comme une cible d'évaluation de premier rang, identifiant la réduction de la facticité à des vérifications booléennes indépendantes comme une limitation partagée des méthodes actuelles de précision et de rappel.
Innovation méthodologique : Il introduit le cadre de la méta-rubrique à deux niveaux, qui concilie le besoin d'une annotation expressive et structurée avec la fiabilité d'une évaluation binaire et automatisable par machine.
Publication du benchmark : Il présente GAMUT, un benchmark multimodal de questions de recherche approfondie du quotidien ancrées dans des images réelles, construit via un processus rigoureux impliquant l'humain dans la boucle.
Preuve empirique : Il démontre que le rappel factuel est loin d'être résolu, révélant des écarts importants dans les performances des modèles que les évaluations basées sur la précision ne parviennent pas à détecter.

Les auteurs concluent que la méta-rubrique à deux niveaux est une recette généralisable pour évaluer la génération ouverte où les listes de contrôle plates sont insuffisantes, et ils publient le benchmark, sa variante texte seul, ainsi que les scripts d'évaluation pour l'usage de la communauté.