💬 NLP

Two-Level Meta-Rubrics for Evaluating Open-Ended Generation: GAMUT, a Benchmark for Factual Completeness

Dit artikel introduceert GAMUT, een nieuwe benchmark en een tweelaags meta-rubriekframework ontworpen om de feitelijke volledigheid van langvormige open eindgeneraties te evalueren door gestructureerde inhoudelijke vereisten om te zetten in door machines te beoordelen checklists, wat onthult dat huidige frontier-modellen moeite hebben met het bereiken van een uitgebreide dekking over diverse, op bewijs gebaseerde domeinen.

Oorspronkelijke auteurs: Xilun Chen, Zhaleh Feizollahi, Ross Goodwin, Seungwhan Moon, Scott Yih, Pinar Donmez, Babak Damavandi, Luna Dong

Gepubliceerd 2026-07-22

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xilun Chen, Zhaleh Feizollahi, Ross Goodwin, Seungwhan Moon, Scott Yih, Pinar Donmez, Babak Damavandi, Luna Dong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De zoektocht naar het volledige antwoord

Stel je voor dat je een robot leert om een behulpzame assistent te zijn. Je wilt niet alleen dat hij de waarheid niet verdraait; je wilt dat hij werkelijk nuttig is. In de wereld van kunstmatige intelligentie is dit het verschil tussen precisie en recall (herinneringsvermogen). Denk aan precisie als een strenge leraar die je alleen een rood kruis geeft als je iets fout schrijft. Als je zegt: "De lucht is groen," markeert de leraar dit als fout. Maar als je zegt: "De lucht is blauw," geeft de leraar je een gouden ster, zelfs als je bent vergeten te vermelden dat de lucht ook blauw met witte wolken is, of dat de kleur verandert bij zonsondergang. Dat is precisie: controleren of wat je wel hebt gezegd, waar is.

Denk nu aan recall als een ander soort leraar die vraagt: "Heb je me alles verteld wat je weet over de lucht?" Als je alleen zei "De lucht is blauw," zou deze leraar kunnen zeggen: "Dat is waar, maar je bent de wolken en de zonsondergang vergeten. Je hebt me niet het volledige plaatje gegeven." Een lang tijd waren AI-onderzoekers erg goed in die eerste leraar (precisie), waarbij ze ervoor zorgden dat robots geen nepfeiten hallucineren. Maar ze hadden moeite met de tweede leraar (recall). Ze hadden geen goede manier om te meten of het antwoord van een robot volledig is, vooral wanneer het antwoord niet slechts een lijst met feiten is, maar een complex verhaal met stappen, relaties en open details. Dit paper vult die kloof in door de vraag te stellen: "Hoe beoordelen we een AI niet alleen op basis van of het juist is, maar ook op basis van hoe grondig het is?"

Ontmoet GAMUT: De "Heb je iets gemist?"-test

De onderzoekers van Meta AI hebben een nieuwe benchmark gebouwd genaamd GAMUT (Grounded Assessment of Multimodal Factuality). Zie GAMUT als een super uitdagend quizspel dat ontworpen is om te testen of een AI een "diepgaande onderzoeker" kan zijn in plaats van slechts een feitencitator.

Hier is de opzet: Stel je voor dat je een slimme bril draagt. Je kijkt naar een vreemd, schilferig gebakje in een bakkerij, of een vreemde auto-motor, of een specifiek type plant. Je vraagt aan je bril: "Wat is dit, en hoe wordt het gemaakt?" De AI moet naar de foto kijken, op internet gaan, informatie verzamelen uit meerdere bronnen en een lang, gedetailleerd antwoord schrijven.

Het probleem met eerdere tests was dat ze antwoorden behandelden als een simpele checklist. Ze vroegen: "Heb je rijst genoemd?" Ja. "Heb je tomaten genoemd?" Ja. "Geslaagd!" Maar het echte leven is geen platte lijst. Soms moet je de volgorde van stappen kennen (je kunt de rijst niet bakken voordat je hem hebt gewassen). Soms moet je weten dat er veel geldige ingrediënten zijn, en je hoeft er slechts genoeg te noemen om behulpzaam te zijn, niet elk bestaand ingrediënt. Soms moet je uitleggen waarom iets gebeurt, door twee feiten aan elkaar te koppelen. Een simpele "ja/nee"-checklist slaagt er niet in deze nuances te vangen.

De Twee-Niveaus Magische Truc
Om dit op te lossen, hebben de auteurs een slim tweestaps-beoordelingssysteem uitgevonden, dat ze een Two-Level Meta-Rubric noemen.

Niveau 1: Het Meesterplan (De Meta-Rubric). Eerst maakt een menselijke expert (bijgestaan door een slimme AI) een gedetailleerd "Meesterplan" voor wat een perfect antwoord inhoudt. Dit plan is niet zomaar een lijst; het is een gestructureerde kaart. Het zegt: "Oké, voor deze vraag moet je de gerecht identificeren (Cruciaal). Je moet de kerningrediënten noemen (Cruciaal). Je zou ten minste twee van deze optionele kruiden moeten noemen (Flexibel). En je moet de kookstappen in de exacte juiste volgorde beschrijven (Proces)." Dit niveau vangt de rommelige, complexe realiteit van een goed antwoord.
Niveau 2: De Checklist (De Binaire Rubric). Hier is de truc. De computer vertaalt dat complexe Meesterplan vervolgens mechanisch naar een lange, platte lijst van simpele "Pass/Fail" vragen die een robot-beoordelaar gemakkelijk kan afvinken. Het verandert "Je moet genoeg optionele kruiden dekken" in een specifieke controle: "Heeft het antwoord ten minste 2 van deze 6 specifieke kruiden genoemd?" Het verandert "Doe de stappen in volgorde" in een controle: "Zei het antwoord 'bakken' vóór 'sudderen'?"

Op deze manier kunnen mensen een rijke, genuanceerde test ontwerpen, terwijl de beoordeling wordt gedaan door een robot die simpele vakjes afvinkt, wat veel betrouwbaarder en consistenter is dan een robot vragen hoe goed een antwoord "voelt".

Het Spel: 1.813 Vragen en Echte Afbeeldingen

Het team heeft een enorme dataset gebouwd genaamd GAMUT die 1.813 vragen bevat. Deze vragen zijn niet verzonnen; ze zijn gebaseerd op echte foto's genomen door mensen die smart glasses dragen. De foto's tonen alledaagse zaken: een specifiek type schoen, een lokaal monument, een vreemd groente of een auto-onderdeel. De vragen zijn ontworpen als "alledaags diepgaand onderzoek"—zaken die een nieuwsgierig persoon echt zou vragen terwijl hij naar iets kijkt, maar die diep graven in het internet vereisen om volledig te beantwoorden.

Ze hebben 14 verschillende AI-modellen getest (zowel de grote, dure modellen van techreuzen als de open-source modellen) op deze benchmark. De resultaten waren oogopenend.

De Bevindingen:

Het is moeilijk. Zelfs het slimste model, Gemini 3.1 Pro, haalde slechts een score van 58,7%. Dat is nauwelijks een voldoende op de middelbare school! Dit betekent dat zelfs de beste AI ter wereld nog steeds een groot deel van de informatie mist die een volledig antwoord zou moeten bevatten.
Missen versus Foutief zijn. Het grootste probleem was niet dat de AI's loog (het tegenspreken van feiten). Het grootste probleem was omissie (het weglaten). De modellen sloegen belangrijke details over. Ze waren als studenten die een kort essay schreven terwijl de leraar om een boek vroeg. Ze kregen de hoofdfeiten goed (precisie), maar ze gaven niet het volledige verhaal (volledigheid).
De "Belasting" van Visie. De onderzoekers testten de modellen ook zonder de afbeeldingen (alleen tekst). Wanneer ze dit deden, gingen de scores voor iedereen met ongeveer 10 tot 20 punten omhoog. Dit laat zien dat een deel van de moeilijkheid simpelweg het "zien" van het object correct was. Maar zelfs na het verwijderen van het visuele gedeelte, hadden de modellen nog steeds hiaten in hun kennis. De rangschikking van de modellen bleef hetzelfde, wat bewijst dat de test echt meet hoeveel de AI weet, en niet alleen hoe goed hij ziet.
Robuustheid. Ze testten de resultaten met drie verschillende "beoordelende" AI's. De rangschikking bleef hetzelfde, ongeacht wie de beoordeling uitvoerde, wat betekent dat de test eerlijk en betrouwbaar is.

Waarom dit ertoe doet

Dit paper zegt niet alleen "AI wordt beter." Het zegt: "We hebben een nieuwe manier om te meten of AI daadwerkelijk behulpzaam is." Door verder te gaan dan eenvoudige "is dit feit waar?"-controles naar "heb je het hele onderwerp behandeld?"-contellen, onthult GAMUT dat zelfs onze meest geavanceerde modellen het bos door de bomen niet meer zien. Ze kunnen je een feit vertellen dat waar is, maar ze vergeten vaak het hele verhaal te vertellen.

De auteurs suggereren dat voor AI om een werkelijk nuttige assistent te zijn in ons dagelijks leven—ons te helpen bij het koken, repareren of leren over de wereld—het de feitelijke volledigheid moet beheersen. GAMUT geeft ons de liniaal om die vooruitgang te meten, en op dit moment laten de linialen zien dat we een lange weg te gaan hebben. De beste modellen zijn slechts voor ongeveer 60% zover, wat veel ruimte laat voor de volgende generatie AI om te leren hoe ze werkelijk grondig kan zijn.

Technische Samenvatting: GAMUT – Een Benchmark voor Feitelijke Volledigheid in Open-Eind Generatie

Probleemstelling

De huidige evaluatie van de feitelijkheid van langvormige generatieve AI heeft zich voornamelijk gericht op precisie: het bepalen of de specifieke beweringen die een model doet, correct zijn. Het dominante paradigma, decompose-search-verify (DSV), breekt reacties af in atomaire claims en verifieert deze tegen opgehaalde documenten. Deze aanpak negeert echter grotendeels recall: of een reactie alle informatie bevat die een volledig antwoord zou moeten bezitten.

Het artikel betoogt dat het reduceren van feitelijkheid tot een platte lijst van onafhankelijke boolean-checks een fundamentele beperking is. Dit model slaagt er niet in om het volgende te vatten:

Open-eind dekking: Veel vragen vereisen het dekken van een voldoende subset van een grote, onbegrensde verzameling acceptabele feiten (bijv. het opsommen van traditionele gerechten die een specifiek ingrediënt gebruiken), waarbij geen enkel item verplicht is.
Geordende processen: De kwaliteit van een antwoord hangt vaak af van de juiste sequentie van stappen, wat onafhankelijke controles niet kunnen evalueren.
Structurele relaties: Feiten bestaan vaak in hiërarchische of relationele contexten die een eenvoudige checklist niet kan representeren.

Gevolgelijk hebben bestaande methoden moeite met het meten van feitelijke volledigheid, de "ontbrekende helft" van feitelijkheid.

Methodologie: Het Two-Level Meta-Rubric Framework

Om de spanning aan te pakken tussen de expressiviteit die nodig is om een goed antwoord te beschrijven en de betrouwbaarheid die vereist is voor automatische beoordeling, introduceren de auteurs een two-level meta-rubric framework.

1. Gestructureerde Meta-Rubric (Annotatieruimte)

In dit niveau legt een gestructureerde representatie de organisatie, belangrijkheid en relaties van de vereiste inhoud vast. Dit is geworteld in door mensen geverifieerde web-evidentie. Het framework definieert vijf itemtypes:

Simple Knowledge: Discrete feiten (bijv. de identiteit van een entiteit).
Strict List: Een eindige set waarbij elk item vereist is.
Flexible List: Een pool van geldige opties waarbij een minimale drempel van dekking vereist is (bijv. "noem ten minste 2 van de 6 specerijen").
Process: Een geordende sequentie van stappen, waarbij onderscheid wordt gemaakt tussen verplichte en optionele stappen.
Relationship: Verbindingen of contrasten tussen entiteiten.

Items worden toegewezen aan belangrijkheidsniveaus: Answer-Critical (essentieel voor correctheid), Valuable (verbetert het antwoord op betekenisvolle wijze) en Context (behulpzame achtergrondinformatie). Meta-rubrics kunnen ook meta-inzichten bevatten, die patronen over items heen synthetiseren.

2. Gecompileerde Binaire Rubric (Evaluatieruimte)

Om een betrouwbare scoring door LLM-judges mogelijk te maken, wordt de gestructureerde meta-rubric mechanisch omgezet in een platte, binaire checklist van pass/fail-controles.

Conversieregels:
- Strict Lists worden individuele controles voor elk item.
- Flexible Lists worden een baseline drempelcheck (bijv. "noem ten minste N van X") plus individuele controles voor specifieke items op een lager belangrijkheidsniveau.
- Processes genereren aanwezigheidscontroles voor elke stap en sequentiecontroles voor de ordening van verplichte stappen.
Scoring: Een LLM-judge evalueert de reactie tegenover elke binaire controle onafhankelijk, waarbij één van vier oordelen wordt geretourneerd: voldoet, voldoet gedeeltelijk, ontbreekt, of weerspreekt.
Gamut Score: Een gewogen gemiddelde van tier-scores (Answer-Critical, Valuable, Context). Weersprekingen worden zwaarder bestraft dan weglatingen ( $\mu < 0$ ), en gedeeltelijke krediet wordt toegekend voor richtinggevend correcte maar onprecieze antwoorden ( $\lambda$ ).

Dataset Constructie: GAMUT

Het framework wordt geïnstantieerd als GAMUT (Grounded Assessment of Multimodal Factuality), een benchmark voor "alledaags diep onderzoek".

Omvang: 1.813 vragen over 10 diverse domeinen (bijv. voedsel, voertuigen, planten, lokale plaatsen).
Modaliteit: Multimodaal-eerst, geworteld in echte wearable-beelden (uit de CRAG-MM dataset) die vaak objecten afbeelden onder imperfecte omstandigheden (weinig licht, obstructie). Een tekstversie is eveneens beschikbaar.
Creatieproces: Een hybride pipeline waarbij frontier LLM's kandidaat-vragen en rubrics voorstellen, die vervolgens rigoureus worden beoordeeld, herzien en geverifieerd door menselijke experts. Dit zorgt ervoor dat vragen niet sturend zijn (oplosbaar zonder de afbeelding) en dat rubrics geworteld zijn in bewijs in plaats van model-hallucinatie.
Complexiteit: Elke vraag is gekoppeld aan een rubric met een gemiddelde van 15,2 binaire controles, afgeleid van ~10 web-snippets per vraag. 98% van de vragen vereist gestructureerde componenten (lijsten, processen, relaties) die verder gaan dan eenvoudige feiten.

Belangrijkste Resultaten

De auteurs hebben 14 frontier en open-weight modellen geëvalueerd op GAMUT.

Uitdagingsniveau: De benchmark is zeer uitdagend. Het best presterende model, Gemini 3.1 Pro, behaalde een Gamut-score van slechts 58,7%, waarbij het maximaal 55% van de rubric-elementen voldeed.
Discriminatief Vermogen: De benchmark onderscheidt modellen effectief op basis van onafhankelijk begrepen capaciteiten (nieuwere/grotere modellen presteren beter dan oudere/kleinere modellen; proprietary modellen presteren beter dan open-weight). De rangschikking bleef stabiel over verschillende LLM-judges (Gemini, Claude, Qwen), wat wijst op robuustheid.
Foutmodi: De dominante foutmodus is omissie (weglating) in plaats van contradictie (weerspreking). Zelfs de sterkste modellen missen significante delen van de vereiste informatie, terwijl de frequentie van weersprekingen relatief laag blijft bij topmodellen.
Multimodaal vs. Tekst-alleen: Het verwijderen van de visuele identificatievereiste (tekst-alleen variant) verhoogde de scores met een constante factor van ongeveer 10–20 punten over alle modellen. Dit suggereert dat de multimodale rangschikking de verschillen in kennisvolledigheid reflecteert in plaats van enkel perceptiecapaciteiten.

Betekenis en Bijdragen

Het artikel levert vier primaire bijdragen:

Herformulering van Feitelijkheid: Het vestigt feitelijke volledigheid als een primaire evaluatietarget, en identificeert de reductie van feitelijkheid tot onafhankelijke boolean-checks als een gedeelde beperking van huidige precisie- en recall-methoden.
Methodologische Innovatie: Het introduceert het two-level meta-rubric framework, dat de noodzaak voor expressieve, gestructureerde annotatie verenigt met de betrouwbaarheid van binaire, machine-graadbare evaluatie.
Benchmark Release: Het presenteert GAMUT, een multimodale benchmark van alledaagse diep onderzoeks-vragen geworteld in echte beelden, geconstrueerd via een rigoureus human-in-the-loop proces.
Empirisch Bewijs: Het demonstreert dat feitelijke recall nog lang niet is opgelost, en onthult grote hiaten in modelprestaties die precisie-gebaseerde evaluaties niet detecteren.

De auteurs concluderen dat de two-level meta-rubric een generaliseerbaar recept is voor het evalueren van open-eind generatie waar platte checklists ontoereikend zijn, en zij stellen de benchmark, de tekst-alleen variant en de evaluatie-scripts beschikbaar voor de gemeenschap.