SimpleQA Verified: A Reliable Factuality Benchmark to Measure Parametric Knowledge

Deze paper introduceert SimpleQA Verified, een betrouwbaarder en uitdagender benchmark van 1.000 prompts voor het evalueren van de feitelijke nauwkeurigheid van grote taalmodellen, waarbij Gemini 2.5 Pro met een F1-score van 55,6 de beste prestatie levert.

De kern

Samenvatting: SimpleQA Verified – De Nieuwe "Eerlijke Examen" voor AI

Stel je voor dat je een groep slimme studenten (de AI-modellen) wilt testen op hun algemene kennis. Je geeft ze een examen, maar je merkt dat het examen een paar grote problemen heeft:

1. Sommige vragen zijn dubbelop (alsof je drie keer vraagt: "Hoe oud is de Eiffeltoren?").
2. De antwoorden in het antwoordboekje zijn soms fout.
3. De vragen zijn te makkelijk of te gericht op één specifiek onderwerp, waardoor de studenten kunnen "leren voor het examen" in plaats van echt slim te zijn.

Google DeepMind heeft dit probleem opgelost met SimpleQA Verified. Hier is hoe ze dat hebben gedaan, vertaald naar alledaagse taal:

1. Het Oude Examen (SimpleQA) had gebreken

Het originele examen (SimpleQA) was een goede poging, maar het was rommelig. Het was alsof een leraar een toets had gemaakt terwijl hij halfslap was:

• Dubbelingen: Er zaten honderden vragen over dezelfde kleine Colombiaanse stadjes. Als een AI die eenmaal had geleerd, scoorde hij perfect, maar wist hij niets over andere onderwerpen.
• Foute antwoorden: Soms stond er in het antwoordboekje een fout antwoord. De AI werd dan bestraft omdat hij het juiste antwoord gaf, maar het verkeerde antwoord uit het boekje.
• Voorkeur: De vragen waren te veel gericht op wetenschap en te weinig op andere dingen, of juist te veel op specifieke datums.

2. De Grote Schoonmaakbeurt (SimpleQA Verified)

Google heeft het hele examenpakket door een strenge wasmachine gehaald om een SimpleQA Verified te maken. Ze hebben dit in stappen gedaan:

• De "Dubbelcheck" (Deduplicatie): Ze hebben alle vragen die te veel op elkaar leken, verwijderd. Alsof je 100 vragen over "Hoe heet de hoofdstad van Frankrijk?" verwijdert en er maar één houdt.
• De "Eigenaar-check" (Respecteren van webbeheerders): Sommige websites zeggen: "Geen robots mogen hier komen." De originele test had vragen die alleen op die verboden sites te vinden waren. Google heeft die vragen verwijderd, zodat de AI niet op een "verboden terrein" wordt getest.
• De "Balans-check": Ze hebben gekeken of er genoeg vragen waren over sport, kunst, geografie en geschiedenis. Ze hebben de vragen zo gekozen dat het een eerlijk mix is, net als een goed samengesteld schoolrooster.
• De "Waarheidscheck": Ze hebben gecontroleerd of de antwoorden kloppen. Als er twee bronnen waren die tegenstrijdige dingen zeiden, hebben ze het probleem opgelost of de vraag verwijderd.
• De "Moeilijkheids-check": Om te voorkomen dat de AI's het te makkelijk hebben, hebben ze de 1000 makkelijkste vragen verwijderd. Ze houden alleen de 1000 allerlastigste vragen over die zelfs de slimste AI's nog niet perfect kunnen beantwoorden.

3. De Nieuwe "Jury" (De Autorater)

In het verleden keek een computer (de autorater) naar het antwoord van de AI en gaf een cijfer. Soms was die computer te streng of te verward.

• Voorbeeld: Als de AI zegt: "Het is ongeveer 100, maar misschien 102," en het juiste antwoord is 101, gaf de oude jury een onvoldoende.
• De nieuwe regeling: De nieuwe jury is slimmer. Ze zeggen: "Als het antwoord tussen 99 en 103 ligt, is het goed." Ze kijken ook beter of de AI echt heeft geprobeerd te antwoorden of dat hij alleen maar "misschien" en "weet ik niet" heeft gezegd.

4. Wie heeft gewonnen?

Toen ze dit nieuwe, eerlijke examen lieten doen door de slimste AI's ter wereld (zoals GPT-5, Claude en Gemini), gebeurde er iets interessants:

• Gemini 2.5 Pro (van Google) scoorde het beste. Het haalde een score van 55,6%.
• Dit betekent dat het model ongeveer 55% van de lastige vragen correct beantwoordde zonder hulp van Google of zoekmachines.
• Andere modellen, zoals GPT-5, deden het ook goed, maar net iets minder goed dan Gemini op deze specifieke test.

Waarom is dit belangrijk?

Stel je voor dat je een auto koopt en de verkoper zegt: "Deze auto is de snelste ter wereld!" Maar je merkt dat hij alleen op een rechte, lege weg is getest.
SimpleQA Verified is als een nieuwe testbaan met bochten, regen, en hellingen. Het laat zien welke AI echt "slim" is en welke AI alleen maar goed is in het uit het hoofd leren van een trucsje voor een specifiek examen.

Kortom: Google heeft een schoner, eerlijker en moeilijker examen gemaakt om te zien welke AI echt feiten uit zijn hoofd kent en welke AI begint te "hallucineren" (dromen). En tot nu toe wint Gemini 2.5 Pro deze strijd.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "SimpleQA Verified: A Reliable Factuality Benchmark to Measure Parametric Knowledge", geschreven in het Nederlands.

Probleemstelling

De capaciteit van Large Language Models (LLM's) om feitelijke informatie te genereren is cruciaal voor hun bruikbaarheid, maar "hallucinaties" blijven een groot obstakel, vooral in kritieke zakelijke toepassingen. Hoewel er benchmarks bestaan om de feitelijke nauwkeurigheid van modellen te meten, vertoont de huidige industriestandaard, OpenAI's SimpleQA (gepubliceerd eind 2024), ernstige tekortkomingen die de betrouwbaarheid van evaluaties ondermijnen:

• Onjuiste labels en ruis: De dataset bevat foutieve grondwahrheden (ground truths) en inconsistenties.
• Bias: Er is sprake van een sterke bias in onderwerpen en vraagformaten, vaak veroorzaakt door de voorkeuren van menselijke beoordelaars.
• Redundantie: De dataset bevat veel semantisch of lexicaal overlappende vragen (bijv. veelvuldige vragen over de oprichtingsdatum van Colombiaanse gemeenten), wat leidt tot overfitting in plaats van het meten van echte kennis.
• Bronproblemen: Sommige referentie-URL's zijn ongeldig of respecteren niet de crawl-beperkingen (robots.txt) van webuitgevers.

Deze problemen zorgen voor een "ruisig" evaluatiesignaal, waardoor het moeilijk is om te bepalen of prestatieverbeteringen voortkomen uit echte kennisverbetering of uit het overfiten op de specifieke eigenaardigheden van de benchmark.

Methodologie: SimpleQA Verified

De auteurs hebben SimpleQA Verified ontwikkeld, een gefilterde en verbeterde versie van de oorspronkelijke SimpleQA-dataset, bestaande uit 1.000 prompts. Het creatieproces omvatte een strenge, meerstaps filtratie:

1. Unieke Bronnen: Vragen die dezelfde referentie-URL deelden, werden verwijderd om te voorkomen dat vragen over-gecentreerd zijn rond de voorkeuren van één beoordelaar.
2. De-duplicatie:
   • Semantisch: Gebruik van Gemini-embeddings (cosine similarity > 0,77) om zeer vergelijkbare vragen te verwijderen.
   • TF-IDF: Gebruik van TF-IDF-matrices voor exacte woordovereenkomsten om redundante vragen te elimineren.
3. Respect voor Uitgevers: Vragen waarvan de URL's onderhevig waren aan specifieke crawl-beperkingen (zoals Google-Extended of andere robots.txt-regels van uitgevers) werden verwijderd om ethische en technische integriteit te waarborgen.
4. Diversiteit: De dataset werd herschikt om de verdeling van antwoordtypes (bijv. data, nummers, personen) en onderwerpen (wetenschap, kunst, etc.) te balanceren, zodat modellen niet worden gestraft voor specifieke zwaktes.
5. Reconciliatie van Bronnen:
   • Niet-numerieke antwoorden: Vragen met ambiguïteit of tegenstrijdige bronnen werden verwijderd of gecorrigeerd.
   • Numerieke antwoorden: Een geautomatiseerde beoordelaar met code-uitvoering controleerde of bronnen binnen een 5% foutmarge lagen.
6. Verhoging van de Moeilijkheidsgraad ("Headroom"): Om te voorkomen dat het benchmark te makkelijk wordt na het verwijderen van fouten, werden de 1.000 moeilijkste vragen geselecteerd. Dit gebeurde door vragen te verwijderen die door alle toonaangevende frontier-modellen correct werden beantwoord.
7. Metadata en Handmatige Controle: URL's werden opgeschoond, bronkwaliteit gecontroleerd, en metadata toegevoegd over redeneringsvereisten en meerstapsvragen.

Verbeterde Autorater:
De auteurs verbeterden ook de prompt voor de automatische beoordelaar (autorater):

• Numerieke tolerantie: In plaats van exacte overeenkomst, werden acceptabele bereiken (bijv. ±1% of ±5%) gedefinieerd op basis van de aard van de vraag.
• Directe antwoorden: De prompt werd verduidelijkt om te focussen op het directe antwoord, negerend extra informatie.
• Hedging (Twijfelen): Antwoorden die meerdere opties noemen zonder zich te committeren aan één antwoord, worden nu correct als "niet geprobeerd" beoordeeld, in plaats van als correct.

Kernbijdragen

• SimpleQA Verified Dataset: Een schone, gebalanceerde en robuuste benchmark van 1.000 vragen die vrij is van de ruis en bias van de originele dataset.
• Verbeterde Evaluatie-protocol: Een verfijnde autorater-prompt die beter omgaat met numerieke toleranties, hedging en lange antwoorden.
• Open Science: De dataset, evaluatiecode en een publieke leaderboard zijn beschikbaar gesteld via Kaggle.

Resultaten

De benchmark werd gebruikt om diverse frontier-modellen te evalueren zonder gebruik van externe tools (zoals zoekfuncties), om puur de parametrische kennis te meten.

• Topperformant: Gemini 2.5 Pro behaalde de hoogste F1-score van 55,6%, wat een nieuwe state-of-the-art (SOTA) markeert.
• Vergelijking: Gemini 2.5 Pro presteerde beter dan recente releases zoals GPT-5 (52,3%) en Claude Opus 4 (28,3%).
• Invloed van de verbeteringen: De prestaties op SimpleQA Verified zijn over het algemeen vergelijkbaar met de originele SimpleQA, maar de rangschikkingen zijn betrouwbaarder. Sommige modellen (zoals GPT-4o en Claude Opus 4) scoorden significant slechter op de nieuwe versie, wat suggereert dat ze eerder profiteerden van de redundantie en bias in de originele dataset.
• Meting: De belangrijkste metriek is de F1-score, berekend als het harmonisch gemiddelde van de nauwkeurigheid (Accuracy) en de nauwkeurigheid gegeven dat er een poging is gedaan (Accuracy Given Attempted).

Betekenis en Impact

SimpleQA Verified biedt de AI-gemeenschap een hogere fideliteit tool om de ware vooruitgang in feitelijke kennis van modellen te volgen. Door de ruis en overfitting-risico's te elimineren, zorgt deze benchmark ervoor dat:

1. Ontwikkelaars zich richten op het verbeteren van de intrinsieke kennis van modellen in plaats van het "leren" van benchmark-specifieke patronen.
2. De voortgang in het verminderen van hallucinaties nauwkeuriger kan worden gemeten.
3. Er een betrouwbaarder fundament ligt voor het bouwen van vertrouwenswaardige AI-systemen, vooral in domeinen waar feitelijke nauwkeurigheid niet onderhandelbaar is.

Samenvattend stelt dit werk een nieuwe standaard neer voor het evalueren van parametrische feitelijke kennis, waarbij de betrouwbaarheid van de meting wordt verhoogd door rigorose data-curatie en verbeterde evaluatiemethoden.