Beyond Questions: Evaluating What Large Language Models (Actually) Know
Dit artikel introduceert "Beyond Questions" (BeQu), een nieuw paradigma voor de evaluatie van open kennis dat grote taalmodellen beoordeelt op de kennis die ze op natuurlijke wijze tot uitdrukking brengen via open-ended elicitation in plaats van vooraf bepaalde vragen, waardoor aanzienlijke inzichten worden verkregen in de modelcapaciteiten over diverse factoren zoals schaal en redeneerinspanning.
Oorspronkelijke auteurs:Luca Giordano, Simon Razniewski
Oorspronkelijke auteurs: Luca Giordano, Simon Razniewski
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je probeert uit te vinden wat een student eigenlijk weet over een beroemd historisch figuur, zoals Martin Luther King Jr.
De Oude Manier (De "Quizshow"-benadering) Sinds jaar en dag testen onderzoekers AI-modellen als een strenge quizshowhost. Ze stellen specifieke, smalle vragen: "Wat was zijn geboortedatum?" of "Wie was zijn echtgenote?"
Het Probleem: Dit is als het beoordelen van een kok alleen door te vragen of hij een gegrilde kaasbroodje kan maken. Als de kok een meesterbanketbakker is maar slecht in broodjes, zegt de quiz dat hij een slechte kok is. De test meet alleen wat de quizontwerper bedacht om te vragen. Als de ontwerper nooit vroeg naar de favoriete kleur van de kok, blijft de kennis van de AI over dat feit onzichtbaar. Dit noemen we beschikbaarheidsbias.
De Nieuwe Manier (De "Verhalen en Vertellen"-benadering) Dit artikel introduceert een nieuwe methode genaamd Open Knowledge Evaluation. In plaats van een quiz, stel je je voor dat je de AI vraagt: "Vertel me alles wat je weet over Martin Luther King Jr."
Het Doel: We controleren niet alleen of de AI het juiste antwoord geeft op een specifieke vraag. We kijken naar het hele verhaal dat het vertelt. We controleren:
Precisie: Heeft het feiten verzonnen (hallucinaties)?
Recall: Herinnerde het zich alles wat het weet, of liet het belangrijke details weg?
Het Hulpmiddel: BeQu (Beyond Questions) Om dit te testen, bouwden de auteurs een enorm speelveld genaamd BeQu.
Ze kozen 10.000 willekeurige dingen (mensen, plaatsen, gebeurtenissen) uit Wikipedia.
Ze bouwden een "Referentiebibliotheek" voor elk daarvan, waarbij ze feiten verzamelden uit Wikipedia en het web.
Ze vroegen 20 verschillende AI-modellen om "alles te vertellen wat ze weten" over deze 10.000 dingen.
Vervolgens gebruikten ze een superslimme AI-rechter om de verhalen die de modellen vertelden te vergelijken met de Referentiebibliotheek, om te zien wat waar was, wat onwaar was en wat ontbrak.
Wat Ze Vonden (De Resultaten)
Grote Modellen Winnen Nog Steeds (Maar Open Modellen Haken Aan): Stel je de AI-modellen voor als studenten. De "commerciële" studenten (betaalde, grote modellen zoals Claude Opus) halen nog steeds de hoogste cijfers. Echter, sommige "open-source" studenten (gratis modellen) scoren opmerkelijk dichtbij, wat bewijst dat ze zeer concurrerend zijn.
Hard Denken Helpt Niet Veel: Je zou denken: "Als ik de AI zeg om 'harder na te denken' of 'meer te redeneren' voordat het antwoordt, zal het meer weten." Het artikel vond dat dit voor deze specifieke taak grotendeels een mythe is. Of de AI nu 1 seconde of 10 seconden "nadenkte", de hoeveelheid feiten die het naar boven haalde, veranderde niet veel. De kennis was er al; het moest alleen worden uitgesproken.
De "Strenge Leraar" versus de "Creatieve Schrijver": De onderzoekers probeerden de AI te dwingen om in een strikt formaat te antwoorden (zoals een spreadsheet met specifieke kolommen).
Resultaat: De AI werd zeer accuraat (hoge precisie) maar stopte met het delen van veel feiten (lage recall). Het was als een student die alleen precies antwoordt wat de leraar vraagt en weigert extra context toe te voegen.
Daarentegen, wanneer de AI vrij en open mocht zijn, deelde het meer feiten, zelfs als het af en toe een kleine fout maakte.
Meer Vragen Levert Meer Op (Totdat Het Dat Niet Meer Doet): Toen de onderzoekers de AI vroegen om "5 feiten" te noemen versus "100 feiten", deelde de AI met het grotere verzoek meestal meer kennis. Echter, als ze de AI te hard dwongen om honderden feiten te noemen, begon het dingen te verzinnen (hallucineren) om gewoon aan het quotum te voldoen.
De "Valse Persoon"-test: Ze vroegen de AI over dingen die niet bestaan (zoals de "Internationale Luchthaven van Andorra"). De beste modellen zeiden gewoon: "Ik weet niets over dat." De zwakkere modellen begonnen valse details te verzinnen, wat liet zien dat ze aan het gokken waren in plaats van te weten.
De Conclusie Dit artikel stelt dat we moeten stoppen met het behandelen van AI als een meerkeuzetoetsmachine. Om echt te begrijpen wat een AI weet, moeten we het vrij laten praten en kijken hoeveel van de echte wereld het kan beschrijven, hoe nauwkeurig het dat doet, en wat het ervoor kiest weg te laten. De nieuwe "BeQu"-benchmark is een hulpmiddel om deze "Verhalen en Vertellen"-vaardigheid te meten, en onthult dat hoewel AI slimmer wordt, het nog steeds veel verborgen kennis heeft die het niet altijd kiest om te delen.
Technische Samenvatting: Beyond Questions (BeQu)
Probleemstelling
Huidige benchmarks voor het evalueren van de kennis van Large Language Models (LLM's) zijn sterk afhankelijk van vooraf gedefinieerde vraag-antwoordparen (QA). De auteurs betogen dat dit paradigma lijdt aan een fundamentele beschikbaarheidsbias: het kan alleen kennis evalueren die door de benchmarkontwerpers expliciet is geselecteerd om te bevragen. Bijgevolg blijven feiten buiten het bereik van deze vragen onzichtbaar, en impliceert een hoge prestatie op dergelijke benchmarks niet noodzakelijk brede, algemene kennis. Bovendien staan bestaande QA-benchmarks voor problemen van verzadiging, datalekken en promptgevoeligheid. Hoewel recent werk over "kennismaterialisatie" probeert kennis te extraheren via open-ended prompts, ontbreekt er een systematisch kader om de betrouwbaarheid, precisie en recall van dergelijke open-ended kennisontsluiting te evalueren.
Methodologie: De BeQu-benchmark
Het artikel introduceert Open Knowledge Evaluation, een paradigma dat de focus verschuift van het ophalen van antwoorden op vaste queries naar het karakteriseren van de kennis die modellen van nature aan het licht brengen als reactie op open-ended prompts (bijvoorbeeld: "Vertel me alles wat je weet over X"). Dit wordt geïmplementeerd via BeQu (Beyond Questions), een benchmark bestaande uit 10.000 entiteiten en 6 GB referentiecorpora.
Constructie van de benchmark
Selectie van entiteiten: Drie subsets worden gedefinieerd:
Random: 10.000 Wikipedia-artikelen gefilterd op lengte, aantal Wikidata-statementen en niet-ambiguïteit, vervolgens gescoord door een LLM-rechter (Llama 4 Scout) op informativiteit en geschiktheid.
Domeinen: 100 entiteiten per elk van de 10 domeinen (bijvoorbeeld Persoon, Organisatie, Evenement).
Niet-bestaand: 10 handmatig gemaakte nep-entiteiten om hallucinaties te testen.
Constructie van het referentiecorpus: Voor elke entiteit wordt een referentiecorpus opgebouwd uit het volledige Wikipedia-artikel en tot 20 webdocumenten (via de Brave Search API). Een LLM extrahert feitelijke triples (onderwerp, predicaat, object) uit deze bronnen om te dienen als ground truth.
Evaluatieprotocol: De evaluatie behandelt de output van het model als een set van geëliciteerde triples en vergelijkt deze met het referentiecorpus met behulp van Textual Entailment (Natural Language Inference) via een LLM-rechter.
Precisie: Meet het fractioneel aantal door het model gegenereerde triples dat wordt afgeleid (entailed) door het referentiecorpus.
Recall: Meet het fractioneel aantal referentietriples dat wordt afgeleid door de door het model gegenereerde triples.
Metingen: Entailment-Precisie, Recall en F1-score.
Belangrijkste bijdragen
Paradigmaverschuiving: Introductie van Open Knowledge Evaluation, die verder gaat dan vooraf gedefinieerde QA-paren om kennisuitdrukking te beoordelen via open-ended ontsluiting.
BeQu-benchmark: Een grootschalige benchmark met 10.000 entiteiten en referentiecorpora die is ontworpen om zowel precisie als recall van gegenereerde kennis te meten.
Empirische analyse: Een uitgebreide studie over 20 modellen (commercieel en open-source) die de effecten analyseert van redeneerinspanning, modelgrootte, promptformaat en kennisdomein.
Experimentele resultaten
1. Modelrangschikking en schaling
Prestaties: Commerciële modellen domineren over het algemeen de top van de ranglijst (bijvoorbeeld Claude Opus 4.6, Kimi K2.5, Gemini 3 Flash), hoewel enkele open-weight modellen opmerkelijk dicht in de buurt komen.
Schaling: F1-scores nemen over het algemeen toe met de modelgrootte binnen families (bijvoorbeeld Anthropic, OpenAI, Google). De effecten van schaling variëren echter: grotere modellen vertonen vaak een hogere recall, maar soms een lagere precisie.
Precisie-Recall-grens: Er bestaat een duidelijke afweging; geen enkel model bereikt gelijktijdig hoge precisie en hoge recall. Modellen clusteren in groepen met "hoge precisie/lage recall" (bijvoorbeeld GPT-5 Nano) of "hoge recall/matige precisie" (bijvoorbeeld Claude Opus 4.6). De leidende F1-scores worden voornamelijk gedreven door recall, wat suggereert dat de beperkende factor vaak het falen van het model is om bekende feiten te bevestigen, in plaats van het bevestigen van onjuiste feiten.
2. Redeneerinspanning
Minimale impact: Het variëren van de redeneerinspanning (laag, medium, hoog) in modellen zoals Claude Opus 4.6, GPT-5.4 en Gemini 3.1 Pro resulteerde in verwaarloosbare veranderingen in de totale F1-scores (variaties < 0,05). Dit suggereert dat feitelijke kennis grotendeels is gecodeerd en opgehaald zonder dat expliciete, inspannende redeneerstappen nodig zijn.
3. Domein en hallucinatie
Domeinvariatie: De prestaties variëren per domein. "Evenement" en "Wetenschappelijk concept" leverden de hoogste scores op, terwijl "Persoon" voor alle geteste modellen het zwakst was, voornamelijk gedreven door een lage recall.
Hallucinatie: Bij niet-bestaande entiteiten onthield GPT-5.4 zich volledig van het genereren van triples. Andere modellen (DeepSeek V3.2, Llama 4 Scout) hallucineerden aanzienlijke aantallen triples.
4. Promptformaat en beperkingen
Schemabeperkingen: Het afdwingen van gestandaardiseerde outputschema's (bijvoorbeeld Wikidata, Schema.org) verbeterde de precisie aanzienlijk, maar liet de recall drastisch instorten.
Open-ended versus beperkt: Open-ended prompts leverden de beste totale F1-scores op.
Predicaatlijsten: Vooraf gedefinieerde predicaatlijsten waren de dominante factor in de afweging tussen precisie en recall; het verwijderen ervan herstelde aanzienlijke recall tegen een bescheiden kostenpost voor precisie.
5. Triple-bereik
Afnemende meeropbrengst: Het verhogen van het gevraagde aantal triples per entiteit verbeterde de recall en F1 tot op een bepaald punt (bijvoorbeeld piekte GPT-5.4 bij 75–150 triples), waarna de prestaties plat liepen of verslechterden door hallucinaties. Dit geeft aan dat modellen latente kennis bezitten die niet volledig tot uitdrukking komt wanneer ze worden beperkt tot kleine outputvolumes.
Betekenis en claims
Het artikel beweert dat BeQu een noodzakelijke aanvulling biedt op bestaande QA-gebaseerde benchmarks door de beschikbaarheidsbias aan te pakken en het volledige spectrum van kennisuitdrukking te meten (zowel wat modellen weten als wat ze kiezen om te zeggen).
De belangrijkste conclusies die door de auteurs worden benadrukt, zijn:
Benchmarkduurzaamheid: Open-ended kennisgeneratie is verre van verzadigd, en open-source modellen zijn in dit paradigma concurrerend met commerciële modellen.
De "onredelijke" taak: In tegenstelling tot andere taken biedt expliciete redeneerinspanning verwaarloosbare voordelen voor open-ended kennisuitdrukking.
Afwegingen: Hoewel schemadwinging de precisie verhoogt, schaadt het de recall aanzienlijk, en expliciete pogingen om via prompting precisie in te leveren voor recall hebben een beperkt effect.
Standaardisatie: De auteurs stellen voor dat open knowledge evaluation een standaarddimensie moet worden van LLM-evaluatie, naast conventionele QA.
De auteurs erkennen beperkingen, voornamelijk de afhankelijkheid van een LLM als rechter (Llama 4 Scout) voor entailment, wat systematische biases kan voortplanten, en het gebruik van bemonsterde subsets (200 entiteiten) voor de meeste experimenten vanwege computergrenzen.