REAP: Relation-Aware Elicitation and Parsing for Closed-Book Knowledge Base Construction from LLMs
Het REAP-systeem, gebouwd op een 24B-parameter Mistral-model zonder fijnafstemming, bereikt een macro-F1-score van 0,62 in de AKBC Shared Task 2026 door gebruik te maken van gestructureerde chain-of-thought-redenering, relatiespecifieke queries en een redeneringsgebaseerde lege-verzameling-gate om parametrische kennis op te roepen en te parsen naar geldige JSON-arrays.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een vriend hebt die bijna elk boek ter wereld heeft gelezen en een verbijsterende hoeveelheid feiten heeft onthouden, van de hoofdstad van Frankrijk tot het aantal sterren in een specifieke sterrenstelsel. Deze vriend is een "Large Language Model" (LLM). Normaal gesproken, als je hem een simpele vraag stelt zoals "Wie won de Nobelprijs?", geeft hij een snel antwoord. Maar wat als je hem zou vragen om elke persoon op te sommen die ooit die prijs heeft gewonnen, of om hem precies te vertellen welke landen een landgrens delen met een klein eilandland? Plotseling wordt de taak veel moeilijker. De vriend kan een paar namen vergeten, een nepwinnaar verzinnen, of in de war raken over de vraag of een eiland überhaupt buren heeft.
Dit is de uitdaging van "Knowledge Base Construction" (Kennisbankconstructie). Wetenschappers willen deze gigantische, door feiten gevulde breinen omzetten in georganiseerde databases die computers betrouwbaar kunnen gebruiken. Het lastige deel is dat de vriend (de AI) geen bibliotheek heeft om in op te zoeken; hij moet volledig vertrouwen op wat er in zijn hoofd zit (zijn "parameters"). Als het antwoord "niemand" is, moet de vriend weten dat hij "leeg" moet zeggen in plaats van te gokken. Als het antwoord een lange lijst is, moet hij elk item exact goed krijgen zonder er een te missen. Dit paper pakt het probleem aan van hoe je deze AI-vrienden de juiste vragen stelt om perfecte, georganiseerde lijsten te krijgen zonder dat ze hallucineren of in de war raken.
Het REAP-systeem: Een detectivegids voor het AI-geheugen
Maak kennis met REAP (Relation-Aware Elicitation and Parsing). Zie REAP niet als een enkele vraagsteller, maar als een slim detective-team dat samenwerkt met een zeer intelligente, maar soms ietwat slordige getuige (het AI-model). Het doel? Een perfecte, georganiseerde lijst van feiten opbouwen uit het geheugen van de getuige zonder dat deze dingen verzint.
De onderzoekers ontdekten dat als je de AI simpelweg vraagt: "Lijst alle landen op die grenzen aan X," de AI overweldigd kan raken, er een paar kan vergeten, of per ongeluk een grens kan verzinnen die niet bestaat. Het is alsof je een student vraft om een heel hoofdstuk uit een tekstboek op te dreunen in één ademteug; hij kan dan struikelen. In plaats daarvan breekt REAP de taak op in twee duidelijke fasen, als een interviewproces met twee stappen.
Fase 1: De ondervraging van de detective (Redeneren)
In de eerste fase vraagt REAP niet alleen om het antwoord. Het vraagt de AI om eerst na te denken voordat hij spreekt. Afhankelijk van het type vraag gebruikt de detective een speciale strategie:
- Voor Grenzen: In plaats van te vragen "Wie grenst aan dit?", krijgt de AI de opdracht om zich te gedragen als een geografie-expert en de kaart in vier richtingen te scannen (Noord, Zuid, Oost, West) om er zeker van te zijn dat geen kleine buur wordt overgeslagen.
- Voor Awards: Als de AI winnaars van prijzen moet opnoemen, raadt hij niet zomaar. Hij breekt de tijd op in decennia en vraagt: "Wie won er in de jaren 70? Wie won er in de jaren 80?" Dit zorgt ervoor dat de AI een heel tijdperk niet overslaat.
- De "Lege Verzameling" Poort: Dit is een cruciale veiligheidsmaatregel. Soms is het antwoord "niemand" (zoals een levend persoon die nog niet is overleden, of een privaat bedrijf dat niet verhandeld wordt op de beurs). REAP leert de AI te herkennen wanneer een eigenschap niet bestaat en zelfverzekerd te zeggen: "De lijst is leeg," in plaats van een valse naam te verzinnen.
Fase 2: De schoonmaak van de kopiist (Parsing)
Zodra de AI klaar is met zijn denkproces en een rommelige lijst met feiten heeft gegenereerd, komt Fase 2 in actie. Dit is de kopiist die de aantekeningen opruimt. Het systeem gebruikt strikte regels om de antwoorden te pakken en ze perfect te formatteren in een JSON-lijst (een standaard computerformaat). Als de AI in de war raakt en een zin schrijft in plaats van een lijst, probeert het systeem het te herstellen. Als het niet hersteld kan worden, probeert het systeem de vraag opnieuw met een simpelere prompt.
Wat ze hebben gevonden
De onderzoekers testten dit systeem met een specifiek AI-model genaamd Mistral-Small-24B-Instruct-2501, dat ongeveer 24 miljard "hersencellen" (parameters) heeft. Ze werkten onder strikte regels: niet op internet zoeken naar informatie, het brein van de AI niet aanpassen (geen fine-tuning), en een model gebruiken met niet meer dan 32 miljard parameters.
De resultaten waren zeer veelbelovend. Op een testset van moeilijke vragen behaalde het REAP-systeem een macro-F1-score van 0,62. Om dit in perspectief te plaatsen: dit was aanzienlijk beter dan het basissysteem van de organisatoren (dat een score van 0,30 behaalde) en beter dan het gebruik van andere populaire AI-modellen zoals Llama of Gemma met dezelfde methode.
Het systeem presteerde het sterkst bij specifieke soorten vragen:
- Landgrenzen: Het behaalde een score van 0,95, wat betekent dat het bijna perfect was in het opsommen van buurlanden.
- Beurzen: Het scoorde 0,73 voor het vinden van de plaatsen waar bedrijven worden verhandeld.
- Oppervlakte: Het scoorde 0,77 voor het berekenen van de grootte van geografische gebieden.
Echter, het systeem was niet overal perfect. Het had wat meer moeite met locatiecapaciteit (een score van 0,23), waarbij het vaak een klein lokaal stadion verwarde met een beroemd stadion met een vergelijkbare naam. De onderzoekers suggereren dat dit komt doordat het interne geheugen van de AI niet altijd nauwkeurig genoeg is voor zeer specifieke getallen of zeldzame, "long-tail" feiten.
Wat dit betekent (en wat het niet betekent)
Het paper suggereert dat de sleutel tot betere antwoorden van AI niet alleen het hebben van een groter brein is, maar het stellen van de juiste vragen op de juiste manier. Door de AI te dwingen om "stap voor stap te denken" (Chain-of-Thought redeneren) en het specifieke strategieën te geven voor verschillende soorten feiten, kan het systeem meer accurate informatie naar boven halen.
De auteurs merken echter voorzichtig op dat dit geen wondermiddel is. Het systeem vertrouwt nog steeds volledig op wat de AI heeft onthouden. Als de AI een feit over een zeer zeldzame entiteit (zoals een klein eiland of een minder bekende award) niet kent, kan het systeem dit niet verzinnen. Ook, omdat de AI op specifieke computerchips (TPU's) draait, is er een klein beetje willekeur in de resultaten, hoewel dit klein genoeg is om het grote plaatje niet te veranderen.
Kortom, REAP laat zien dat we met een beetje structuur en veel geduld, veel betrouwbaardere feiten uit onze AI-vrienden kunnen lokken, waardoor hun chaotische herinneringen worden omgezet in nette, bruikbare lijsten.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.