GPTKB v1.5: A Massive Knowledge Base for Exploring Factual LLM Knowledge
Dit artikel introduceert GPTKB v1.5, een kosteneffectieve, 100-miljoen-triples kennisbank geconstrueerd uit GPT-4.1 via massale recursieve materialisatie, die systematische exploratie, gestructureerde query's en vergelijkende analyse van feitelijke LLM-kennis mogelijk maakt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een superintelligente robot hebt die bijna alles op het internet heeft gelezen. Je weet dat hij veel feiten kent, maar als je hem vraagt: "Wat weet je over de Eiffeltoren?", vertelt hij misschien een paar dingen. Als je vraagt: "En de Louvre?", vertelt hij meer. Maar je hebt geen idee wat hij niet weet, of hoe diep zijn kennis echt gaat, omdat je hem slechts één vraag tegelijk kunt stellen. Het is alsof je een continent probeert in kaart te brengen door alleen naar de plekken te kijken waar je toevallig langs wandelt.
GPTKB v1.5 is een project dat de spelregels verandert. In plaats van de robot één voor één vragen te stellen, hebben de onderzoekers een enorme, onderling verbonden kaart gebouwd van alles wat de robot (specifiek GPT-4.1) weet. Denk aan het veranderen van een verspreide stapel trivia-kaartjes in een gigantische, doorzoekbare bibliotheek waar elk feit met elk ander feit is verbonden.
Hier is hoe ze het deden en wat ze ontdekten, eenvoudig uitgelegd:
1. De "Sneeuwbal"-methode (Hoe ze het bouwden)
De onderzoekers vroegen de robot niet zomaar om willekeurige feiten. Ze gebruikten een slimme "sneeuwbal"-techniek:
- De Zaden (The Seed): Ze begonnen met één specifiek onderwerp, zoals "Vannevar Bush" (een beroemde ingenieur).
- De Expansie: Ze vroegen de robot: "Vertel me alles wat je weet over Vannevar Bush." De robot gaf hen een lijst met feiten, zoals "Hij werkte bij X" of "Hij vond Y uit."
- De Kettingreactie: De robot noemde nieuwe namen in die antwoorden (zoals "X" en "Y"). De onderzoekers vroegen de robot vervolgens direct naar die nieuwe namen.
- Het Resultaat: Ze bleven dit recursief doen, als een kettingreactie, tot 10 lagen diep. Dit creëerde een enorm web van 100 miljoen feiten (genaamd "triples") die 6,1 miljoen verschillende zaken met elkaar verbinden.
Het kostte ongeveer $14.000 aan computertijd om deze hele bibliotheek te bouwen, wat ongeveer 18 dagen duurde.
2. De Rommel Opruimen (De "Consolidatie")
Wanneer je een robot op verschillende manieren dezelfde vraag stelt, geeft hij soms net iets andere antwoorden of gebruikt hij verschillende woorden voor hetzelfde ding (bijvoorbeeld de ene zin een "mens" noemen en de andere keer een "persoon").
Om dit op te lossen, voerden de onderzoekers een "reinigingsproces" uit. Ze groepeerden vergelijkbare woorden en voegden dubbele feiten samen. Dit veranderde een rommelige, redundante stapel data in een schone, georganiseerde database met duidelijke categorieën.
3. Wat kun je met deze kaart?
Het paper introduceert een website waar iedereen deze enorme kennisdatabase op drie manieren kan verkennen:
- De "Wikipedia"-stijl Verkenner: Je kunt op elk item klikken (zoals het "Merlion-standbeeld" in Singapore) en een lijst met feiten zien die de robot erover weet. Je kunt vervolgens klikken op de mensen of plaatsen die in die feiten worden genoemd om naar hun pagina's te springen, waardoor je door de geest van de robot wandelt als door een museum.
- De "Detective" Query Tool: Je kunt complexe vragen stellen met een speciale taal genaamd SPARQL. Je zou bijvoorbeeld kunnen vragen: "Toon me de top 100 meest voorkomende soorten dingen die deze robot weet." De kaart van de robot onthulde dat hij het meeste weet over mensen, gevolgd door films, bedrijven en boeken.
- Een leuke ontdekking: De onderzoekers controleerden of de kennis van de robot eerlijk is. Ze vroegen: "Als de robot weet 'A is getrouwd met B', weet hij dan ook dat 'B getrouwd is met A'?" Ze ontdekten dat dit in 84% van de gevallen niet het geval is. De kennis van de robot is vaak eenzijdig; hij onthoudt één kant van een relatie, maar vergeet de andere kant.
- De "Smaaktest" (Vergelijking): Je kunt verschillende AI-modellen naast elkaar zetten. De onderzoekers vergeleken GPT-4.1 met andere modellen (zoals Llama en DeepSeek).
- Voorbeeld: Wanneer gevraagd naar de beroemde AI-onderzoeker Ilya Sutskever, gaf het GPT-model 40 feiten uit, terwijl het Llama-model er slechts 14 gaf.
- De adder onder het gras: Beide modellen hadden zijn geboortedatum fout! Dit laat zien dat zelfs als één model meer feiten weet, ze allebei dezelfde stomme fouten kunnen maken.
4. Hoe nauwkeurig is het?
De onderzoekers vertrouwden de robot niet blindelings; ze controleerden zijn werk.
- Ze kozen willekeurig 1.000 feiten uit en controleerden deze tegen de echte wereld (met behulp van webzoekopdrachten).
- De Score: Ongeveer 75,5% van de feiten was waar.
- Het Probleem: Ongeveer 19,5% was onwaar, en sommige waren te verwarrend om te verifiëren.
- De Bias: Omdat ze begonnen met specifieke "seed"-namen, is de kaart sterk gewogen naar de zaken waarvan de onderzoekers dachten dat ze erover zouden vragen. Het is een enorme kaart, maar het is geen volledige kaart van het gehele universum aan kennis.
De Kernboodschap
GPTKB v1.5 is een enorm experiment van $14.000 dat een "black box" AI heeft veranderd in een transparante, doorzoekbare bibliotheek. Het bewijst dat we de kennis van een AI systematisch in kaart kunnen brengen, wat onthult dat deze modellen weliswaar ongelooflijk deskundig zijn (ze bevatten 100 miljoen feiten), maar ook gevoelig zijn voor eenzijdige denkbeelden en specifieke fouten. Het is een hulpmiddel voor onderzoekers om te stoppen met gissen naar wat de AI weet en het daadwerkelijk te gaan zien.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.