GPTKB 2.0: Browsing, Querying, and Auditing a Disambiguated LLM-Derived Knowledge Base

Stel je het internet voor als een gigantische, chaotische bibliotheek waar elk boek is geschreven door een andere auteur, en soms hebben twee boeken exact dezelfde titel maar vertellen ze een totaal ander verhaal. In de wereld van kunstmatige intelligentie zijn "Large Language Models" (LLM's) als superintelligente bibliothecarissen die bijna elk boek in deze bibliotheek hebben gelezen. Ze kunnen vragen beantwoorden, verhalen schrijven en problemen oplossen omdat ze de patronen van al die tekst hebben onthouden. Maar er is een addertje onder het gras: deze AI-bibliothecarissen weten niet altijd welke "München" je bedoelt—de beroemde Duitse stad of de film uit 2005. Ze kunnen ook "New York" en "The Big Apple" behandelen als twee totaal verschillende plaatsen, terwijl ze hetzelfde zijn. Deze verwarring wordt het "disambiguatie"-probleem genoemd. Jarenlang hebben wetenschappers geprobeerd de rommelige, interne geheugen van de AI om te zetten in een schone, georganiseerde kaart van feiten, maar dat is geweest als het proberen te sorteren van een stapel door elkaar gehusselde puzzelstukjes zonder afbeelding op de doos.

Nu heeft een team van onderzoekers een nieuwe tool gebouwd genaamd GPTKB 2.0 om dit sorteerprobleem op te lossen. Denk aan deze als een magische, zelfcorrigerende encyclopedie die de AI voor zichzelf heeft gebouwd, maar met een twist: het somt niet alleen feiten op; het houdt een gedetailleerd dagboek bij van hoe het besloot wat waar is en wat een fout is. In plaats van alleen te zeggen "München is een stad," vraagt dit nieuwe systeem: "Welk München? Dat in Europa of die in een film?" en maakt vervolgens een aparte, duidelijke vermelding voor elk van hen. Het realiseert zich ook dat "The Big Apple" en "New York City" hetzelfde zijn en voegt ze samen tot één perfecte vermelding. Het resultaat is een enorme, georganiseerde database met meer dan 38 miljoen feiten over 1,6 miljoen unieke dingen. Maar de echte magie zit niet alleen in de omvang; het is de transparantie. De onderzoekers hebben een website gemaakt waar iedereen in de hersenen van de AI kan kijken, kan zien welke specifieke vragen het zichzelf stelde, kan zien hoe het besloot om feiten samen te voegen of te splitsen, en zelfs vragen aan de AI kan stellen in gewone mensentaal. Het verandelt de verborgen kennis van de AI in een publieke, controleerbare schatkaart die je kunt verkennen, bevragen en vertrouwen omdat je precies kunt zien hoe elk enkel feit is ontdekt.

Het Grote Idee: Een Zelfcorrigerende AI-Encyclopedie

De kern van dit artikel is de creatie van GPTKB 2.0, een enorme kennisbank (een gestructureerde collectie feiten) die volledig is gebouwd vanuit de "hersenen" van een Large Language Model. In tegen tegenstelling tot oudere pogingen die simpelweg woorden pakten zoals ze verschenen (wat leidde tot verwarring tussen homoniemen zoals "München de stad" en "München de film"), voert dit nieuwe systeem disambiguatie uit tijdens het proces. Het fungeert als een detective die, elke keer dat het een nieuw feit vindt, vraagt: "Wie is dit echt?" en de context controleert voordat het het opschrijft.

Het artikel presenteert een webdemo die dit proces volledig zichtbaar maakt. Je kunt de database doorzoeken, links volgen tussen feiten en—het belangrijkste—de "provenance" (herkomst) van elk enkel feit controleren. Dit betekent dat je de oppervlakkige woorden kunt zien die de AI zag, de kandidaten die het overwogen en de specifieke beslissing die het nam om ofwel twee namen samen te voegen (synoniemie) of ze apart te houden (homoniemie).

Hoe het Werkt: De Recursieve Detective

De constructie van GPTKB 2.0 is een recursieve, contextgestuurde pijplijn. Stel je voor dat de AI begint met een enkele entiteit, zoals "Boedapest". De AI vraagt om feiten over Boedapest. Wanneer de LLM antwoordt met een nieuw object, zeg "München", schrijft het systeem niet gewoon "München". Het kijkt naar de zin: "Boedapest heeft een zusterstad, München." Het weet dat dit de stad is, en niet de film.

Het proces bestaat uit vier hoofdfasen:

1. Elicitatie: De AI vraat de LLM om feiten op basis van een specifieke entiteit en de beschrijving ervan.
2. Named Entity Recognition (NER): Het bepaalt of een nieuw woord een letterlijk getal is of een entiteit uit de echte wereld.
3. Disambiguatie: Dit is de ster van de show. Het systeem vergelijkt de nieuwe vermelding met bestaande vermeldingen in de database. Als de context overeenkomt met een bestaande "Boedapest", koppelt het eraan. Als het een nieuwe "München" is (de film), creëert het een nieuwe ID.
4. Consolidatie: Het voegt synonieme namen samen (zoals "The Big Apple" en "New York City") tot één canonieke vermelding.

Het artikel voert expliciet aan tegen de oude methode van het gebruik van "surface strings" (slechts de naam) als identificatoren. Ze laten zien dat zonder context, surface strings op twee manieren falen: ze vervagen homoniemen (behandelen verschillende dingen als hetzelfde) en ze fragmenteren synoniemen (behandlen hetzelfde ding als verschillend). GPTKB 2.0 wijst dit af door de "eliciting triple" (de zin waaruit het feit kwam) en de beschrijving van bestaande entiteiten als context te gebruiken om de juiste beslissing te nemen.

De Cijfers: Een Enorme, Schone Kaart

De schaal van dit project is verbijsterend. Het artikel rapporteert dat GPTKB 2.0 het volgende bevat:

• 38,4 miljoen triples (feiten in de vorm van Onderwerp-Predicaat-Object).
• 1,6 miljoen gecanoniseerde entiteiten (unieke, gedisambigueerde zaken).
• 207.633 geconsolideerde relaties (soorten verbindingen).
• 66.523 geconsolideerde klassen (categorieën van zaken).

Interessant genoeg zijn ongeveer 36,8% van deze entiteiten nieuw voor de wereld vergeleken met bestaande databases zoals Wikidata, wat betekent dat de LLM feiten heeft ontdekt die voorheen niet in gestructureerde databases stonden.

De Webinterface: Transparantie is de Functie

Het meest unieke deel van dit artikel is de webinterface op https://gptkb.org/. Het is niet alleen een zoekmachine; het is een "glazen doos" in de redenering van de AI.

• Traceerbare Beslissingen: Als je op een entiteit zoals "Hyde Park" klikt, kun je precies zien hoe het systeem besloot dat het de versie in Londen was en niet een andere. Je kunt de lijst met kandidaten zien die de AI heeft overwogen en waarom hij de anderen heeft afgewezen.
• Synoniem Samenvoeging: Als je op "The Big Apple" klikt, laat de interface zien dat het is samengevoegd met "New York City". Je kunt zelfs klikken om de specifieke prompt te zien die de AI gebruikte om die beslissing te nemen.
• Entiteitskoppeling: Je kunt je eigen tekst typen, en het systeem koppelt de namen in jouw tekst aan de juiste vermeldingen in GPTKB 2.0. Als je bijvoorbeeld schrijft over "Mercury", zal het systeem de planeet correct koppelen aan de planeet en de Romeinse god aan de god, gebaseerd op de context van je zin.
• Query's: Je kunt vragen in gewone mensentaal stellen (zoals "Waar staat Boedapest bekend om?") en het systeem vertaalt dit naar een gestructureerde databasequery (SPARQL) om het antwoord te krijgen. Het laat je de exacte query zien die het heeft uitgevoerd en de stappen die het heeft genomen.

Hoe Zeker Zijn We? (Evaluatie)

De auteurs hebben het niet alleen gebouwd; ze hebben het ook rigoureus getest. Ze hebben steekproeven van de data handmatig gecontroleerd om te zien of de AI fouten maakte.

• Merge Precisie: Wanneer het systeem besloot dat twee namen hetzelfde ding waren (synoniemen), was het 98% van de tijd correct voor objecten met dezelfde label en 91% voor aliassen met een andere label. De belangrijkste foutmodus was valse samenvoegingen (denken dat twee verschillende dingen hetzelfde waren), wat ongeveer 9% van de tijd gebeurde in specifieke gevallen van aliassen.
• Split Precisie: Wanneer het systeem besloot dat twee dingen verschillend waren (homoniemen), was het 100% correct op de steekproef van paren met dezelfde label die het apart hield.
• Feitelijkheid: Bij het controleren of de feiten waar waren, waren 94,5% van de door mensen gecontroleerde triples "waar", en slechts 2,0% waren "onwaar". Wanneer een AI-beoordelaar 1.000 items controleerde, waren 92,8% waar.

Het artikel merkt op dat de context (de beschrijving van de entiteit) cruciaal is. In een experiment waarbij de AI-beoordelaar de beschrijving van de entiteit niet zag, daalde de nauwkeurigheid van de feiten aanzienlijk (van 94,5% waar naar 80% waar), wat bewijst dat context is wat de disambiguatie laat werken.

Wat Het Niet Is

Het is belangrijk om op te merken wat dit artikel niet beweert. Het zegt niet dat GPTKB 2.0 perfect is of dat het het probleem van AI-hallucinaties volledig heeft opgelost. De auteurs erkennen dat valse synoniem-samenvoegingen (twee verschillende dingen samenvoegen omdat ze op elkaar lijken) de grootste resterende fouten zijn. Ze verduidelijken ook dat dit een "general-domain" kennisbank is, wat betekent dat het een breed scala aan onderwerpen dekt maar geen gespecialiseerde medische of juridische database is. De resultaten zijn gebaseerd op handmatige en automatische steekproeven, niet op een controle van elk van de 38 miljoen feiten, wat onmogelijk zou zijn.

De Kernboodschap

GPTKB 2.0 is een belangrijke stap voorwaarts omdat het de "black box" van de kennis van een LLM verandert in een "glazen box". Door een database te bouen die entiteiten disambigueert terwijl het proces loopt en elke beslissing vastlegt, hebben de onderzoekers een bron gecreëerd die niet alleen enorm en nuttig is, maar ook controleerbaar. Je kunt de feiten vertrouwen omdat je het bewijs achter hen kunt zien. Het suggereert dat we gestructureerde, betrouwbare kennis kunnen bouwen uit de chaotische, ongestructureerde kennis van AI-modellen, mits we bereid zijn het harde werk te doen om de context te controleren en een gedetailleerd dagboek van onze beslissingen bij te houden.