LLMpedia: A Transparent Framework to Materialize an LLM's Encyclopedic Knowledge at Scale
Dit paper introduceert LLMpedia, een transparant framework dat miljoenen encyclopedische artikelen genereert puur uit het parametrische geheugen van grote taalmodellen, en hiermee aantoont dat de feitelijke nauwkeurigheid van deze modellen aanzienlijk lager is dan benchmarkresultaten suggereren, vooral voor onderwerpen buiten Wikipedia.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
LLMpedia: Het Eerlijke Spiegeltje van de AI
Stel je voor dat je een zeer slimme, goed opgeleide leraar hebt die alles uit zijn hoofd kent. Als je hem vraagt: "Wie was de eerste president van de Verenigde Staten?", antwoordt hij direct en zeker: "George Washington." Hij scoort 100% op elke test die je hem geeft.
Maar wat gebeurt er als je hem vraagt om een heel lang verhaal te schrijven over een onderwerp waar hij niet vaak over heeft nagedacht? Of als je hem vraagt om een complete encyclopedie te schrijven, duizenden artikelen lang, zonder dat hij mag opzoeken op internet?
Dat is precies wat dit onderzoek, LLMpedia, heeft gedaan. Het is als een gigantisch experiment om te kijken of die leraar echt alles weet, of dat hij alleen maar goed is in het beantwoorden van de vragen die we hem al stellen.
Hier is de uitleg in simpele taal:
1. Het Probleem: De "Vaste Vraag"-Valstrik
Tot nu toe hebben we AI-modellen getest met vaste vragenlijsten (zoals MMLU). Het is alsof je een student alleen test op de vragen die in het antwoordenboekje staan. De student leert die vragen uit het hoofd en haalt een 90 of 95.
Maar in het echte leven krijg je geen meerkeuzevragen. Je vraagt: "Vertel me alles over de geschiedenis van deze stad."
De onderzoekers ontdekten dat de AI's hier veel slechter in zijn. Ze lijken slim op de test, maar als ze zelf moeten kiezen waarover ze schrijven, beginnen ze te verzinnen of te twijfelen. Het is alsof de leraar de antwoorden uit het hoofd kent, maar als hij zelf een verhaal moet bedenken, begint hij te fantaseren.
2. De Oplossing: LLMpedia (De Open Boekkast)
De onderzoekers bouwden LLMpedia. Dit is geen gewone website, maar een machine die:
- Zelf duizenden onderwerpen bedenkt (van beroemdheden tot obscure historische gebeurtenissen).
- Er zelf artikelen over schrijft, puur op basis van wat in het "hoofd" (de geheugen) van de AI zit.
- Geen internet gebruikt. Het is alsof je de leraar in een kamer sluit zonder boeken of Google, en zegt: "Schrijf alles op wat je weet."
Het unieke aan dit project is dat alles openbaar is. Je kunt zien wat de AI schrijft, hoe ze het deden, en waar ze fouten maakten. Dit is een groot verschil met andere projecten (zoals Grokipedia), die geheimzinnig zijn en misschien toch stiekem op Wikipedia hebben gekeken om hun verhaal te vullen.
3. De Verbluffende Resultaten: De "Wikipedia-Valstrik"
De onderzoekers vonden drie belangrijke dingen:
- De "90%" leugen: De AI's haalden op de vaste tests 90%+ goede antwoorden. Maar toen ze duizenden artikelen zelf schreven, bleek dat ze op onderwerpen die in Wikipedia staan, maar slechts 75% waarheid spraken. Dat is een enorme daling!
- Het onbekende terrein: Als je vraagt over onderwerpen die niet in Wikipedia staan (maar wel op het internet te vinden zijn), zakt de betrouwbaarheid zelfs naar 63%. De AI's verzinnen dan vaak dingen.
- De "Kloon"-valstrik: Er was een andere AI (Grokipedia) die artikelen schreef die er heel erg uitzagen als Wikipedia. Ze gebruikten bijna dezelfde zinnen. Maar paradoxaal genoeg was die AI minder betrouwbaar. Het was alsof iemand een verhaal overneemt van Wikipedia, maar door het te herschrijven, per ongeluk de feiten verandert. LLMpedia daarentegen schreef zijn eigen verhalen (die leken minder op Wikipedia), maar waren wél waarheidsgetrouwer.
4. De Analogie: De Chef-Kok en de Recepten
Stel je voor dat je een chef-kok hebt (de AI).
- De oude test: Je vraagt de kok: "Wat is de naam van de saus die bij kip hoort?" Hij zegt: "Mayonaise." (Fout, maar hij scoort goed op de test).
- LLMpedia: Je zegt: "Kook een maaltijd voor 100 mensen, zonder recepten, alleen met wat je in je hoofd hebt."
- De chef begint te koken. Hij gebruikt ingrediënten die hij kent, maar soms gebruikt hij zout in plaats van suiker, of hij vergeet dat kip niet van chocolade houdt.
- Een andere chef (Grokipedia) kijkt stiekem naar een kookboek (Wikipedia), schrijft het over, maar schrijft per ongeluk "suiker" in plaats van "zout" omdat hij het boek niet goed las. Zijn gerecht ziet eruit als het origineel, maar smaakt rot.
- LLMpedia's chef maakt een gerecht dat er anders uitziet dan het kookboek, maar hij gebruikt de juiste ingrediënten.
5. Waarom is dit belangrijk?
Vandaag de dag vertrouwen miljoenen mensen op AI voor informatie. We denken dat ze "feitelijke" kennis hebben. Dit onderzoek waarschuwt ons: Wees voorzichtig.
Als een AI een lang verhaal schrijft, kan het zijn dat hij:
- Feitelijk fouten maakt die hij op korte tests niet laat zien.
- Stiekem informatie overneemt van Wikipedia zonder het te begrijpen (en dan fouten maakt).
- Onderwerpen kiest die wij niet hadden verwacht, maar waar hij weinig van weet.
Conclusie:
LLMpedia is als een eerlijke spiegel. Het laat zien dat AI's nog niet zo slim zijn als ze lijken. Ze zijn goed in het beantwoorden van vragen, maar nog niet goed in het zelfstandig creëren van betrouwbare kennis. De boodschap is simpel: vertrouw niet blindelings op wat de AI schrijft, en blijf altijd controleren of het klopt.
De volledige data en de artikelen zijn openbaar beschikbaar, zodat iedereen zelf kan kijken wat de AI's echt weten en waar ze falen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.