Frugal Knowledge Graph Construction with Local LLMs: A Zero-Shot Pipeline, Self-Consistency and Wisdom of Artificial Crowds

Dit artikel presenteert een reproduceerbare, zero-shot pipeline voor de constructie van kennisgrafieken met lokale LLM's op consumentenhardware, die door middel van zelfconsistentie en een vertrouwen-gebaseerd routeringsmechanisme de redeneerprestaties verbetert zonder training en met een minimaal ecologisch voetafdruk.

De kern

🌍 De "Slimme Buurman" die een Kennisbibliotheek bouwt

Stel je voor dat je een enorme bibliotheek wilt bouwen, maar je hebt geen dure bibliothecarissen in dienst en geen supercomputer. Je hebt alleen een slimme, goedkope computer (een gewone gaming-kaart) en een paar slimme, maar soms wat dromerige digitale assistenten (de AI-modellen).

Dit artikel beschrijft hoe de onderzoekers een systeem hebben gebouwd dat een kennisnetwerk (een "Kennisgraf") maakt en gebruikt, zonder dat ze de AI eerst jarenlang hebben laten studeren. Het is alsof je een groep vrijwilligers vraagt om een boek te schrijven, zonder hen eerst te trainen, maar wel met heel duidelijke instructies.

Hier zijn de belangrijkste ontdekkingen, vertaald naar alledaagse taal:

1. De "Frugale" Aanpak: Slim, niet duur

Vaak denken mensen dat je voor slimme AI enorme, dure datacenters nodig hebt. Dit onderzoek toont aan dat je dit ook kunt doen met een gewone computer (een RTX 3090) die in een consumentenwoning past.

• De Analogie: In plaats van een heel leger soldaten in te zetten om een muur te bouwen, gebruiken ze één slimme timmerman met de juiste gereedschappen. Het kost maar heel weinig energie (zoals het verbruik van een koelkast) en duurt slechts een paar uur.

2. De Magie van de "Vraagformulering" (Prompt Engineering)

De onderzoekers ontdekten iets verrassends: het maakt niet zo veel uit welke AI je kiest, maar hoe je hem iets vraagt.

• De Analogie: Stel je hebt een zeer slimme, maar soms wat verwarde student (de AI). Als je hem vraagt: "Geef me de feiten," kan hij in de war raken en onzin praten. Maar als je zegt: "Je bent een expert. Gebruik alleen deze lijst van 96 woorden. Geef geen 'weet ik niet' als antwoord. Denk aan deze specifieke regels," dan presteert hij plotseling wonderbaarlijk goed.
• Het Resultaat: Een AI die zonder instructies bijna niets goed deed, werd met de juiste "vraagformulering" (prompt) een expert die 70% van de antwoorden goed had. De "instructies" waren belangrijker dan de "hersenen" van de AI zelf.

3. Het "Wijze Menigte"-Paradox: Soms is eenheid verdacht

Een van de coolste ontdekkingen gaat over wat er gebeurt als je dezelfde vraag aan dezelfde AI vijf keer stelt (met een beetje variatie in de manier waarop hij denkt).

• Het Paradox: Je zou denken: "Als vijf keer hetzelfde antwoord komt, moet het wel waar zijn!" Maar de onderzoekers ontdekten het tegenovergestelde. Als de AI te zeker is en vijf keer hetzelfde foutieve antwoord geeft, is het vaak een collectieve hallucinatie. De AI is in zijn eigen denkbeeldige wereld terechtgekomen.
• De Oplossing: De echte "wijsheid" zit in de twijfel. Als de AI twijfelt (de antwoorden zijn niet helemaal hetzelfde), is de kans groter dat er een correct antwoord tussen zit.
• De Analogie: Stel je vraagt aan een groep vrienden wie de hoofdstad van een land is. Als ze allemaal zonder twijfel "Parijs" zeggen, terwijl het "Berlijn" is, dan hebben ze waarschijnlijk samen een fabeltje bedacht. Maar als ze twijfelen en verschillende suggesties doen, is er meer kans dat iemand het juiste antwoord kent.

4. De "Vertrouwens-Router": Een slimme doorverwijzing

Om de beste resultaten te halen, hebben ze een slim systeem bedacht dat lijkt op een triage-verpleegkundige in een ziekenhuis.

• Hoe het werkt:
  1. De eerste AI (de "verpleegkundige") probeert het antwoord.
  2. Als hij het antwoord heel zeker is (hij is het met zichzelf eens), dan is het goed.
  3. Maar als hij twijfelt (hij is het niet met zichzelf eens), dan sturen ze de vraag door naar een tweede, andere AI (een "specialist").
• Het Resultaat: Door deze "doorverwijzing" van twijfelende vragen, steeg het succes van 46% naar 55%. Ze gebruikten de kracht van twee verschillende AI's, maar alleen wanneer het echt nodig was.

5. De Grenzen: Waar de AI vastloopt

Ook ontdekten ze waar de grens ligt. Er is een groep vragen (ongeveer 68%) die zelfs de slimste AI's niet kunnen beantwoorden.

• De Reden: Het ligt niet aan het "nadenken" van de AI, maar aan het gebrek aan kennis. Het zijn feiten die zo obscuur zijn (bijvoorbeeld: "Hoeveel mensen wonen in dit specifieke dorp in 1995?") dat ze simpelweg niet in de "herinnering" van de AI zitten.
• De Analogie: Het is alsof je een briljante wiskundige vraagt hoeveel appels er in een specifieke boom in een tuin in Frankrijk groeiden in 1998. Hij kan wiskundig redeneren, maar hij was er niet bij. De AI heeft de feiten niet gezien.

Conclusie: Wat betekent dit voor ons?

Dit onderzoek laat zien dat we niet altijd de duurste, zwaarste AI-modellen nodig hebben. Met de juiste instructies, een slimme manier om twijfel te detecteren, en het gebruik van meerdere modellen samen, kunnen we op een gewone computer zeer betrouwbare kennisnetwerken bouwen.

Het is een bewijs dat slimheid (hoe je de AI gebruikt) vaak belangrijker is dan kracht (hoe groot de computer is). En soms is het juist goed als de AI even twijfelt, want dat is het moment waarop hij echt kan nadenken in plaats van te raden.

Technische samenvatting

Titel en Context

Titel: Frugal Knowledge Graph Construction with Local LLMs: A Zero-Shot Pipeline, Self-Consistency and Wisdom of Artificial Crowds
Auteurs: Pierre Jourlin (Avignon Université)
Datum: April 2026
Kernthema: Het bouwen en benutten van kennisgrafieken (Knowledge Graphs - KG) met behulp van lokaal draaiende, gekwantiseerde Large Language Models (LLMs) zonder training, gericht op kostenefficiëntie ("frugal AI") en reproduceerbaarheid.

---

1. Het Probleem

Grote Taalmodellen (LLMs) hebben indrukwekkende prestaties geleverd, maar staan bekend om hun neiging tot hallucinaties en hun hoge rekenkosten, wat vaak afhankelijkheid van dure cloud-API's vereist.

• De uitdaging: Kunnen gekwantiseerde LLMs, lokaal uitgevoerd op consumentenhardware zonder gespecialiseerde training (zero-shot), een kennisgrafiek van voldoende kwaliteit construeren en benutten voor real-world toepassingen?
• Specifieke obstakels: Relation extraction (relatie-extractie) op documentniveau is complex, en multi-hop redenering (het combineren van meerdere feiten) is berucht moeilijk voor LLMs. Traditionele methoden vereisen vaak duur gesuperviseerd trainen op meerdere GPU's.

---

2. Methodologie: De SYNSYNTH Pipeline

De auteurs presenteren SYNSYNTH, een reproduceerbare, multi-model zero-shot pipeline die volledig lokaal draait via Ollama op een enkele consumer-grade GPU (NVIDIA RTX 3090).

Architectuur en Modellen:
De pipeline bestaat uit vier modules, elk toegewezen aan een specifiek gekwantiseerd model (GGUF Q4_K_M formaat):

1. Relation Extraction: Gemma-4-27B-A4B-it (MoE-architectuur, 27B parameters, 4B actief).
2. Text-to-Query: Qwen3-Deep (8B) voor het genereren van Cypher-query's.
3. Multi-hop Redenering: Phi-4 (14B) voor het beantwoorden van complexe vragen.
4. Conversational RAG: Mistral-Small (24B) voor het verifiëren van antwoorden.

Belangrijke Technieken:

• Prompt Engineering: In plaats van alleen op modelkeuze te vertrouwen, wordt zwaar ingezet op prompt-ontwerp. Dit omvat een expliciete lijst van 96 geldige relaties (uit DocRED), verbod op "geen relatie"-antwoorden, en semantische richtlijnen per type (bijv. geografisch, familiaal).
• Soft Matching & Synoniemen: Een woordenboek met synoniemen (25 semantische groepen) wordt gebruikt om variaties in modeloutput te tolereren tijdens evaluatie.
• Beperkte Decoding: Gebruik van native JSON Schema-ondersteuning in Ollama om syntactisch geldige output te garanderen.
• Diversiteitsmechanismen:
  • Zelfconsistentie (Self-Consistency): Het genereren van meerdere antwoorden (k=3 of k=5) bij een verhoogde temperatuur (T=0.7) en stemming toepassen.
  • Confidence-Routing Cascade: Een mechanisme waarbij vragen waarbij de eerste model (Phi-4) weinig overeenstemming (agreement) toont tussen zijn eigen samples, worden doorgestuurd naar een tweede model (GPT-OSS) voor een tweede kans.

Evaluatie Framework:
De pipeline wordt getest op:

• DocRED: Relation extraction (500 samples).
• HotpotQA: Multi-hop redenering (500 samples).
• Synthetische Data: Text-to-Query en RAG-evaluatie (gegenereerd door de LLM zelf, met voorzichtigheid geïnterpreteerd).
• RAGAS: Framework voor het meten van trouw (faithfulness), relevantie en context-precisie.

---

3. Belangrijkste Bijdragen

1. Reproduceerbaar Framework: Een geautomatiseerde pipeline die DocRED, HotpotQA en RAGAS integreert voor lokaal inference.
2. Empirische Vergelijking: Een studie die de prestatie/kost-verhouding vergelijkt tussen frugal zero-shot benaderingen en gesuperviseerde systemen.
3. Prompt Engineering Dominantie: Het bewijs dat de prestatieschommelingen voornamelijk komen door prompt-ontwerp (synoniemen, structuur) en niet alleen door modelkeuze of constrained decoding.
4. Het "Akkoord-paradox" (Agreement Paradox): Een ontdekking dat sterke consensus tussen meerdere samples van hetzelfde model vaak wijst op collectieve hallucinatie in plaats van een betrouwbaar antwoord.
5. Confidence-Routing Cascade: Een nieuw mechanisme dat self-consistency combineert met cross-model doorsturing, wat leidt tot de beste resultaten in de studie.

---

4. Resultaten

Relation Extraction (DocRED):

• F1-score: 0,70 ± 0,04 (zero-shot).
• Vergelijking: Dit is aanzienlijk beter dan eerdere zero-shot resultaten van GPT-3 (0,30) en ChatGPT (0,25), en komt dicht in de buurt van gesuperviseerde SOTA-systemen zoals DREEAM (0,80), maar dan zonder training.
• Model-specifiek: Gemma-4 scoorde in "raw extraction" slechts 0,039 F1, maar steeg naar 0,702 door de V3-pipeline (prompt + synoniemen). Dit toont aan dat prompt-engineering cruciaal is.

Text-to-Query:

• Nauwkeurigheid: 0,80 ± 0,06 op synthetische data.
• Syntaxis: 100% van de gegenereerde Cypher-query's was syntactisch geldig dankzij JSON Schema.

Multi-hop Redenering (HotpotQA):

• Basis (Zero-shot): Exact Match (EM) van 0,46.
• Zelfconsistentie (k=3): EM steeg naar 0,48.
• Confidence-Routing Cascade (Phi-4 → GPT-OSS): EM steeg naar 0,55 ± 0,04. Dit is het beste resultaat, een verbetering van +9 punten ten opzichte van zero-shot en +11 punten ten opzichte van een 8-model stemming.
• RAGAS Faithfulness: 0,96, wat aangeeft dat hallucinaties zeer laag zijn (4%).

Duurzaamheid en Kosten:

• Hardware: 1x NVIDIA RTX 3090 (24 GB VRAM).
• Tijd: ~5 uur voor de volledige pipeline.
• CO2-voetafdruk: Geschat op 0,09 kg CO2eq (exclusief CPU/RAM), wat extreem laag is vergeleken met cloud-API's of gesuperviseerde training op multi-GPU clusters.

---

5. Significante Bevindingen en Discussie

Het Akkoord-paradox (Agreement Paradox):
De studie onthult een tegenintuïtief fenomeen: wanneer 5 samples van hetzelfde model sterk overeenkomen (hoge consensus), is het antwoord vaak fout (collectieve hallucinatie).

• Hoge consensus (≥0,8): Laagste EM (0,214). Het model is zelfverzekerd maar verkeerd.
• Middelmatige consensus [0,4; 0,8[: Hoogste EM (0,311). Hier is de "wijheid van de menigte" het grootst; de onzekerheid van het model nodigt uit tot diversiteit die door stemming kan worden benut.
• Dit sluit aan bij onderzoek naar "collective intelligence" bij mensen, waarbij sociale invloed diversiteit kan onderdrukken en de kwaliteit verlagen.

Diversiteit: Stochastisch vs. Architecturaal:

• Stochastische diversiteit (meerdere samples van één model) helpt, maar architecturale diversiteit (verschillende modeltypes) is krachtiger. Een "Oracle" van 3 verschillende modellen kon 46,4% van de onoplosbare vragen oplossen, terwijl één model slechts 23% haalde.
• De Cascade-mechanisme benut dit door vragen met lage consensus bij de eerste model door te sturen naar een tweede model, waardoor de "wijheid van de menigte" optimaal wordt gebruikt zonder de kosten van een groot ensemble.

Beperkingen:

• Synthetische Data: De Text-to-Query en RAG-data zijn deels gegenereerd door de LLM zelf, wat een risico op cirkelbias inhoudt.
• Taalkundige beperking: Alle tests zijn in het Engels; de prestaties voor andere talen zijn onzeker.
• Intrinsieke limiet: Zelfs met de beste methoden blijven 68,5% van de moeilijkste vragen onoplosbaar, voornamelijk door gebrek aan feitelijke kennis in de trainingdata (bijv. obscure feiten, numerieke redenering).

---

Conclusie

Dit paper demonstreert dat het mogelijk is om hoogwaardige kennisgrafieken te construeren en te benutten met "frugal AI" op consumentenhardware. De sleutel tot succes ligt niet in het trainen van enorme modellen, maar in slimme prompt-engineering, het gebruik van synoniemen, en het toepassen van diversiteitsmechanismen (zoals de confidence-routing cascade) om de zwaktes van individuele modellen te compenseren. De methode levert een balans op tussen prestatie, kosten en ecologische impact, met een CO2-voetafdruk die twee ordes van grootte lager ligt dan traditionele benaderingen.