Technische Samenvatting: KNIGHT

Probleemstelling

De snelle vooruitgang van Large Language Models (LLM's) heeft hen centraal gesteld in toepassingen zoals Retrieval-Augmented Generation (RAG). De evaluatie van deze systemen wordt echter gehinderd door een significante flessenhals: de tijd, kosten en expertise die nodig zijn om gespecialiseerde, hoogwaardige beoordelingsdatasets te bouwen. Bestaande publieke evaluatiedatasets zijn vaak schaars vanwege propriëtaire beperkingen, terwijl standaard benchmarks zoals MMLU grotendeels statisch zijn, moeilijk bij te werken zijn en een gebrek hebben aan fijnmazige instructiecontrole over moeilijkheidsgraad per onderwerp of multi-hop redeneerstructuren. Bovendien missen eerdere pogingen tot geautomatiseerde datasetgeneratie breed geadopteerde, reproduceerbare, open-source frameworks die vragen kunnen genereren met gecontroleerde moeilijkheidsgraad zonder herhaaldelijk lange bronteksten opnieuw in te voeren.

Methodologie

De auteurs introduceren KNIGHT (Knowledge-graph-driven Natural Item Generation with Adaptive Hardness Tuning), een volledig geautomatiseerd framework ontworpen om grootschalige, onderwerpspecifieke multiple-choice vraag (MCQ) datasets te synthetiseren vanuit externe documentverzamelingen en ontologieën. Het framework werkt via een vierfasige pijplijn:

1. Knowledge Graph (KG) Constructie: Gegeven een door de gebruiker gedefinieerd onderwerp $\tau$, construeert het systeem een gerichte eigenschapengraaf $G=(V, E, R)$ via een retrieve-generate-filter lus.

   • Retrieval & Synthese: Het haalt gerangschikte bewijslast op uit bronnen (bijv. Wikipedia) en gebruikt een LLM om een gestructureerde, achtpuntige 'gloss' (beschrijving) voor de zaadentiteit te genereren.
   • Triple Inductie: Het systeem extraheert subject-predicaat-object triples uit deze beschrijvingen en filtert op bijna-duplicaten.
   • Curatie & Expansie: Een curatiemodule past type-controles toe (geïnstantieerd met Wikidata), Natural Language Inference (NLI) consistentiecontroles en content-beleidsscreening toe. De graaf breidt zich breedtegericht uit tot een door de gebruiker gedefimeerde dieptelimiet $d_{max}$, wat een compacte, herbruikbare representatie van entiteiten en relaties creëert.

2. MCQ Synthese: Het systeem genereert vragen door paden met meerdere stappen (multi-hop) te traverseren binnen de geconstrueerde KG.

   • Het bemonstert paden van configureerbare lengte (diepte) en oriëntatie (voorwaarts of achterwaarts).
   • Node-glosses en relatielabels worden verbaal gemaakt in een contexttemplate, die een LLM aanstuurt om een vraagstelling, één correct antwoord en drie semantisch nabije distractoren te genereren.

3. Moeilijkheidsgraad Kalibratie: Moeilijkheidsgraad wordt expliciet gecontroleerd via de padlengte (aantal hops) en het abstractieniveau binnen de KG. Het systeem valideert dat langere paden correleren met verhoogde modelonzekerheid (entropie) en menselijk waargenomen moeilijkheid.

4. Validatie & Filtering: Een validator-LLM scoort kandidaat-items tegen vijf criteria aangepast van best practices voor item-schrijven:

   • Grammaticale vloeiendheid.
   • Eenduidigheid van het enkelvoudige juiste antwoord.
   • Uniciteit van opties (niet-overlappende distractoren).
   • Beantwoordbaarheid op basis van het verstrekte bewijs (dient als proxy voor hallucinatie).
   • Onderwerprelevantie.
     Items die niet aan een criterium voldoen, worden weggegooid.

Het framework wordt geïnstantieerd met gebruik van Wikipedia/Wikidata als de ontologie, maar is ontworpen om domein- en ontologie-agnostisch te zijn. Het maakt gebruik van GPT-4o-mini voor alle LLM-aanroepen om een kostenefficiënte en token-bewuste evaluatieomgeving te behouden.

Belangrijkste Bijdragen

• Herbruikbare KG Representatie: KNIGHT introduceert een methode om een onderwerpspecifieke KG eenmalig te bouwen en te cachen, waardoor de generatie van meerdere vraagvarianten (verschillende moeilijkheidsgraden, formaten en targets) mogelijk is zonder langdurige brondocumenten herhaaldelijk opnieuw in te voeren. Dit vermindert het tokenverbruik en de kosten aanzienlijk vergeleken met naïeve prompting of standaard RAG-baselines.
• Adaptieve Hardness Control: Door gebruik te maken van graafdiepte en padstructuur, maakt KNIGHT expliciete controle over de moeilijkheidsgraad van vragen mogelijk, wat de creatie van curriculum-gealigneerde evaluaties met multi-hop redeneervereisten faciliteert.
• Uitgebreide Evaluatiepijplijn: Het framework integreert RAG-gebaseerde extractie, KG-gestuurde generatie en LLM-gebaseerde validatie in een modulaire pijplijn die hallucinaties minimaliseert en pedagogische validiteit waarborgt.
• Open-Source Implementatie: De auteurs bieden een publiekelijk beschikbare package op PyPI en GitHub, wat een reproduceerbaar, token-efficiënt alternatief biedt voor statische benchmarks.

Experimentele Resultaten

De auteurs hebben KNIGHT geëvalueerd over zes datasets in Geschiedenis, Biologie en Wiskunde, waarbij twee moeilijkheidsniveaus (Niveau 1 en Niveau 3) werden behandeld. Ze vergeleken de volledige KNIGHT met ablaties: Plain (geen bewijs), RAG (alleen bewijs), RAG+KG (bewijs + KG, geen validator), en RAG+Val (bewijs + validator, geen KG).

• Kwaliteitsmetrieken: KNIGHT behaalde hoge scores in linguïstische kwaliteit (vloeiendheid, grammatica) en presteerde aanzienlijk beter dan de baselines op validiteitsmetrieken. Het produceerde de laagste percentages "onbeantwoordbare" items (hallucinatie-proxy), ambigue sleutels en dubbele opties.
• Moeilijkheidsgraad Kalibratie: Voorspellende entropie-analyse met een vaste probe-model (LLaMA 3.2-3B) toonde aan dat KNIGHT succesvol moeilijkere items genereerde op Niveau 3 (hogere entropie, lagere probe-accuratesse) vergeleken met Niveau 1. Cruciaal was dat het verhogen van de moeilijkheidsgraad de itemvaliditeit niet verslechterde.
• Distractor Kwaliteit: De KG-gestuurde aanpak (RAG+KG) werd geïdentificeerd als de primaire drijfveer voor het genereren van competitieve distractoren (hogere entropie), terwijl RAG alleen of validatie alleen er niet in slaagde om betekenisvolle moeilijkheidsgraad-scheiding te induceren.
• Benchmark Nut: Modelrangschikkingen op KNIGHT-datasets kwamen nauw overeen met gevestigde benchmarks zoals MMLU, ARC en CSQA, wat suggereert dat de gegenereerde datasets algemene QA-competentiefactoren vastleggen.
• Efficiëntie: Het framework demonstreerde token-efficiëntie, met een gemiddelde van ~600 tokens per vraag door de gecachte KG te hergebruiken, vergeleken met de hogere kosten van het opnieuw invoeren van lange contexten in standaard RAG-benaderingen. Generatietijden op commodity hardware (Google Colab T4) waren praktisch (minuten tot ~40 minuten per dataset).

Betekenis en Claims

Het artikel positioneert KNIGHT niet louter als een nieuwe dataset, maar als een schaalbare, goedkope benchmarkgenerator. De primaire betekenis ligt in het aanpakken van de flessenhals van datasetcuratie voor LLM-evaluatie. Door de dure kennisextractiefase (KG-constructie) te ontkoppelen van de generatiefase, maakt KNIGHT het volgende mogelijk:

1. Snelle Verversbaarheid: In tegen tegenover statische benchmarks die substantiële deskundige inspanning vereisen om bij te werken, staat KNIGHT frequente, onderwerpspecifieke updates toe.
2. Instructiecontrole: Het biedt expliciete controle over moeilijkheidsgraad en multi-hop structuur, wat vaak ontbreekt in brede, statische suites.
3. Kosteneffectiviteit: Het biedt een token-efficiënt alternatief voor naïeve prompting-pijlijnen, waardoor hoogwaardige evaluatie toegankelijk is zonder verbijsterende computationele kosten.

De auteurs concluderen dat KNIGHT bestaande brede benchmarks complementeert door een flexibele, reproduceerbare en domein-aanpasbare tool te bieden voor het creëren van rigoureuze, op feiten gebaseerde evaluatiesets. Ze erkennen beperkingen met betrekking tot generalisatie naar rekenintensieve domeinen (bijv. natuurkunde) en de resterende aanwezigheid van hallucinaties, maar stellen dat het framework de validiteit aanzienlijk verbetert ten opzichte van retrieval-only benaderingen.