Self-hosted Lecture-to-Quiz: Local LLM MCQ Generation with Deterministic Quality Control

Deze paper presenteert een volledig lokaal, API-vrij systeem dat college-lectures omzet in meerkeuzevragen met deterministische kwaliteitscontrole, waarbij privacy, verantwoordingsplicht en groene AI worden bevorderd.

Seine A. Shintani

Gepubliceerd Wed, 11 Ma
📖 4 min leestijd☕ Koffiepauze-leesvoer

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat je een leraar bent met een stapel dik, moeilijk leesbaar college-tekst (een PDF). Je wilt hieruit een quiz maken voor je studenten, maar je hebt geen tijd om elke vraag zelf te typen. Je wilt een robot (een AI) die het voor je doet.

Maar hier zit een addertje onder het gras:

  1. Je wilt geen geheime college-tekst naar een grote, externe bedrijfserver sturen (privacy).
  2. Je wilt zeker weten dat de robot geen domme fouten maakt, zoals twee vragen die precies hetzelfde zijn, of een vraag met twee goede antwoorden.
  3. Je wilt dat de quiz later gewoon werkt, zonder dat je de robot elke keer weer nodig hebt.

Dit artikel beschrijft een slimme oplossing genaamd L2Q (Lecture-to-Quiz). Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Eigen Keuken" (Self-hosted)

In plaats van je recept (je college) naar een beroemd restaurant (een grote AI-dienst in de cloud) te sturen, kook je het zelf in je eigen keuken.

  • Wat betekent dit? De AI draait op je eigen computer (of een veilige server op school). Niemand anders ziet je materiaal. Het is alsof je je eigen kok hebt in plaats van te bestellen bij een bezorgdienst.

2. De Robot-Kok en de Kwaliteitscontroleur

Het proces heeft twee hoofdpersonen:

  • De Robot-Kok (De AI): Deze leest je college en probeert 8 vragen te bakken. Maar robots kunnen soms slordig zijn. Soms bakken ze twee cakes die op elkaar lijken, of vergeten ze de suiker (de juiste afronding van een getal).
  • De Kwaliteitscontroleur (De "Deterministische QC"): Dit is een strenge, onfeilbare keurmeester die geen gevoel heeft, maar wel heel goed kan rekenen en tellen.
    • Hij kijkt: "Zijn er 5 opties?" (Ja/Nee).
    • "Is er precies één goed antwoord?" (Ja/Nee).
    • "Zijn optie A en optie C eigenlijk hetzelfde getal?" (Bijvoorbeeld: $2 \times 3en en 6$ zijn hetzelfde. Als beide als 'fout' antwoord staan, is dat een foutje).

Als de keurmeester een fout ziet, zegt hij: "Nee, deze cake is niet goed. Probeer het opnieuw!" De robot probeert het dan nog een paar keer tot het perfect is.

3. De "Voorzorgsmaatregel" (Warning System)

Soms is de cake technisch gezien goed, maar mist er een klein detail. Bijvoorbeeld: de vraag vraagt om een getal, maar zegt niet of je moet afronden op 2 decimalen.

  • De keurmeester roept dan niet "Nee!", maar zegt: "Let op, dit kan verwarrend zijn voor de leerling."
  • De auteur van het artikel heeft een lijst gemaakt met deze waarschuwingen en hoe je ze makkelijk oplost (bijv. "Voeg 'rond af op 2 decimalen' toe aan de vraag").

4. Het Eindresultaat: Een Statische Quiz

Het mooiste aan dit systeem is het einde.

  • De AI doet het zware werk (het schrijven van de vragen).
  • Maar het eindproduct is een statisch bestand (een simpele lijst met vragen).
  • De analogie: Stel je voor dat de AI een schrijver is die een boek schrijft. Zodra het boek gedrukt is, heb je de schrijver niet meer nodig om het boek te lezen.
  • Studenten kunnen de quiz maken in Google Forms of een ander systeem, zonder dat er ook maar één AI-robot actief hoeft te zijn. Dit bespaart energie en maakt het systeem veilig en snel.

Waarom is dit belangrijk? (De "AI2L" filosofie)

De auteur noemt dit "Black-box minimalisatie".

  • Zwart doosje: Normaal gesproken is een AI een mysterie. Je geeft iets in, en je krijgt iets uit. Je weet niet hoe het werkt.
  • De oplossing: In dit systeem gebruiken we het "zwarte doosje" alleen om een eerste versie te maken. Daarna controleren we alles streng, en het eindproduct is een helder, controleerbaar document.
  • Groene AI: Omdat je de AI niet elke keer nodig hebt om een quiz te draaien, verbruik je minder stroom.

Samenvatting in één zin

Dit artikel laat zien hoe je met een eigen AI-robot in je eigen keuken, geholpen door een strenge keurmeester, een veilige en foutloze quiz kunt maken van je college-tekst, zonder dat je je geheimen deelt met grote bedrijven en zonder dat je de robot later nog nodig hebt.

De resultaten: De auteur heeft dit getest op drie korte colleges over "entropie" (een ingewikkeld natuurkundig onderwerp). Het systeem slaagde erin om 120 vragen te maken, waarvan er 120 technisch perfect waren. Na het oplossen van een paar kleine waarschuwingen (zoals afronding), bleven er 24 perfecte vragen over voor een echte quiz.