AiDER: Auditing and Document Evaluation via Rule Compilation and Small Language Models - An Education Case Study

Stel je voor dat je een robot probeert te leren hoe hij het huiswerk van een student moet nakijken. In de wereld van Kunstmatige Intelligentie zijn er twee belangrijke manieren om dit te doen. De eerste manier is om een gigantisch, superintelligent "brein" (een Large Language Model genoemd) het assignment te laten lezen en de cijfers te laten raden op basis van zijn intuïtie. Het is snel, maar het is een 'black box'; als het fout gaat, heb je geen idee waarom, en kun je het werk niet echt controleren. De tweede manier is om een strikt regelboek te gebruiken. Je schrijft exacte instructies op zoals: "Als de student 'zwaartekracht' vermeldt, geef dan 5 punten." Dit is transparant en gemakkelijk te controleren, maar het is lastig om regels te schrijven voor alles, vooral wanneer de instructies in rommelige, menselijke taal zijn geschreven.

Dit artikel bevindt zich precies op het snijvlak van deze twee werelden. Het vraagt zich af: Kunnen we de flexibiliteit van een slimme AI combineren met de eerlijkheid van een strikt regelboek? De onderzoekers werken in het veld van "auditable AI" (controleerbare AI), wat er alles aan doet om ervoor te zorgen dat AI-beslissingen verklaarbaar en controleerbaar zijn, in plaats van dat ze simpelweg als magie worden geaccepteerd. Ze zijn bijzonder geïnteresseerd in het gebruik van "Small Language Models" (SLM's)—AI-breinen die kleiner en goedkoper zijn en kunnen draaien op een enkele computer zonder een enorme cloudserver nodig te hebben. De grote vraag is: Kan een kleinere, eenvoudigere AI slim genoeg zijn om de vage instructies van een mens om te zetten in een strikt regelboek dat een computer perfect kan volgen?

De auteurs introduceren een nieuw systeem genaamd AiDER (Auditing and Document Evaluation via Rule Compilation and Small Language Models). Denk aan AiDER als een slimme vertaler en een strikte scheidsrechter die samenwerken. In plaats van de AI de cijfers te laten raden, dwingt AiDER de AI om twee aparte taken uit te voeren. Eerst fungeert de AI als een vertaler: het neemt een natuurlijke taalvereiste (zoals "Studenten moeten weten hoe ze beoordeeld zullen worden") en probeert dit te compileren naar een strikte, uitvoerbare code-regel. Ten tweede fungeert een apart, deterministisch computerprogramma als de scheidsrechter: het bekijkt het document, zoekt naar het specifieke bewijs waar de regel om vroeg, en controleert of aan de regel is voldaan. De AI bepaalt nooit het cijfer; het stelt alleen de regels op en vindt de aanwijzingen.

Om dit te testen, gebruikten de onderzoekers vier verschillende kleine AI-modellen (met groottes variërend van 2 tot 4 miljard parameters) en een set van 200 real-world onderwijsdocumenten, zoals syllabusbeschrijvingen en beoordelingsrubrieken. Ze probeerden drie verschillende manieren om de AI de regels te laten schrijven:

1. Door mensen geschreven regels: De "gouden standaard" waarbij een mens de strikte code heeft geschreven.
2. Directe compilatie: De AI probeert de code in één keer te schrijven.
3. Validatie-loop reparatie: Als de AI een defecte regel schreef, zei het systeem "Error!" en kreeg de AI de kans om het tot vijf keer toe opnieuw te proberen om de fout te herstellen.

De resultaten waren een mix van "goed nieuws" en "voorzichtige optimisme." De studie toonde aan dat wanneer de AI erin slaagde een geldige regel te schrijven, zelfs de kleinste modellen verrassend goed waren in het vinden van het juiste bewijs om een beslissing te nemen. De AI had echter vaak moeite om bij de eerste poging een perfecte regel te schrijven. Dit is waar de "reparatieloop" uitblonk. Door de AI de kans te geven zijn eigen fouten te herstellen, verbeterde het systeem de frequentie waarmee de regels correct werkten aanzienlijk.

Interessant genoeg suggereert het paper dat zodra de strikte regel (het "steigerwerk") staat, de AI niet veel extra hulp nodig heeft om het bewijs te vinden. Sterker nog, het toevoegen van te veel extra instructies vanuit de AI maakte de boel soms juist slechter, vooral voor de kleinere modellen. De studie concludeert dat het belangrijkste deel van het proces het juist krijgen van de regel is. Als de regel duidelijk is, kan zelfs een kleine, eenvoudige AI het zware werk doen van het vinden van het bewijs.

Uiteindelijk suggereert het paper dat we voor taken zoals het controleren van onderwijsmateriaal niet simpelweg een AI moeten vragen om een document te "beoordelen". In plaats daarvan zouden we AI moeten gebruiken om menselijke vereisten te vertalen naar strikte, controleerbare regels, en vervolgens een computer de feiten te laten verifiëren. Deze aanpak maakt het hele proces transparant: als een beslissing fout is, kun je het terugtraceren om te zien of de regel slecht is geschreven, of dat de AI een stuk bewijs heeft gemist, in plaats van een mysterieus "black box"-vonnis te verwijten. Hoewel de studie beperkt was tot één specifieke cursus en een kleine set documenten, biedt het een veelbelovend blauwdruk voor het betrouwbaarder, eerlijker en begrijpelijker maken van AI in het onderwijs.