Multimodal examination answer data with expert-designed Outcome-Based Education rubrics for criterion-level assessment
Dit artikel introduceert een multimodale dataset bestaande uit 485 gescande examenantwoorden van 415 studenten verspreid over vier instellingen, gekoppeld aan door experts ontworpen Outcome-Based Education-rubrieken en uitgebreide metadata om onderzoek naar automatische evaluatie, multimodale documentbegrip en privacybewuste beoordeling te ondersteunen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van het onderwijs is het eindcijfer op een toets vaak slechts een getal, een enkele score die weken van leren samenvat. Maar achter dat getal schuilt een complex proces waarbij een docent iemands handschrift leest, een schets interpreteert, een berekening controleert en bepaalt hoe goed een specifiek idee werd begrepen. Dit proces staat bekend als outcome-based assessment (resultaatgerichte beoordeling), een methode waarbij de focus niet alleen ligt op het krijgen van het juiste antwoord, maar op het demonstreren van specifieke vaardigheden en kennissappen onderweg. Decennialang hebben computers moeite gehad om deze menselijke kant van het nakijken te begrijpen. Ze zijn uitstekend in het lezen van getypte tekst, maar ze struikelen vaak over de rommelige realiteit van een handgeschreven examenblad vol doorgehaalde woorden, gekrabbelde diagrammen en vergelijkingen geschreven in de marges. Om een computer te leren nakijken zoals een mens dat doet, hebben onderzoekers een enorme bibliotheek nodig van echte voorbeelden, gekoppeld aan de gedetailleerde aantekeningen die docenten gebruiken om de score te bepalen. Zonder dit blijft kunstmatige intelligentie blind voor de nuances van hoe studenten daadwerkelijk laten zien wat ze weten.
Een team van onderzoekers aan de Bangladesh Army University of Science and Technology heeft precies dit soort bibliotheek gebouwd. Ze hebben een nieuwe collectie van 485 gescande examenwerken gecreëerd, verzameld van 415 studenten van vier verschillende instellingen. Dit zijn geen eenvoudige tekstbestanden; het zijn digitale foto's van echte examendocumenten, compleet met het originele handschrift, gedrukte diagrammen, tabellen en code. Wat deze collectie uniek maakt, is dat elk gescand pagina gekoppeld is aan een gedetailleerd digitaal dossier dat uitlegt hoe een menselijke expert het heeft beoordeeld. Dit dossier bevat de oorspronkelijke vraag, een modelantwoord en een specifieke set regels, een zogenaamde rubric. Een rubric breekt een vraag op in kleinere delen, zoals "begrip van het concept" of "helderheid van presentatie", en wijst aan elk deel een score toe op basis van hoe goed de student presteerde. Dit stelt de data in staat om niet alleen te laten zien dat een student 11 van de 15 punten heeft gehaald, maar ook precies welke delen van het antwoord die punten hebben opgeleverd en welke delen ontbraken.
De onderzoekers hebben deze materialen verzameld van acht verschillende faculteiten die negen verschillende vakken onderwezen, variërend van computerwetenschappelijke onderwerpen zoals machine learning en algoritmen tot meer gespecialiseerde gebieden zoals visserij en e-commerce. De collectie beslaat 12 verschillende soorten vragen, die samen 47 specifieke criteria voor evaluatie bevatten. Om ervoor te zorgen dat de data bruikbaar is voor het trainen van computers om met real-world condities om te gaan, hebben de onderzoekers de papieren niet op een perfecte, uniforme manier gescand. Ze gebruikten een mix van mobiele telefoon-apps en traditionele flatbedscanners. Dit betekent dat de afbeeldingen in de collectie variëren in helderheid, contrast en hoek, net zoals echte documenten dat doen in een klaslokaal. Sommige pagina's staan licht gekanteld, sommige hebben schaduwen en anderen zijn anders gecomprimeerd. Het werk van de studenten varieert ook sterk; sommige papieren zijn netjes, terwijl andere doorgehaalde fouten, ingevoegde correcties en pijlen naar specifieke details bevatten. Deze variëteit is bewust gekozen, met het doel onderzoekers te helpen systemen te bouwen die documenten kunnen lezen en begrijpen, zelfs wanneer ze rommelig of imperfect zijn.
De kern van dit werk is de structuur van de data zelf. Voor elk gescand PDF-bestand is er een bijbehorend digitaal bestand dat als een kaart fungeert. Deze kaart koppelt de afbeelding aan de gestelde vraag, het juiste antwoord en een lijst met de specifieke criteria die de docent gebruikte voor de beoordeling. Voor elk criterium legt de kaart vast hoeveel punten de student heeft verdiend en beschrijft wat een perfecte, goede, gemiddelde of zwakke prestatie inhoudt voor dat specifieke deel van de vraag. Dit niveau van detail is cruciaal omdat het verder gaat dan een simpele totaalscore. Het stelt onderzoekers in staat om computers te trainen om precies te identificeren welke delen van een handgeschreven antwoord correct zijn en welke niet, in plaats van alleen een eindcijfer te raden. Het team heeft veel tijd besteed aan het opschonen en organiseren van deze data. Ze controleerden elke score om te controleren of de wiskunde klopte, standaardiseerden de namen van de vakken en vervingen alle namen en ID's van studenten door willekeurige codes om de privacy te beschermen. Ze zorgden er ook voor dat elke bestandsnaam overeenkwam met de juiste afbeelding, waardoor een veilig en betrouwbaar dataset ontstond.
Deze collectie is nu beschikbaar voor andere onderzoekers om te gebruiken, maar met strikte regels om de betrokken studenten te beschermen. Omdat de afbeeldingen nog steeds het originele handschrift en soms zichtbare namen of logo's bevatten, zijn de gegevens niet openbaar toegankelijk. Ze zijn gereserveerd voor goedgekeurde onderzoeksprojecten waarbij het doel is om te verbeteren hoe computers documenten en beoordelingen begrijpen. De onderzoekers benadrukken dat deze data een hulpmiddel is voor studie, en geen systeem voor het nakijken van echte studenten. De scores in de collectie werden toegekend door menselijke docenten voor hun eigen klassen, en de dataset is bedoeld om betere instrumenten voor de toekomst te boupen, niet om vandaag de dag de werkelijke cijfers van een student te bepalen. Door een grote, diverse en zorgvuldig gelabelde set van echte examenwerken te bieden, vormt dit werk een solide fundament voor de volgende generatie onderwijstechnologie, wat helpt de kloof tussen menselijk oordeel en machinaal begrip te overbruggen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.