Multimodal examination answer data with expert-designed Outcome-Based Education rubrics for criterion-level assessment
Dieses Paper führt einen multimodalen Datensatz ein, der 485 gescannte Prüfungsantworten von 415 Studierenden aus vier Institutionen umfasst, gepaart mit von Experten entworfenen Rubriken für ergebnisorientierte Bildung (Outcome-Based Education) und umfassenden Metadaten zur Unterstützung der Forschung in den Bereichen automatisierte Bewertung, multimodales Dokumentenverständnis und datenschutzbewusste Leistungsbewertung.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt der Bildung ist die Endnote einer Prüfung oft nur eine Zahl, ein einzelner Wert, der Wochen des Lernens zusammenfasst. Doch hinter dieser Zahl verbirgt sich ein komplexer Prozess, bei dem eine Lehrkraft die Handschrift eines Schülers liest, eine Skizze interpretiert, eine Berechnung prüft und entscheidet, wie gut eine bestimmte Idee verstanden wurde. Dieser Prozess ist als ergebnisorientierte Bewertung bekannt – eine Methode, bei der der Fokus nicht nur darauf liegt, die richtige Antwort zu finden, sondern darin, spezifische Fähigkeiten und Wissensschritte entlang des Weges nachzuweisen. Seit Jahrzehnten haben Computer Schwierigkeiten, diese menschliche Seite der Benotung zu verstehen. Sie sind exzellent darin, getippten Text zu lesen, aber sie stolpern oft über die unordentliche Realität einer handgeschriebenen Prüfungsseite voller durchgestrichener Wörter, hingekritzelter Diagramme und am Rand notierter Gleichungen. Um einen Computer zu lehren, wie ein Mensch zu bewerten, benötigen Forscher eine massive Bibliothek aus echten Beispielen, gepaart mit den detaillierten Notizen, die Lehrkräfte verwenden, um die Punktzahl festzulegen. Oh-ne dies bleibt die künstliche Intelligenz blind für die Nuancen dessen, wie Schüler tatsächlich zeigen, was sie wissen.
Ein Team von Forschern an der Bangladesh Army University of Science and Technology hat genau diese Art von Bibliothek aufgebaut. Sie haben eine neue Sammlung von 485 gescannten Prüfungsunterlagen erstellt, die von 415 Studenten aus vier verschiedenen Institutionen stammen. Dies sind keine einfachen Textdateien; es sind digitale Fotografien echter Prüfungsbögen, komplett mit der ursprünglichen Handschrift, gedruckten Diagrammen, Tabellen und Code. Was diese Sammlung einzigartig macht, ist, dass jede einzelne gescannte Seite mit einem detaillierten digitalen Datensatz verknüpft ist, der erklärt, wie ein menschlicher Experte sie bewertet hat. Dieser Datensatz enthält die ursprüngliche Frage, eine Modellantwort und einen spezifischen Satz von Regeln, der als Rubrik bezeichnet wird. Eine Rubrik unterteilt eine Frage in kleinere Teile, wie zum Beispiel „Verständnis des Konzepts“ oder „Klarheit der Darstellung“, und weist jedem Teil eine Punktzahl zu, basierend darauf, wie gut der Schüler abgeschnitten hat. Dies ermöglicht es den Daten zu zeigen, dass ein Schüler nicht einfach nur 11 von 15 Punkten erhalten hat, sondern genau aufzeigt, welche Teile seiner Antwort diese Punkte brachten und welche Teile fehlten.
Die Forscher sammelten diese Materialien von acht verschiedenen Fakultätsmitgliedern, die neun unterschiedliche Fächer unterrichtten, die von Informatikthemen wie maschinellem Lernen und Algorithmen bis hin zu spezialisierteren Bereichen wie Fischerei und E-Commerce reichen. Die Sammlung umfasst 12 verschiedene Arten von Fragen, die zusammen 47 spezifische Bewertungskriterien enthalten. Um sicherzustellen, dass die Daten nützlich sind, um Computer für reale Bedingungen zu trainieren, haben die Teams die Papiere nicht einfach auf eine perfekte, einheitliche Weise gescannt. Sie verwendeten eine Mischung aus mobilen Telefon-Apps und traditionellen Flachbettscannern. Das bedeutet, dass die Bilder in der Sammlung in Helligkeit, Kontrast und Winkel variieren, genau wie reale Dokumente im Klassenzimmer. Einige Seiten sind leicht geneigt, einige haben Schatten und andere wurden unterschiedlich komprimiert. Auch die Arbeit der Studenten variiert stark; einige Arbeiten sind ordentlich, während andere durchgestrichene Fehler, eingefügte Korrekturen und Pfeile, die auf bestimmte Details deuten, enthalten. Diese Vielfalt ist beabsichtigt, um Forschern zu helfen, Systeme zu entwickeln, die Dokumente selbst dann lesen und verstehen können, wenn sie unordentlich oder unvollkommen sind.
Der Kern dieser Arbeit ist die Struktur der Daten selbst. Für jede gescannte PDF-Datei gibt es eine entsprechende digitale Datei, die als Karte fungiert. Diese Karte verknüpft das Bild mit der gestellten Frage, der richtigen Antwort und einer Liste der spezifischen Kriterien, die der Lehrer für die Bewertung verwendet hat. Für jedes Kriterium zeichnet die Karte auf, wie viele Punkte der Schüler erzielt hat und beschreibt, wie eine perfekte, gute, durchschnittliche oder schwache Leistung für diesen spezifischen Teil der Frage aussieht. Dieses Maß an Detailtiefe ist entscheidend, da es über eine einfache Gesamtnote hinausgeht. Es ermöglicht Forschern, Computer darauf zu trainieren, genau zu identifizieren, welche Teile einer handschriftlichen Antwort korrekt sind und welche nicht, anstatt nur eine endgültige Zahl zu erraten. Das Team hat viel Zeit damit verbracht, diese Daten zu bereinigen und zu organisieren. Sie überprüften jede Punktzahl, um sicherzustellen, dass die Mathematik stimmte, standardisierten die Namen der Fachbereiche und ersetzten alle Namen von Schülern und IDs durch zufällige Codes, um die Privatsphäre zu schützen. Sie stellten auch sicher, dass jeder Dateiname zu seinem korrekten Bild passte, wodurch einen sicheren und zuverlässigen Datensatz schufen.
Diese Sammlung steht nun anderen Forschern zur Verfügung, jedoch unter strengen Regeln zum Schutz der beteiligten Studenten. Da die Bilder immer noch die ursprüngliche Handschrift und manchmal sichtbare Namen oder Logos enthalten, sind die Daten nicht öffentlich zugänglich. Sie sind Projekten vorbehalten, die genehmigt wurden und deren Ziel es ist, das Verständnis von Computern für Dokumente und Bewertungen zu verbessern. Die Forscher betonen, dass diese Daten ein Werkzeug zur Untersuchung sind und kein System zur Benotung realer Studenten. Die Punktzahlen in der Sammlung wurden von menschlichen Lehrkräften für ihre eigenen Klassen vergeben, und der Datensatz soll dazu dienen, bessere Werkzeuge für die Zukunft zu bauen, nicht um die tatsächliche Note eines Schülers heute zu bestimmen. Durch die Bereitstellung einer großen, vielfältigen und sorgfältig beschrifteten Menge an echten Prüfungsunterlagen bietet diese Arbeit ein solides Fundament für die nächste Generation der Bildungstechnologie und hilft dabei, die Lücke zwischen menschlichem Urteilsvermögen und maschinellem Verständnis zu schließen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.