Integrated Validation Framework for Educational Module Development (IVF-EMD): A Systematic Evidence Synthesis of Validation Practices and Methodological Gaps

Bildungsmodule sind strukturierte Pakete von Lernmaterialien, die Lehrer und Institutionen nutzen, um Schüler durch ein Fachgebiet zu führen. Ob es sich nun um eine digitale App zum Erlernen einer neuen Sprache, einen gedruckten Leitfaden zum Verständnis lokaler Geschichte oder einen Satz von Aktivitäten für einen Naturwissenschaftsunterricht handelt – diese Werkzeuge sind darauf ausgelegt, spezifische Bildungsprobleme zu lösen. Bevor ein Modul für die breite Anwendung freigegeben wird, müssen Entwickler beweisen, dass es funktioniert. Dieser Prozess, bekannt als Validierung, beinhaltet die Überprüfung, ob der Inhalt korrekt ist, ob er für die Menschen, die ihn nutzen werden, Sinn ergibt und ob er den Schülern tatsächlich beim Lernen hilft. Seit Jahrzehnten verlassen sich Forscher auf etablierte Blaupausen wie das ADDIE-Modell, um die Erstellung dieser Werkzeuge zu organisieren. Diese Blaupausen sagen den Entwicklern die Reihenfolge, in der ein Produkt gebaut werden muss: zuerst die Notwendigkeit analysieren, dann die Lösung entwerfen, dann das Produkt erstellen und schließlich es testen. Es ist jedoch eine Lücke entstanden zwischen dem Plan für den Bau eines Produkts und dem Beweis, dass das Produkt gut ist. Während die Blaupausen uns sagen, wie man ein Modul konstruiert, stellen sie nicht immer sicher, dass jeder Schritt des Beweises miteinander verbunden ist, was dazu führt, dass Entwickler mit Beweisstücken zurückbleiben, die kein vollständiges Bild ergeben.

Ein Team von Forschern der University of Malaya setzte sich zum Ziel, genau zu verstehen, wie dieser Beweis derzeit gesammelt wird. Sie führten eine systematische Übersichtsarbeit durch, eine Methode, bei der viele verschiedene Studien sorgfältig gesammelt und analysiert werden, um das Gesamtbild zu finden. Sie untersuchten 51 einzelne Studien, die die Erstellung und Testung von Bildungsmodulen beschrieben. Ihr Ziel war es nicht, neue Wege zur Testung dieser Werkzeuge zu erfinden, sondern zu sehen, wie die bestehenden Methoden verwendet werden und wo die Lücken liegen. Sie suchten nach neun spezifischen Arten von Evidenz, die Forscher typischerweise sammeln: beginnend mit einer Bedarfsanalyse, um zu sehen, ob das Modul notwendig ist, der Einholung von Expertenmeinungen, der Überprüfung des Inhalts auf Genauigkeit, der Abfrage bei den Nutzern, ob es klar erscheint, dem Durchführung kleiner Testläufe, der Prüfung, ob die Tests konsistent sind, der Untersuchung, ob es einfach zu bedienen ist, der Beobachtung der Funktionsweise in einem echten Klassenzimmer und schließlich der Messung, ob es tatsächlich die Lernergebnisse verbessert.

Die Forscher fanden heraus, dass das Feld voller guter Absichten ist, aber unter einem Mangel an Verbindung leidet. Fast jede Studie, die sie überprüften, nämlich 98 Prozent, begann damit, einen Bedarf für das Modul zu identifizieren. Eine große Mehrheit, etwa 78 Prozent, brachte zudem Experten ein, um das Design zu überprüfen, und 72 Prozent prüften, ob der Inhalt korrekt war. Diese frühen Schritte waren sehr verbreitet. Doch während der Prozess voranschritt, begann die Evidenz auseinanderzufallen. Weniger Studien prüften, ob das Modul für Schüler einfach zu bedienen war, und noch weniger führten kleine Testläufe durch oder prüften, ob die Messungen konsistent waren. Der signifikanteste Rückgang trat auf, wenn Forscher versuchten zu beweisen, dass das Modul in einem echten Klassenzimmer funktioniert und tatsächlich das Lernen verbessert. Obwohl viele Studien behaupteten, diese letzten Schritte durchgeführt zu haben, taten sie dies oft, ohne die vorherigen Prüfungen abgeschlossen zu haben. Als die Forscher nach Studien suchten, die alle neun Schritte auf eine verbundene Weise durchgeführt hatten, fanden sie nur vier. Das bedeutet, dass weniger als 8 Prozent der Studien eine vollständige Beweiskette vom ursprünglichen Gedanken bis zum Endergebnis lieferten.

Das Kernproblem, das identifiziert wurde, besteht nicht darin, dass Forscher ihre Module nicht testen, sondern dass sie sie in Fragmenten testen. Ein Entwickler mag eine perfekte Expertenprüfung und eine klare Inhaltsprüfung haben, dann aber den Schritt überspringen, zu sehen, ob ein Schüler das Werkzeug tatsächlich benutzen kann. Ein anderer mag direkt dazu übergehen zu sehen, ob ein Modul in einem Klassenzimmer funktioniert, ohne jemals geprüft zu haben, ob der Inhalt korrekt oder das Werkzeug einfach zu bedienen war. Dies führt zu einer Situation, in der ein Modul als „validiert“ deklariert werden kann, basierend auf einem einzigen Beweisstück, selbst wenn das vollständige Bild fehlt. Die Forscher argumentieren, dass Validierung nicht als eine Checkliste gesehen werden sollte, bei der man einfach Häkchen setzt. Stattdessen sollte sie als ein Prozess des Aufbauens eines Falles betrachtet werden, bei dem jedes Beweisstück eine spezifische Behauptung stützt. Wenn ein Entwickler behauptet, sein Modul sei bereit für das Klassenzimmer, benötigt er Beweise für die Benutzerfreundlichkeit. Wenn er behauptet, es verbessert das Lernen, benötigt er Beweise für die Wirksamkeit. Die aktuelle Praxis überspringt oft diese Verbindungen, was es schwierig macht, genau zu wissen, was ein „validiertes“ Modul tatsächlich bedeutet.

Um dies zu beheben, schlugen die Forscher eine neue Art der Organisation dieser Prüfungen vor, den „Integrated Validation Framework for Educational Module Development“. Dieses Framework ersetzt nicht die bestehenden Blaupausen für den Bau von Modulen. Stattdessen steht es neben ihnen und fungiert als Landkarte für die Evidenz. Es gruppiert die neun Arten der Überprüfung in vier verbundene Domänen. Die erste ist die Fundament-Validierung (Foundation Validation), die sicherstellt, dass ein realer Bedarf für das Produkt besteht. Die zweite ist die Design-Validierung (Design Validation), die bestätigt, dass Experten und Inhaltsprüfungen die Idee unterstützen. Die dritte ist die Produkt-Validierung (Product Validation), die sich darauf konzentriert, ob das fertige Werkzeug benutzbar, konsistent und bereit für einen Testlauf ist. Die letzte Domäne ist die Feld-Validierung (Field Validation), die untersucht, wie das Werkzeug in einem echten Klassenzimmer performt und ob es die gewünschten Lernergebnisse erzielt.

Diese neue Struktur betont, dass diese Domänen miteinander verbunden sind und dass Evidenz aus späteren Phasen frühere Phasen informieren kann. Wenn ein Modul in einem echten Klassenzimmer scheitert, kann dies beispielsweise bedeuten, dass das Design fehlerhaft oder der Inhalt unklar war, was die Entwickler dazu veranlassen muss, zu den früheren Schritten zurückzukehren und diese erneut zu prüfen. Das Framework legt nahe, dass die Menge des Beweises, den ein Entwickler benötigt, der Stärke der Behauptung entsprechen sollte, die er aufstellt. Ein einfacher Prototyp muss vielleicht nur beweisen, dass es eine gute Idee ist und richtig aussieht, während ein Werkzeug, das für den nationalen Gebrauch bestimmt ist, den Beweis benötigt, dass es in echten Klassenzimmern funktioniert. Durch die Organisation der Evidenz auf diese Weise hilft das Framework Forschern und Entwicklern, ehrlicher und präziser darüber zu sein, was ihre Module können und was nicht. Die Studie kommt zu dem Schluss, dass die Werkzeuge zum Testen von Bildungsmodulen zwar existieren, das Feld jedoch ein besseres System benötigt, um sie zu verbinden, damit das Endprodukt durch eine vollständige und kohärente Geschichte von Beweisen gestützt wird.