Integrated Validation Framework for Educational Module Development (IVF-EMD): A Systematic Evidence Synthesis of Validation Practices and Methodological Gaps

教学模块是教师和机构用来引导学生学习某一学科的结构化学习材料包。无论是用于学习新语言的数字应用，还是用于理解当地历史的印刷指南，亦或是科学课上的一套活动，这些工具的设计初衷都是为了解决特定的教育问题。在教学模块发布进行广泛使用之前，开发者必须证明它是有效的。这个过程被称为“验证”（validation），它涉及检查内容是否准确、对使用者而言是否合乎逻辑，以及是否确实有助于学生学习。几十年来，研究人员一直依赖成熟的蓝图（例如 ADDIE 模型）来组织这些工具的创建过程。这些蓝图告诉开发者构建产品的顺序：首先分析需求，然后设计解决方案，接着进行制作，最后进行测试。然而，在构建产品的计划与证明产品质量的证据之间，出现了一个鸿沟。虽然蓝图告诉我们如何构建一个模块，但它们并不总能确保证明过程中的每一步都是相互关联的，这导致开发者手中的证据无法构成一个完整的图景。

来自马来亚大学的一个研究小组致力于了解目前是如何收集这些证明证据的。他们进行了一项系统综述，这是一种通过仔细收集和分析许多不同研究以寻找宏观全貌的方法。他们审查了 51 项描述教育模块创建与测试的独立研究。他们的目标不是发明新的测试工具的方法，而是观察现有的方法是如何被使用的，以及差距在哪里。他们寻找了九种研究人员通常会收集的特定类型的证据：从需求分析（以查看模块是否必要）、获取专家意见、检查内容的准确性、询问用户其是否清晰，到进行小规模试测、检查测试是否具有一致性、观察其易用性，以及观察其在真实课堂中的表现，最后测量其是否确实改善了学习成果。

研究人员发现，该领域充满了良好的初衷，却面临着缺乏关联性的问题。他们审查的几乎所有研究（98%）都以确定模块的需求作为开端。很大一部分研究（约 78%）也引入了专家来评审设计，且有 72% 的研究检查了内容的准确性。这些早期步骤非常普遍。然而，随着流程的推进，证据开始变得支离破碎。检查模块是否易于学生使用的研究较少，甚至更少的研究进行了小规模试测或检查测量是否具有一致性。最显著的下降发生在研究人员试图证明模块在真实课堂中有效并确实改善学习时。虽然许多研究声称已经完成了这些最后步骤，但它们往往是在没有完成前面检查的情况下进行的。当研究人员寻找那些完整执行了全部九个步骤且具有连贯性的研究时，他们仅发现了四项。这意味着只有不到 8% 的研究提供了从最初构思到最终结果的完整证据链。

研究人员确定的核心问题不在于研究人员未能测试他们的模块，而在于他们是在碎片化地进行测试。一位开发者可能拥有完美的专家评审和清晰的内容检查，但随后却跳过了观察学生是否能实际使用该工具的步骤。另一位开发者可能直接跳到观察模块在课堂中是否有效，而从未检查过内容是否准确或工具是否易于使用。这种情况导致一个模块可能仅基于单一证据就被宣布为“经过验证”，即便完整的图景仍然缺失。研究人员认为，验证不应被视为仅仅勾选方框的清单，而应被视为构建论据的过程，其中每一项证据都应支持一个特定的主张。如果开发者声称其模块已准备好进入课堂，他们需要易用性的证据；如果他们声称其能改善学习，则需要有效性的证据。目前的做法经常跳过这些环节，使得人们很难准确了解一个“经过验证”的模块究竟意味着什么。

为了解决这个问题，研究人员提出了一种组织这些检查的新方法，称为“教育模块开发集成验证框架”。该框架并不取代现有的构建模块的蓝图，而是与其并行，充当证据的地图。它将九种类型的检查归纳为四个相互关联的领域。第一是基础验证（Foundation Validation），确保产品有真实的实际需求。第二是设计验证（Design Validation），确认专家意见和内容检查能够支持该构想。第三是产品验证（Product Validation），侧重于成品是否可用、是否具有一致性以及是否可以进行试测。最后一个领域是现场验证（Field Validation），观察工具在真实课堂中的表现以及是否达到了预期的学习成果。

这种新结构强调了这些领域是相互关联的，且来自后期阶段的证据可以反馈并指导早期阶段。例如，如果一个模块在真实课堂中失败了，这可能意味着设计存在缺陷或内容不清晰，从而要求开发者回到之前的步骤进行重新检查。该框架建议，开发者所需的证明程度应与其所提出的主张强度相匹配。一个简单的原型可能只需要证明其构思合理且外观正确，而一个旨在全国范围内使用的工具则需要证明其在真实课堂中有效。通过以这种方式组织证据，该框架有助于研究人员和开发者更诚实、更精确地说明他们的模块能够做什么以及不能做什么。这项研究得出结论，虽然测试教育模块的工具已经存在，但该领域需要一个更好的系统来连接它们，以确保最终产品得到一个完整且连贯的证据链的支持。