Integrated Validation Framework for Educational Module Development (IVF-EMD): A Systematic Evidence Synthesis of Validation Practices and Methodological Gaps

교육 모듈은 교사와 교육 기관이 학생들을 특정 주제로 안내하기 위해 사용하는 구조화된 학습 자료 패키지입니다. 그것이 새로운 언어를 배우기 위한 디지털 앱이든, 지역 역사를 이해하기 위한 인쇄된 가이드이든, 혹은 과학 수업을 위한 일련의 활동이든, 이러한 도구들은 구체적인 교육적 문제를 해결하기 위해 설계되었습니다. 모듈이 널리 사용되기 위해 출시되기 전, 개발자들은 그것이 효과가 있음을 증명해야 합니다. '타당성 검증(validation)'이라고 알려진 이 과정은 콘텐츠가 정확한지, 사용자들에게 의미가 통하는지, 그리고 실제로 학생들의 학습을 돕는지 확인하는 과정을 포함합니다. 수십 년 동안 연구자들은 이러한 도구를 조직적으로 만들기 위해 ADDIE 모델과 같은 확립된 청사진에 의존해 왔습니다. 이러한 청사진은 개발자들에게 제품을 만드는 순서를 알려줍니다: 먼저 필요성을 분석하고, 그다음 해결책을 설계하며, 이를 제작하고, 마지막으로 테스트하는 것입니다. 그러나 제품을 만드는 계획과 제품이 좋다는 증거 사이에는 간극이 생겨났습니다. 청사진은 모듈을 구축하는 방법을 알려주지만, 모든 증거 단계가 서로 연결되도록 보장하지는 않으며, 이로 인해 개발자들은 완전한 그림을 형성하지 못하는 파편화된 증거들을 갖게 됩니다.

말레이시아 대학교의 한 연구팀은 이 증거가 현재 어떻게 수집되고 있는지 정확히 이해하기 위해 나섰습니다. 그들은 체계적 문헌 고찰(systematic review), 즉 전체적인 그림을 찾기 위해 많은 다양한 연구를 주의 깊게 수집하고 분석하는 방법을 수행했습니다. 그들은 교육 모듈의 생성과 테스트를 설명하는 51개의 개별 연구를 조사했습니다. 그들의 목표는 이러한 도구를 테스트하는 새로운 방법을 발명하는 것이 아니라, 기존의 방법들이 어떻게 사용되고 있으며 어디에 간극이 있는지를 살펴보는 것이었습니다. 그들은 연구자들이 일반적으로 수집하는 9가지 유형의 증거를 살펴보았습니다: 모듈이 필요한지 확인하는 요구 분석부터 시작하여, 전문가 의견 수렴, 내용의 정확성 확인, 사용자에게 명확하게 보이는지 확인, 소규모 시범 테스트 실시, 테스트의 일관성 확인, 사용 용이성 확인, 실제 교실에서의 작동 관찰, 그리고 마지막으로 실제로 학습 성과를 개선하는지 측정하는 것까지 포함됩니다.

연구진은 이 분야가 좋은 의도로 가득 차 있지만 연결성이 부족하다는 것을 발견했습니다. 그들이 검토한 거의 모든 연구(98%)는 모듈에 대한 필요성을 식별하는 것부터 시작했습니다. 또한 대다수(약 78%)는 설계를 검토하기 위해 전문가를 참여시켰고, 72%는 내용이 정확한지 확인했습니다. 이러한 초기 단계는 매우 흔했습니다. 그러나 과정이 진행됨에 따라 증거는 무너지기 시작했습니다. 모듈이 학생들이 사용하기 쉬운지 확인한 연구는 더 적었으며, 소규모 시범 테스트를 실시하거나 측정의 일관성을 확인한 연구는 훨씬 더 적었습니다. 가장 큰 폭의 하락은 연구자들이 모듈이 실제 교실에서 어떻게 작동하는지, 그리고 실제로 학습을 개선하는지를 증명하려고 할 때 발생했습니다. 많은 연구가 이러한 마지막 단계들을 수행했다고 주장했지만, 종종 이전의 점검들을 완료하지 않은 채로 수행되었습니다. 연구자들이 9가지 단계를 연결된 방식으로 모두 수행한 연구를 찾았을 때, 단 4개만을 발견했습니다. 이는 8% 미만의 연구만이 초기 아이디어부터 최종 결과까지 완전한 증거의 사슬을 제공했음을 의미합니다.

식별된 핵심 문제는 연구자들이 모듈을 테스트하는 데 실패하고 있다는 것이 아니라, 그들을 파편적으로 테스트하고 있다는 것입니다. 개발자는 완벽한 전문가 검토와 명확한 내용 확인을 가졌을 수도 있지만, 그 후 학생이 실제로 도구를 사용할 수 있는지 확인하는 단계를 건너뛸 수 있습니다. 또 다른 개발자는 내용이 정확하거나 도구가 사용하기 쉬운지 확인하기도 전에 곧바로 모듈이 교실에서 작동하는지 확인하는 단계로 넘어갈 수도 있습니다. 이는 하나의 증거만으로 모듈이 "검증되었다"고 선언되는 상황을 만드는데, 정작 전체 그림은 빠져 있을 수 있습니다. 연구자들은 타당성 검증이 단순히 체크박스에 표시를 하는 체크리스트로 간려져서는 안 된다고 주장합니다. 대신, 각 증거가 특정 주장을 뒷받침하는 '사례를 구축하는 과정'으로 간주되어야 합니다. 만약 개발자가 자신의 모듈이 교실에 투입될 준비가 되었다고 주장한다면, 사용 용이성에 대한 증거가 필요합니다. 만약 학습을 개선한다고 주장한다면, 효과성에 대한 증거가 필요합니다. 현재의 관행은 이러한 연결 고리들을 자주 건너뛰며, 이로 인해 '검증된' 모듈이 실제로 무엇을 의미하는지 알기 어렵게 만듭니다.

이를 해결하기 위해 연구자들은 '교육 모듈 개발을 위한 통합 타당성 검증 프레임워크(Integrated Validation Framework for Educational Module Development)'라고 불리는 새로운 방식의 점검 체계를 제안했습니다. 이 프레임워크는 모듈을 만드는 기존의 청사진을 대체하는 것이 아닙니다. 대신, 그것은 청사진 옆에 위치하여 증거를 위한 지도로서 기능합니다. 이 프레임워크는 9가지 유형의 점검을 네 가지 연결된 영역으로 그룹화합니다. 첫 번째는 제품의 실질적인 필요성을 보장하는 '기초 타당성 검증(Foundation Validation)'입니다. 두 번째는 전문가와 내용 검토가 아이디어를 뒷받침하는지 확인하는 '설계 타당성 검증(Design Validation)'입니다. 세 번째는 완성된 도구가 사용 가능하고, 일관되며, 시범 테스트를 위한 준비가 되었는지에 초점을 맞춘 '제품 타당성 검증(Product Validation)'입니다. 마지막 영역은 도구가 실제 교실에서 어떻게 수행되는지, 그리고 원하는 학습 성과를 달 Achieve 하는지를 살펴보는 '현장 타당성 검증(Field Validation)'입니다.

이 새로운 구조는 이러한 영역들이 서로 연결되어 있으며, 후기 단계의 증거가 초기 단계에 영향을 줄 수 있음을 강조합니다. 예를 들어, 모듈이 실제 교실에서 실패한다면, 그것은 설계가 결함이 있거나 내용이 불분명했음을 의미할 수 있으며, 이는 개발자들이 이전 단계들을 다시 점검하도록 요구합니다. 프레임워크는 개발자가 내세우는 주장의 강도에 따라 필요한 증거의 양이 달라져야 한다고 제안합니다. 단순한 프로토타입은 그것이 좋은 아이디어이고 적절해 보인다는 것만을 증명하면 될 수도 있지만, 국가적 차원에서 사용될 도구는 실제 교실에서 작동한다는 증거가 필요합니다. 이와 같이 증거를 조직함으로써, 이 프레임워크는 연구자와 개발자들이 자신들의 모듈이 무엇을 할 수 있고 무엇을 할 수 없는지에 대해 더 정직하고 정밀하게 말할 수 있도록 돕습니다. 연구는 교육 모듈을 테스트하기 위한 도구들은 존재하지만, 이 분야에는 그 도구들을 연결하여 최종 제품이 완전하고 일관된 증거의 이야기를 뒷받침할 수 있도록 하는 더 나은 시스템이 필요하다고 결론짓습니다.