Integrated Validation Framework for Educational Module Development (IVF-EMD): A Systematic Evidence Synthesis of Validation Practices and Methodological Gaps

Módulos educacionais são pacotes estruturados de materiais de aprendizagem que professores e instituições utilizam para guiar os alunos através de uma disciplina. Seja um aplicativo digital para aprender uma nova língua, um guia impresso para compreender a história local ou um conjunto de atividades para uma aula de ciências, essas ferramentas são projetadas para resolver problemas educacionais específicos. Antes que um módulo seja lançado para uso generalizado, os desenvolvedores devem provar que ele funciona. Esse processo, conhecido como validação, envolve verificar se o conteúdo é preciso, se faz sentido para as pessoas que o utilizarão e se realmente ajuda os alunos a aprender. Por décadas, pesquisadores têm dependido de modelos estabelecidos, como o modelo ADDIE, para organizar a criação dessas ferramentas. Esses modelos dizem aos desenvolvedores a ordem em que devem construir um produto: primeiro analisar a necessidade, depois projetar a solução, então criá-la e, finalmente, testá-la. No entanto, surgiu uma lacuna entre o plano para construir um produto e a prova de que o produto é bom. Embora os modelos nos digam como construir um módulo, eles nem sempre garantem que cada etapa da prova esteja conectada, deixando os desenvolvedores com fragmentos de evidências que não formam um quadro completo.

Uma equipe de pesquisadores da Universidade de Malaya partiu para entender exatamente como essa prova está sendo coletada atualmente. Eles realizaram uma revisão sistemática, que é um método de coletar e analisar cuidadosamente muitos estudos diferentes para encontrar o panorama geral. Eles examinaram 51 estudos distintos que descreviam a criação e o teste de módulos educacionais. O objetivo deles não era inventar novas maneiras de testar essas ferramentas, mas ver como os métodos existentes estavam sendo usados e onde residiam as lacunas. Eles buscaram nove tipos específicos de evidências que os pesquisadores tipicamente reúnem: começando com uma análise de necessidades para ver se o módulo é necessário, obter opiniões de especialistas, verificar a precisão do conteúdo, perguntar aos usuários se parece claro, realizar pequenos testes experimentais, verificar se os testes são consistentes, observar se é fácil de usar, observar o funcionamento em uma sala de aula real e, finalmente, medir se realmente melhora os resultados de aprendizagem.

Os pesquisadores descobriram que o campo é repleto de boas intenções, mas sofre de uma falta de conexão. Quase todos os estudos que revisaram, 98 por cento, começaram identificando uma necessidade para o módulo. Uma grande maioria, cerca de 78 por cento, também trouxe especialistas para revisar o design, e 72 por cento verificaram se o conteúdo era preciso. Essas etapas iniciais foram muito comuns. No entanto, à medida que o processo avançava, as evidências começavam a se desintegrar. Menos estudos verificaram se o módulo era fácil para os alunos usarem, e ainda menos realizaram os pequenos testes experimentais ou verificaram se as medições eram consistentes. A queda mais significativa ocorreu quando os pesquisadores tentaram provar que o módulo funcionava em uma sala de aula real e realmente melhorava a aprendizagem. Embora muitos estudos alegassem ter realizado essas etapas finais, eles frequentemente o faziam sem ter completado as verificações anteriores. Quando os pesquisadores buscaram por estudos que tivessem realizado todos os nove passos de forma conectada, encontraram apenas quatro. Isso significa que menos de 8 por cento dos estudos forneceram uma cadeia completa de evidências, desde a ideia inicial até o resultado final.

O problema central identificado não é que os pesquisadores estão falhando em testar seus módulos, mas sim que estão testando-os em fragmentos. Um desenvolvedor pode ter uma revisão de especialista perfeita e uma verificação de conteúdo clara, mas então pular a etapa de ver se um aluno consegue realmente usar a ferramenta. Outro pode saltar diretamente para ver se um módulo funciona em uma sala de aula sem nunca ter verificado se o conteúdo era preciso ou se a ferramenta era fácil de usar. Isso cria uma situação em que um módulo pode ser declarado "validado" com base em uma única peça de evidência, mesmo que o quadro completo esteja faltando. Os pesquisadores argumentam que a validação não deve ser vista como um checklist onde você simplesmente marca caixas. Em vez disso, deve ser vista como um processo de construção de um caso, onde cada peça de evidência apoia uma afirmação específica. Se um desenvolvedor afirma que seu módulo está pronto para a sala de aula, ele precisa de evidência de usabilidade. Se ele afirma que o módulo melhora a aprendizagem, ele precisa de evidência de eficácia. A prática atual frequentemente pula esses elos, tornando difícil saber exatamente o que um módulo "validado" realmente significa.

Para corrigir isso, os pesquisadores propuseram uma nova maneira de organizar essas verificações, chamada Estrutura de Validação Integrada para o Desenvolvimento de Módulos Educacionais (Integrated Validation Framework for Educational Module Development). Esta estrutura não substitui os modelos existentes para construir módulos. Em vez disso, ela se posiciona ao lado deles, atuando como um mapa para a evidência. Ela agrupa os nove tipos de verificações em quatro domínios conectados. O primeiro é a Validação de Fundação, que garante que haja uma necessidade real para o produto. O segundo é a Validação de Design, que confirma que especialistas e verificações de conteúdo apoiam a ideia. O terceiro é a Validação de Produto, que foca em se a ferramenta final é utilizável, consistente e pronta para um teste. O domínio final é a Validação de Campo, que observa como a ferramenta performa em uma sala de aula real e se ela alcança os resultados de aprendizagem desejados.

Esta nova estrutura enfatiza que esses domínios estão conectados e que a evidência de estágios posteriores pode informar os estágios anteriores. Se um módulo falha em uma sala de aula real, por exemplo, pode significar que o design estava falho ou o conteúdo estava obscuro, exigindo que os desenvolvedores voltem e re-verifiquem essas etapas anteriores. A estrutura sugere que a quantidade de prova que um desenvolvedor precisa deve corresponder à força da afirmação que ele está fazendo. Um protótipo simples pode apenas precisar provar que é uma boa ideia e que parece correto, enquanto uma ferramenta destinada ao uso nacional precisa de provas de que funciona em salas de aula reais. Ao organizar a evidência desta forma, a estrutura ajuda pesquisadores e desenvolvedores a serem mais honestos e precisos sobre o que seus módulos podem e não podem fazer. O estudo conclui que, embora as ferramentas para testar módulos educacionais existam, o campo precisa de um sistema melhor para conectar essas ferramentas, garantindo que o produto final seja sustentado por uma história de evidências completa e coerente.