How Much of the Engagement–Performance Association Survives Adjustment? A Double Machine Learning Study in Online Higher Education
Utilizando o aprendizado de máquina duplo em um conjunto de dados de larga escala, este estudo revela que, embora o engajamento online pré-submissão consiga predizer o desempenho acadêmico, quase metade da associação bruta é atribuível a fatores de confusão como o rendimento prévio, destacando a necessidade crítica de distinguir sinais preditivos de efeitos causais na análise de aprendizagem.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Na universidade moderna, uma vasta quantidade da vida estudantil deixa uma pegada digital. Cada vez que um aluno faz login em um site de curso, clica em um link ou baixa um documento, um registro é criado. Educadores e pesquisadores há muito tratam esses vestígios digitais como uma janela para o sucesso do estudante. A lógica parece direta: se um aluno está ativo online, ele provavelmente está engajado e, se está engajado, é provável que se saia bem em sua disciplina. Essa crença impulsionou a criação de painéis e sistemas de alerta precoce projetados para identificar alunos em dificuldades ao contar seus cliques. No entanto, uma questão crítica permaneceu sem resposta: a atividade em si causa as boas notas, ou as boas notas são simplesmente um sinal de um aluno que já estava preparado e motivado? A diferença importa imensamente. Se a atividade é meramente um sintoma de sucesso, então forçar um aluno a clicar em mais botões não o ajudará a aprender. Se, contudo, a atividade for um verdadeiro motor de aprendizagem, então incentivar mais interação poderia ser uma ferramenta poderosa para a melhoria.
Uma equipe de pesquisadores partiu para desvendar essa relação usando uma coleção massiva de dados da Open University, no Reino Unido. Eles examinaram os registros de mais de vinte e um mil alunos que participaram de vinte e dois diferentes apresentações de cursos online. O conjunto de dados era rico, contendo detalhes sobre o histórico dos alunos, seu desempenho acadêmico passado e mais de dez milhões de interações com o ambiente virtual de aprendizagem. Os pesquisadores focaram especificamente no período que antecedeu o momento em que um aluno submetia um trabalho de curso. Eles contaram o número de cliques e atividades que ocorreram nos dias anteriores ao prazo de entrega, garantindo que qualquer atividade ocorrendo após a entrega do trabalho não fosse contada. Esse cronograma cuidadoso foi crucial para garantir que estivessem observando o comportamento que aconteceu antes do resultado ser conhecido.
O estudo começou analisando os números brutos, o tipo de associação simples que frequentemente aparece em relatórios padrão. Eles encontraram um forte vínculo: para cada aumento padrão no volume de atividade online, a pontuação na avaliação subia cerca de três pontos e um quarto. Esse número é o que um painel típico poderia destacar para sugerir que mais atividade equivale a um melhor desempenho. No entanto, os pesquisadores sabiam que esse número bruto provavelmente incluía a influência de muitos outros fatores. Alunos que tiveram bom desempenho no passado podem naturalmente clicar mais por serem confiantes, ou podem clicar mais por já serem bons no assunto. Para encontrar o verdadeiro efeito da atividade em si, os pesquisadores utilizaram um método estatístico sofisticado projetado para remover essas diferenças pré-existentes. Eles ajustaram os dados para considerar tudo o que sabiam sobre os alunos antes da janela de atividade abrir, incluindo suas notas anteriores, seu histórico demográfico e seu histórico de uso da plataforma.
Quando os pesquisadores aplicaram esse ajuste, a história mudou significamente. O vínculo entre atividade e notas não desapareceu, mas encolheu consideravelmente. Após considerar o histórico prévio, o aumento na pontuação caiu de três pontos e um quarto para pouco menos de um ponto e três quartos para o mesmo aumento de atividade. Isso significa que quase metade da conexão original entre clicar e pontuar era, na verdade, devida ao histórico e ao contexto dos alunos, e não à atividade em si. O vínculo restante, embora ainda real e estatisticamente significativo, era muito menor do que os números brutos sugeriam. Isso indica que, embora a atividade online carregue informações úteis sobre como um aluno está indo, confiar nos números não ajustados levaria as instituições a superestimar o quanto o simples ato de aumentar os cliques melhoraria a nota de um aluno.
Os pesquisadores também investigaram se esse relacionamento ajustado parecia diferente para diferentes tipos de alunos ou diferentes tipos de tarefas. Eles descobriram que o vínculo era mais forte para tarefas que exigiam respostas escritas e abertas, corrigidas por um tutor humano, em comparação com questões de múltipla escolha corrigidas por um computador. Isso sugere que o tipo de trabalho importa; a atividade digital pode estar mais estreitamente ligada ao pensamento profundo exigido por tarefas do tipo ensaio do que por testes rápidos e automatizados. Eles também descobriram que a conexão era mais forte para alunos que tiveram notas mais baixas no passado. Para esses alunos, a atividade online parecia ser um sinal mais confiável de seu desempenho atual. Em contraste, o vínculo não mostrou uma diferença clara baseada em se o aluno vinha de um contexto desfavorecido ou se possuía uma deficiência declarada, embora os dados não fossem precisos o suficiente para descartar totalmente pequenas diferenças.
Apesar dessas descobertas, os pesquisadores mantiveram-se cautelosos ao afirmar que a atividade causa as notas. Para testar a existência de fatores ocultos que eles não poderiam medir, realizaram uma verificação específica. Eles perguntaram se a atividade online atual poderia prever uma nota de um trabalho anterior que já havia sido concluído antes mesmo da atividade atual começar. Logicamente, cliques futuros não podem alterar uma nota passada. No entanto, os dados mostraram que alunos que clicaram mais nessa janela atual de fato tiveram pontuações mais altas naquele trabalho anterior, mesmo após todos os ajustes. Esse resultado sinaliza que ainda existem forças invisíveis em jogo. Talvez alguns alunos sejam naturalmente mais motivados ou possuam melhores hábitos de estudo que existem fora do sistema digital, impulsionando tanto sua atividade online quanto suas notas. Por causa disso, os pesquisadores concluíram que, embora o vínculo ajustado seja real, não é uma garantia de que uma intervenção para forçar mais cliques aumentaria automaticamente as pontuações pelo valor total do número ajustado.
O estudo oferece uma lição clara sobre como as universidades utilizam os dados para apoiar os alunos. Os vestígios digitais deixados pelos aprendizes são valiosos, mas não são um interruptor simples que liga a aprendizagem. A associação bruta entre atividade e sucesso é forte, mas é fortemente influenciada por quem o aluno é e pelo que ele fez anteriormente. Quando os educadores usam esses números para decidir quem precisa de ajuda, eles devem entender que os números contam uma história de correlação, não necessariamente de causa e efeito. Um aluno com baixa atividade pode precisar de apoio, mas simplesmente dizer a ele para clicar mais dificilmente resolverá o problema se a questão subjacente for uma falta de conhecimento prévio ou de motivação. A abordagem mais eficaz é usar esses sinais comportamentais como um estímulo para conversa e diagnóstico, reconhecendo que a atividade é um sinalizador que aponta para o estado do aluno, em vez de uma alavanca que pode ser puxada para forçar um resultado melhor.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.