From Student Risk Prediction to SC2R: Semantics-Constrained Counterfactual Recourse for Educational Decision Support

No vasto cenário digital da educação moderna, os sistemas de gestão de aprendizagem registram um fluxo constante de atividade dos estudantes: cliques em páginas de cursos, submissões de questionários, participação em fóruns e o tempo de cada login. Durante anos, cientistas de dados têm utilizado esses rastros digitais para construir modelos que preveem quais alunos têm probabilidade de enfrentar dificuldades ou reprovar. Essas ferramentas preditivas atuam como um sistema de alerta precoce, sinalizando alunos em risco antes que uma crise ocorra. No entanto, uma previsão de problemas é apenas metade da solução. Saber que um aluno está em perigo não diz a um professor ou orientador quais passos específicos e práticos podem ser tomados para ajudá-lo. Um aviso que diz "este aluno irá reprovar" é menos útil do que um guia que diz "se este aluno revisar estas três páginas e comparecer a uma sessão de apoio, suas chances de passar aumentarão significamente". O desafio reside em transformar uma pontuação de risco estatístico em um plano concreto e acionável que respeite os limites do mundo real de tempo, recursos e privacidade do estudante.

Este é o problema central abordado por um novo framework chamado SC2R, desenvolvido por pesquisadores para preencher a lacra entre a previsão de falha e a viabilização do sucesso. A equipe, trabalhando com dados do Open University Learning Analytics Dataset, buscou ir além de simples pontuações de risco para gerar planos de intervenção que não sejam apenas matematicamente possíveis, mas também de fato viáveis dentro das restrições de uma sala de aula real. Eles reconheceram que uma recomendação é inútil se pedir a um aluno para fazer algo impossível, como comparecer a uma aula após o prazo ter expirado, mudar uma característica pessoal permanente ou acessar um recurso que não está disponível. Para resolver isso, eles combinaram um modelo preditivo com um sistema que verifica cada ação sugerida contra um conjunto de regras rigorosas e legíveis por máquina relativas a tempo, orçamento e disponibilidade.

Os pesquisadores construíram um sistema que opera em três estágios distintos. Primeiro, ele observa o estado atual de um aluno, capturando sua atividade recente e desempenho passado em pontos específicos antes de um exame iminente. Um modelo preditivo então estima a probabilidade de esse aluno passar na próxima avaliação. Se a probabilidade for muito baixa, o sistema passa para seu segundo estágio: gerar uma lista de ações potenciais para melhorar o resultado. Estas não são sugestões vagas, mas etapas discretas e contáveis, como revisar um número específico de questionários de prática ou revisitar um conjunto de páginas do curso. O sistema utiliza um método de otimização matemática para encontrar a combinação de ações que oferece a melhor chance de sucesso exigindo o menor esforço do aluno.

Contudo, a verdadeira inovação deste trabalho reside no terceiro estágio, onde o sistema atua como um rigoroso guardião. Antes que um plano seja apresentado a um humano, ele é traduzido em um formato digital estruturado e submetido a uma verificação de validação semântica. Este processo verifica se cada ação proposta se ajusta à realidade do ambiente educacional. Ele garante que as atividades sugeridas possam ser concluídas antes do prazo do exame, que o esforço total não exceda um limite razoável e que o aluno não seja solicitado a alterar fatos imutáveis sobre sua identidade ou histórico. O sistema também verifica se quaisquer recursos necessários, como uma sessão de laboratório específica ou escritório de apoio, estão de fato abertos e disponíveis durante o tempo proposto.

Quando os pesquisadores testaram este framework com dados de mais de 127.000 snapshots de estudantes, os resultados destacaram a importância crítica dessas restrições. O componente preditivo do sistema teve um desempenho forte, identificando alunos em risco com um alto grau de confiabilidade. Mais importante ainda, o sistema gerou com sucesso milhares de planos de intervenção compactos, com o plano médio exigindo pouco mais de uma ação para alcançar uma melhoria desejada na probabilidade de sucesso. O custo médio dessas intervenções foi calculado em aproximadamente 10,3 unidades, uma métrica que representa o esforço requerido. Crucialmente, a camada de validação semântica revelou que, sem essas verificações rigorosas, muitos planos que pareciam bons no papel teriam sido rejeitados na prática. Em um teste controlado de 200 casos, quando o sistema foi solicitado a considerar a disponibilidade de recursos, quase 13 por cento dos planos que inicialmente pareciam válidos foram sinalizados como impossíveis porque os recursos necessários não estavam disponíveis nos tempos sugeridos.

O estudo sugere que o valor de tal sistema não está em garantir que um aluno passará, mas em garantir que o conselho dado seja confiável e operacionalmente sólido. Os pesquisadores descobriram que, embora o sistema pudesse gerar planos matematicamente válidos, as restrições semânticas eram necessárias para filtrar aqueles que eram praticamente inexequíveis. Esta distinção é vital para construir confiança entre educadores e inteligência artificial. Se um sistema sugere um plano que um professor sabe ser impossível de executar, a ferramenta inteira perde credibilidade. Ao tornar a viabilidade de um plano verificável por máquina, o framework garante que as recomendações não sejam apenas modelos válidos, mas também semanticamente viáveis e interpretáveis.

O trabalho também examinou quão estáveis são essas recomendações quando os dados subjacentes mudam ligeiramente ou quando o modelo é retreinado. Os resultados mostraram que os planos foram moderadamente estáveis contra pequenas mudanças na entrada do aluno, mas menos estáveis quando o próprio modelo preditivo era atualizado. Isso indica que, embora o framework seja robusto para a tomada de decisão imediata, as recomendações podem precisar ser revisitadas se o ambiente de aprendizagem ou a compreensão do modelo sobre ele sofrer uma mudança significativa. Os pesquisadores foram cuidadosos ao notar que sua avaliação foi conduzida offline usando dados históricos, o que significa que eles não puderam provar que seguir esses planos realmente mudaria os resultados dos alunos. O estudo estabelece a viabilidade do método, não o impacto causal das intervenções.

Em última análise, esta pesquisa oferece uma nova forma de pensar o apoio educacional. Ela move a conversa de simplesmente identificar quem está em risco para definir o que pode ser feito a respeito, desde que a solução respeite a complexa teia de tempo, recursos e regras que governam a educação. Ao tratar o planejamento de intervenção como um problema que requer tanto otimização matemática quanto verificações de realidade semântica, o framework fornece um caminho para o suporte à decisão que é tão prático quanto preditivo. As descobertas sugerem que, para a inteligência artificial ser verdadeiramente útil na educação, ela deve ser capaz de falar a linguagem da sala de aula, compreendendo não apenas os números, mas as restrições que tornam esses números significativos.