AI-supported formative assessment of conceptual understanding in mathematics: LLM-based pre-coding of open student responses
Este estudo demonstra que modelos de linguagem de grande escala baseados em prompts podem identificar de forma confiável categorias conceituais em respostas matemáticas abertas de estudantes sem a necessidade de ajuste fino, alcançando alta precisão para características positivas e compreensão conceitual profunda, ao mesmo tempo em que destaca a necessidade de suporte de especialistas no ciclo (expert-in-the-loop) e prompts linguisticamente explícitos para enfrentar desafios na verificação de características ausentes ou na resolução de ambiguidades.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Na sala de aula, os momentos mais valiosos ocorrem frequentemente não quando um aluno obtém a resposta correta, mas quando ele explica como chegou lá. Os professores sabem há muito tempo que, para compreender verdadeiramente a mente de um aluno, devem olhar além do número final e enxergar o raciocínio por trás dele. Este é o cerne da avaliação formativa: um processo de verificação da aprendizagem enquanto ela acontece, para que a instrução possa ser ajustada para ajudar o aluno a progredir. No entanto, existe um problema prático. Quando os alunos escrevem seus pensamentos, desenham figuras ou criam seus próprios problemas matemáticos, o professor enfrenta uma montanha de texto para ler e interpretar. Fazer isso profundamente para cada aluno exige um tempo que raramente existe em um dia escolar agitado. Como resultado, muitos professores acabam avaliando apenas as respostas finais, perdendo os ricos insights escondidos nas explicações dos alunos.
Durante anos, pesquisadores tentaram construir computadores que pudessem ler essas explicações e identificar os padrões de pensamento contidos nelas. As tentativas iniciais muitas vezes falharam porque dependiam de regras rígidas ou exigiam quantidades massivas de dados pré-rotulados para aprender. A chegada dos modelos de linguagem de grande escala — sistemas computacionais poderosos treinados em vastas quantidades de texto para compreender e gerar linguagem humana — reabriu a questão. Esses modelos podem seguir instruções escritas em linguagem natural sem a necessidade de serem retreinados para cada tarefa específica. Mas uma dúvida crítica permanece: pode uma máquina que é excelente em linguagem realmente compreender a lógica específica, muitas vezes sutil, da matemática? Ela consegue distinguir entre um aluno que realmente compreende um conceito e um que está apenas adivinhando ou usando as palavras certas pelos motivos errados?
Um pesquisador da Universidade TU Dortmund propôs-se a responder a esta questão no contexto da educação matemática. Ele queria saber se estas novas ferramentas de IA poderiam identificar de forma confiável tipos específicos de pensamento estudantil em respostas matemáticas abertas, e se poderiam fazê-lo com qualidade suficiente para serem úteis numa sala de aula real. O estudo focou-se em duas áreas principais: números naturais e frações. O pesquisador reuniu milhares de respostas escritas de alunos do quinto e sexto anos. Estes alunos foram solicitados a realizar tarefas como explicar por que uma fração funciona de determinada maneira ou criar seu próprio problema matemático para uma dada equação. O objetivo era verificar se uma IA, guiada por um conjunto de instruções escritas por um especialista humano, conseguiria classificar estas respostas em categorias significativas, tais como "demonstra compreensão profunda", "possui um equívoco específico" ou "não fornece evidências de compreensão".
O pesquisador testou quatro modelos diferentes de IA de código aberto, que são versões da tecnologia que as escolas podem hospedar em seus próprios servidores para proteger a privacidade dos alunos. Ele comparou a avaliação da IA com a de especialistas humanos. Os resultados foram surpreendentemente positivos. Em mais de 13.000 respostas codificadas, os modelos de IA alcançaram um alto nível de concordância com os especialistas humanos, identificando corretamente as principais categorias do pensamento dos alunos cerca de 82 por cento das vezes. Este desempenho foi consistente entre diferentes tipos de problemas matemáticos e diferentes modelos. A IA foi particularmente boa em detectar quando um aluno explicava corretamente um conceito, como entender que a multiplicação envolve o agrupamento de itens, ou quando um aluno cometia um erro claro e específico em seu raciocínio.
No entanto, o estudo também revelou onde as máquinas encontram um obstáculo. Quando a tarefa exigia que a IA realizasse uma verificação aritmética simples — como verificar se os números de uma história de um aluno realmente somavam o valor correto — os modelos apresentavam dificuldades. Eles também tiveram problemas quando a resposta de um aluno era muito curta ou vaga, ou quando o aluno utilizava uma linguagem ambígua. Nestas situações complicadas, a IA tendia a adivinhar, assumindo frequentemente que o aluno compreendia mais do que realmente compreendia. O pesquisador descobriu que a IA desempenhou aproximadamente tão bem quanto um leitor humano não especialista, como um estagiário de pedagogia, mas não conseguiu igualar o desempenho de um especialista experiente, capaz de identificar instantaneamente erros conceituais profundos ou verificar cálculos.
A descoberta mais significativa não foi apenas que a IA funciona, mas como ela funciona e onde precisa de ajuda. O pesquisador descobriu que a IA é mais confiável quando a resposta do aluno é linguisticamente explícita. Se um aluno utiliza palavras claras para descrever uma estrutura de agrupamento, a IA a identifica facilmente. Se o aluno é vago, a IA se perde. Isso sugere que o design das próprias questões de teste importa imensamente; questões que incentivam os alunos a escrever de forma clara e completa produzirão melhores resultados das ferramentas de IA. Além disso, o estudo concluiu que estas ferramentas de IA não devem ser vistas como substitutas para os professores. Em vez disso, elas atuam como um poderoso catalisador. Elas podem realizar o trabalho pesado de ler e classificar milhares de respostas, sinalizando aquelas que precisam do olhar humano. Isso libera o professor para focar nos casos mais difíceis e para tomar as decisões instrucionais finais baseadas em um quadro mais claro e organizado da compreensão da turma.
O pesquisador enfatiza que a IA é uma ferramenta para o professor, não um substituto para o seu julgamento. O sistema é projetado para funcionar em um ciclo onde a máquina fornece um primeiro rascunho da análise, e o professor humano revisa, corrigindo quaisquer erros e adicionando o contexto necessário que apenas uma pessoa pode fornecer. Esta abordagem respeita a complexidade do ensino ao mesmo tempo em que reconhece os limites práticos do tempo humano. Ao utilizar a IA para lidar com a classificação inicial, os professores podem potencialmente engajar-se com o pensamento conceitual profundo de cada aluno, em vez de apenas de alguns. O estudo confirma que, embora a IA ainda não possa substituir a compreensão matizada de um professor mestre, ela atingiu um ponto em que pode tornar o sonho de uma avaliação formativa profunda e personalizada na matemática uma realidade prática para as escolas.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.