💻 computer science

From Partial Correctness to Completion: Predicting Learners’ Early Success in Programming Practice

Este estudo propõe e valida uma formulação de correção parcial e consciente de progresso para a previsão precoce de sucesso na prática de programação, demonstrando que ela supera significativamente as abordagens binárias e ordinais tradicionais ao capturar de forma mais eficaz a progressão do aluno e permitir um suporte instrucional direcionado.

Autores originais: Md. Shahajada Mia, Yutaka Watanobe, Md. Mostafizer Rahman, Md Faizul Ibne Amin, Daniel M. Muepu

Publicado 2026-07-21

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Md. Shahajada Mia, Yutaka Watanobe, Md. Mostafizer Rahman, Md Faizul Ibne Amin, Daniel M. Muepu

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está observando um amigo tentar resolver um quebra-cabeça difícil. Antigamente, um professor poderia se importar apenas com o momento final: eles terminaram o quebra-cabeça ou desistiram? Essa é uma resposta simples de "sim" ou "não". Mas no mundo da programação, o aprendizado é mais como uma jornada longa e bagunçada de tentativa e erro. Os alunos escrevem código, o computador diz "errado", eles corrigem um erro minúsculo, o computador diz "errado de novo, mas chegou perto", e eles continuam tentando até acertarem. Esse processo acontece em sites especiais chamados "Online Judges" (Juízes Online), que atuam como gigantescas máquinas de correção automatizadas que registram cada uma das tentativas de um aluno.

A grande questão que os pesquisadores estão fazendo é: Podemos olhar para as tentativas intermediárias e bagunçadas de um aluno e adivinhar se ele está prestes a ter sucesso, ou se está preso em um ciclo de falhas? Isso é um pouco como um treinador observando um jogador de basquete errar alguns arremessos. Se o jogador está errando por muito pouco e sua forma está melhorando, o treinador sabe que uma cesta virá em breve. Mas se o jogador está errando absurdamente e ficando frustrado, ele pode precisar de ajuda. Este artigo mergulha exatamente nessa ideia, tentando descobrir a melhor maneira de prever o sucesso futuro de um aluno com base em sua dificuldade atual, usando matemática e modelos computacionais para identificar a diferença entre "quase lá" e "travado".

O Artigo: De "Errado" para "Certo" num Piscar de Olhos

Este estudo é como uma história de detetive ambientada no parquinho digital do Aizu Online Judge (AOJ), um enorme site onde estudantes praticam programação resolvendo centenas de problemas. Os pesquisadores, uma equipe da Universidade de Aizu e da Universidade de Notre Dame, queriam resolver um mistério específico: Podemos prever se um aluno resolverá um problema de programação em suas próximas tentativas, apenas observando como ele está falhando agora?

Para fazer isso, eles não olharam apenas para o resultado final (resolvido vs. não resolvido). Em vez disso, testaram três maneiras diferentes de descrever o progresso de um aluno, como se descrevesse a corrida de um corredor de três formas diferentes:

A Visão "Binária" (O Jeito Antigo): Esta é a visão mais simples. Ela só vê duas coisas: o aluno acertou? Sim ou Não. Ela ignora tudo o que há entre os dois. É como um treinador que só se importa se você cruzou a linha de chegada, ignorando se você estava correndo ou rastejando.
A Visão "Ordinal" (O Jeito de Classificação): Esta é um pouco melhor. Ela classifica as tentativas do aluno de "completamente errado" para "quase certo". É como dizer: "Você errou a cesta, mas chegou mais perto do que da última vez". Dá um pouco mais de detalhe, mas ainda trata os passos apenas como níveis em uma escada.
A Visão de "Correção Parcial e Progresso" (O Novo Jeito Super Detalhado): Esta é a estrela do show. Ela observa o quanto do problema o aluno resolveu em cada tentativa (como acertar 40% dos casos de teste) e, crucialmente, se ele está melhorando a cada tentativa. Ela rastreia o "ganho" — ele melhorou em relação à tentativa anterior? É como um treinador que nota não apenas que você está mais perto da cesta, mas que sua altura de salto está aumentando e sua mira está se estabilizando.

O Grande Experimento

Os pesquisadores utilizaram um enorme conjunto de dados de mais de 295.000 tentativas de programação de um curso chamado "Algoritmos e Estruturas de Dados I" (ALDS1) e um conjunto menor de um curso de "Geometria Computacional" (CGL). Eles alimentaram esses dados em seis diferentes modelos de cérebro computacional (algoritmos de aprendizado de máquina), incluindo um popular chamado Random Forest, para ver qual das três "visões" do progresso do aluno funcionava melhor para prever o futuro.

O Que Eles Descobriram

Os resultados foram claros e consistentes. A nova e detalhada visão de "Correção Parcial e Progresso" (M3) foi a vencedora, superando os outros dois métodos todas as vezes.

A Pontuação: Ao usar o melhor modelo (Random Forest), o novo método alcançou um PR-AUC de 75,39%. Esta é uma pontuação sofisticada que mede o quão bom o modelo é em encontrar os casos de "sucesso".
A Comparação: Este foi um salto significativo. O antigo método "Binário" obteve apenas 70,99%, e o método "Ordinal" obteve 71,21%.
A Melhoria: O novo método melhorou a precisão em cerca de 6,63% sobre o método binário e 6,78% sobre o método ordinal.

Em termos mais simples, ao prestar atenção em como os alunos estavam falhando e em como eles estavam melhorando, o computador pôde adivinhar o sucesso deles com muito mais precisão do que apenas esperando para ver se eles eventualmente acertariam.

Por Que Isso Importa: Os "Grupos de Risco"

Os pesquisadores não pararam apenas nas pontuações; eles usaram seu modelo vencedor para classificar os alunos em três "grupos de risco" para ver se fazia sentido no mundo real:

Baixo Risco: Estes alunos certamente resolverão o problema em breve.
Risco Moderado: Eles estão no meio do caminho, lutando, mas progredindo.
Alto Risco: Eles provavelmente continuarão falhando.

A parte legal? O novo método criou a separação mais clara entre esses grupos. A diferença nas taxas de sucesso entre o grupo de "Baixo Risco" (que resolveu 71,20% das vezes) e o grupo de "Alto Risco" (que resolveu apenas 24,06% das vezes) foi enorme. Os métodos antigos não consegravam separar os grupos de forma tão clara.

Isso sugere que o novo método pode agir como um sistema inteligente de alerta precoce. Se um professor vê um aluno na zona de "Alto Risco", ele sabe que deve intervir com uma dica ou um problema mais simples antes que o aluno fique frustrado. Se um aluno é de "Baixo Risco", o professor sabe que pode deixá-lo continuar ou talvez dar um desafio mais difícil.

A Conclusão

O artigo sugere que, na educação de programação, como você falha importa tanto quanto se você tem sucesso. Ao rastrear as pequenas melhorias e os tipos específicos de erros que os alunos cometem, podemos construir ferramentas melhores para ajudá-los a aprender. O estudo confirma que observar a "correção parcial" e o "progresso" das tentativas de um aluno nos dá uma bola de cristal muito mais clara para o seu sucesso futuro do que apenas olhar para o botão final de "Passar" ou "Falhar". Isso transforma o processo bagunçado de depuração em um roteiro para o aprendizado.

Resumo Técnico: Da Correção Parcial à Conclusão: Prevendo o Sucesso Precoce de Aprendizes em Práticas de Programação

Problema
Em sistemas de juízes online (OJ), os aprendizes aprimoram suas habilidades de programação por meio de submissões iterativas, recebendo feedback automático e progredindo gradualmente em direção a uma solução correta. Embora a pesquisa existente em mineração de dados educacionais (EDM) e análise de aprendizagem (LA) tenha utilizado extensivamente o aprendizado de máquina (ML) para prever resultados amplos, como notas de cursos ou riscos de evasão, há uma lacuna na modelagem do sucesso precoce ao nível do problema. A maioria das abordagens atuais baseia-se em resultados binários (resolvido/não resolvido) ou estados finais, o que falha em capturar o progresso intermediário e a capacidade evolutiva dos aprendizes durante o processo de resolução de problemas. Especificamente, prever se um aprendiz resolverá um problema específico dentro das próximas $K$ tentativas, com base em sua correção parcial e padrões de progressão, permanece subexplorado.

Metodologia
O estudo propõe um framework de previsão de sucesso precoce avaliado em logs de submissão do sistema Aizu Online Judge (AOJ), utilizando dois conjuntos de dados: Algorithm and Data Structures I (ALDS1) e Computational Geometry (CGL). O núcleo da metodologia envolve a comparação de três formulações de previsão distintas para determinar a representação mais eficaz do estado do aprendiz:

Resultado Binário (M1): Uma formulação de linha de base utilizando apenas características de interação base (índice de tentativa, intervalos de tempo e indicadores de status de submissão como WA, RE, TLE) sem pontuações de correção explícitas.
Correção Ordinal (M2): Incorpora características base mais um nível de correção discretizado (0–5) derivado da proporção de casos de teste aprovados.
Consciência de Correção Parcial e Progresso (M3): A formulação proposta. Utiliza características base combinadas com pontuações de correção contínua e métricas de consciência de progresso, especificamente "ganho de correção" (a diferença na correção entre tentativas consecutivas) e "pico de correção" (a maior pontuação alcançada até o momento).

Configuração Experimental

Dados: O estudo analisou mais de 295.000 instâncias de previsão do ALDS1 e mais de 10.000 do CGL. Os dados foram pré-processados limpando logs, transformando características enviesadas (ex: transformação logarítmica de intervalos de tempo) e padronizando valores numéricos.
Tarefa: Prever se um aprendiz resolverá um problema dentro das próximas $K=5$ tentativas com base no histórico até a tentativa atual.
Modelos: Seis classificadores de ML foram avaliados sob um protocolo consistente: Regressão Logística (LR), K-Vizinhos Mais Próximos (KNN), Perceptron Multicamadas (MLP), Árvore de Decisão (DT), Extreme Gradient Boosting (XGB) e Random Forest (RF).
Validação: Uma divisão estratificada disjunta de usuários (80% treinamento, 20% teste) foi utilizada para evitar vazamento de dados. A validação cruzada GroupKFold de cinco dobras foi empregada para ajuste de hiperparâmetros, utilizando o PR-AUC (Área Sob a Curva de Precisão-Recall) como métrica principal de seleção.

Resultos Principais

Desempenho da Formulação: A formulação proposta M3 superou consistentemente as formulações M1 e M2 em todos os seis classificadores e métricas de avaliação (Acurácia, Precisão, Recall, F1, ROC-AUC e PR-AUC).
Desempenho do Modelo: O Random Forest (RF) alcançou o melhor desempenho geral. No conjunto de teste ALDS1, a combinação RF-M3 alcançou um PR-AUC de 75,39% e Acurácia de 70,42%. Isso representou uma melhoria relativa de 6,20% em PR-AUC e 6,63% em Acurácia sobre a formulação de resultado binário (M1), e 5,87% e 6,78% sobre a formulação de correção ordinal (M2).
Robustez: A superioridade da M3 foi confirmada no conjunto de dados menor CGL e através de diferentes janelas de previsão ( $K=3, 5, 7$ ), indicando estabilidade através de diferentes condições de dados e horizontes temporais.
Validação Estatística: Um Modelo Linear Generalizado (GLM) Logístico confirmou que as características de consciência de progresso, particularmente "Pico de Correção" (Razão de Chances = 1,694) e "Log Intervalo de Tempo", são preditores estatisticamente significativos do sucesso precoce.
Agrupamento de Risco: A conversão de probabilidades previstas em grupos de risco (Baixo, Moderado, Alto) revelou que a M3 fornece uma separação mais clara entre os grupos. O grupo de baixo risco na M3 apresentou uma taxa de sucesso observada de 71,20%, enquanto o grupo de alto risco mostrou 24,06%, criando um gap de risco de 47,14 pontos percentuais — significativamente mais amplo do que os gaps produzidos por M1 ou M2.

Significância e Alegações
O artigo alega que o framework proposto oferece uma abordagem mais eficaz para a previsão de sucesso precoce ao ir além das representações binárias ou ordinais para capturar o continuum do progresso do aprendiz. A significância reside em três áreas principais:

Melhoria da Precisão Preditiva: Ao incorporar sinais de correção parcial e progresso, o modelo reflete melhor a realidade de que os aprendizes frequentemente resolvem problemas através de um refinamento gradual, em vez de sucesso imediato.
Interpretabilidade e Capacidade de Ação: A análise de grupos de risco fornece uma base interpretável para intervenção educacional. A separação distinta dos grupos de risco permite que educadores identifiquem aprendizes que estão enfrentando dificuldades (alto risco) versus aqueles que estão progredindo bem (baixo risco) no nível específico de aprendiz-problema, em vez de depender de rótulos fixos de aprendiz.
Suporte Instrucional: Os achados sugerem que instâncias de alto risco frequentemente exibem tentativas repetidas com sucesso limitado a curto prazo, indicando a necessidade de dicas oportunas ou feedback do instrutor. Inversamente, o framework pode ajudar instrutores a refinar conjuntos de problemas ao identificar problemas que consistentemente geram perfis de alto risco.

Os autores concluem que, embora o estudo seja limitado aos dados do AOJ, os conceitos de correção parcial e consciência de progresso são adaptáveis a outras plataformas de OJ, MOOCs e sistemas de avaliação automatizada, oferecendo um caminho para o suporte personalizado baseado em dados na educação de programação.

O Artigo: De "Errado" para "Certo" num Piscar de Olhos

O Grande Experimento

O Que Eles Descobriram

Por Que Isso Importa: Os "Grupos de Risco"

A Conclusão

Mais como este