💻 computer science

A Classroom Study of LLM-Generated Feedback Intervention in Introductory Programming

Este artigo apresenta um estudo de sala de aula em larga escala introduzindo o conjunto de dados ProgFeed para demonstrar que o feedback gerado por IA em linguagem natural melhora significativamente as taxas de conclusão dos alunos e a convergência de soluções em programação introdutória em comparação com o feedback de casos de teste ou a ausência de feedback, destacando a importância crítica da forma e validade do feedback sobre a mera presença.

Autores originais: Hasnain Heickal, Andrew Lan

Publicado 2026-06-09

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Hasnain Heickal, Andrew Lan

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está aprendendo a cozinhar uma nova e complicada receita pela primeira vez. Você tenta, e o gosto fica terrível. Você precisa saber por que falhou para poder consertar.

Este artigo é sobre um grande experimento em uma sala de aula de ciência da computação onde os alunos estavam aprendendo a "cozinhar" (escrever código) usando um "chef de IA" especial (um Grande Modelo de Linguagem) para ajudá-los. Os pesquisadores queriam ver qual tipo de "conselho do chef" realmente ajudava os alunos a consertar seus pratos mais rápido e com mais sucesso.

Aqui está a divisão do que eles fizeram e do que descobriram, usando analogias simples:

A Configuração: Três Tipos de Chefs

Os alunos foram divididos aleatoriamente em um de três grupos quando cometiam um erro em seu código:

O Grupo Silencioso (Sem IA): Esses alunos apenas viam uma luz vermelha dizendo "Errado" e uma luz verde dizendo "Certo" (como uma nota simples de passar/reprovar). Eles tinham que descobrir o resto por conta própria.
O Grupo do "Ingrediente Ruim" (Feedback de Caso de Teste): A IA dava a eles um exemplo específico de um "ingrediente ruim" que fez o prato falhar. Por exemplo, se o código deveria somar números, a IA poderia dizer: "Se você colocar 5 e 5, obtém 12 em vez de 10". É como mostrar a eles um ingrediente específico que estragou a sopa, mas não dizer como consertá-la.
O Grupo da "Dica" (Feedback de Linguagem Natural): A IA dava uma frase curta e amigável explicando o problema. Por exemplo: "Você esqueceu de dizer ao computador para somar os números". É como um chef sussurrando: "Ei, você perdeu um passo nas instruções".

Os Resultados: O Que Funcionou Melhor?

1. O Grupo da "Dica" Venceu
Os alunos que receberam as dicas amigáveis em linguagem natural tiveram muito mais probabilidade de eventualmente acertar a receita e chegaram lá mais rápido.

A Analogia: Pense no código como um labirinto. O grupo da "Dica" recebeu um mapa que dizia: "Você está indo pelo caminho errado; vire à esquerda aqui". Isso os ajudou a encontrar a saída rapidamente.

2. O Grupo do "Ingrediente Ruim" Teve Dificuldades
Surpreendentemente, dar aos alunos um exemplo específico do que deu errado (o grupo do "Ingrediente Ruim") não os ajudou muito no geral. Na verdade, eles não tiveram resultados melhores do que o grupo que não recebeu ajuda nenhuma.

A Analogia: Imagine que a IA entregasse ao aluno uma torrada queimada e dissesse: "É por isso que o seu café da manhã falhou". O aluno olhava para a torrada queimada, mas, como são iniciantes, não sabiam como impedir a torradeira de queimar a próxima fatia. Eles continuavam tentando coisas diferentes aleatoriamente, muitas vezes cometendo o mesmo erro novamente.

3. A Qualidade do "Ingrediente Ruim" Importa
Os pesquisadores descobriram que os exemplos do "Ingrediente Ruim" eram úteis apenas cerca de dois terços do tempo. Às vezes, a IA dava um exemplo que era, na verdade, errado ou não fazia sentido. Quando o exemplo estava correto, ainda era difícil para os iniciantes usá-lo de forma eficaz.

A Grande Lição

A principal lição deste estudo é que a forma como você dá o feedback importa tanto quanto o ato de dar o feedback.

Dicas em linguagem natural agem como um guia, traduzindo os erros de computador confusos para um inglês simples (ou linguagem clara) que um iniciante possa entender.
Exemplos de dados brutos (como casos de teste) são como entregar a alguém uma peça de motor quebrada sem um manual. Se o aluno já não sabe como consertar motores, a peça quebrada apenas o confunde.

Os pesquisadores concluíram que, para iniciantes, uma explicação simples e clara é muito mais poderosa do que um exemplo técnico complexo. Eles também liberaram todos os dados deste experimento (chamado PROGFEED) para que outros pesquisadores possam estudar como os alunos aprendem e como construir melhores professores de IA no futuro.

Em resumo: Se você está ensinando um iniciante, não apenas mostre a ele o erro; explique por que ele aconteceu em palavras simples. Essa é a chave para ajudá-lo a ter sucesso.

Resumo Técnico: Um Estudo de Sala de Aula sobre Intervenção de Feedback Gerado por LLM em Programação Introdutória

Declaração do Problema

Embora os Modelos de Linguagem de Grande Escala (LLMs) estejam sendo cada vez mais implementados para fornecer feedback automatizado em cursos de programação introdutória, há uma escassez de evidências empíricas derivadas de ambientes de sala de aula autênticos que comparem diferentes modalidades de feedback. Os conjuntos de dados de programação existentes em larga escala (ex: CodeNet) frequentemente carecem de variação controlada de feedback, tornando difícil distinguir os efeitos do feedback de fatores de confusão, como a habilidade do aluno ou a dificuldade do problema. Por outro lado, conjuntos de dados longitudinais com rastros de interação ricos (ex: Blackbox) tipicamente carecem de manipulação experimental. Este estudo aborda essa lacuna investigando como diferentes formas de feedback gerado por IA — especificamente dicas em linguagem natural versus casos de teste falhos — afetam o desempenho do aluno, as trajetórias de aprendizagem e o comportamento de submissão em um curso de Python introdutório.

Metodologia

Os autores conduziram um estudo de sala de aula aprovado pelo IRB durante o semestre de Fall 2025 em uma instituição R1 nos EUA, envolvendo 215 alunos que consentiram participar de um curso de Python introdutório.

Design Experimental: O estudo utilizou um protocolo randomizado onde o feedback era atribuído ao nível de submissão para submissões incorretas em tarefas de laboratório. Os alunos foram aleatoriamente atribuídos a uma de três condições:
1. Grupo 0 (Sem Feedback de IA): Recebeu apenas vereditos fixos de pass/fail de casos de teste.
2. Grupo 1 (Feedback de Caso de Teste Falho): Recebeu um par entrada–saída gerado por IA projetado para falhar na submissão específica do aluno.
3. Grupo 2 (Feedback de Linguagem Natural): Recebeu uma dica concisa em linguagem natural identificando um provável problema, sem sugestões de código ou casos de teste.
Geração de Feedback: Todo o feedback foi gerado pelo gpt-4o-mini via API da OpenAI usando prompts fixos adaptados à descrição do problema e ao código do aluno.
Coleta de Dados: O conjunto de dados resultante, PROGFEED, captura 6.693 submissões através de 17 laboratórios e 43 problemas. Ele inclui código-fonte, ordem de submissão, resultados de execução, condições de feedback e dados temporais.
Análise: O estudo empregou análises associativas (regressão logística e modelos de riscos proporcionais de Cox) para examinar a dinâmica de aprendizagem, uma vez que o feedback foi condicionalmente acionado por submissões incorretas, em vez de ser totalmente randomizado. As métções incluíram a mudança na taxa de aprovação de casos de teste ( $\Delta$ pass rate), a probabilidade de sucesso eventual e o tempo para a correção (medido em submissões).

Contribuições Principais

Estudo de Sala de Aula Controlado: Uma implementação de larga escala permitindo a comparação controlada de feedback de linguagem natural, caso de teste falho e sem feedback de IA em um ambiente educacional autêntico.
Conjunto de Dados PROGFEED: Um conjunto de dados longitudinal que vincula trajetórias completas de submissão a condições específicas de feedback e resultados de execução, suportando uma análise detalhada das dinâmicas de aprendizagem.
Análise Empírica da Eficácia do Feedback: Análise estatística rigorosa demonstrando como a modalidade de feedback influencia as taxas de conclusão, a velocidade de convergência e a qualidade do próprio feedback.

Resultados

Dinâmica de Aprendizagem e Desempenho

Dinâmicas de Curto Prazo: Melhorias imediatas após o feedback ( $\Delta$ pass rate) não foram consistentes nem garantidas em nenhuma condição. As mudanças médias flutuaram próximo a zero, com alta variabilidade nas tentativas de submissão posteriores.
Sucesso Eventual: O feedback de linguagem natural foi significativamente associado a uma maior probabilidade de os alunos eventualmente alcançarem uma solução correta. A regressão logística mostrou uma razão de chances (odds ratio) de aproximadamente 2,33 ( $p=0,004$ ) em comparação com a linha de base sem IA. O feedback de caso de teste não mostrou associação significativa com o sucesso eventual ( $p=0,40$ ).
Tempo para a Correção: A análise de sobrevivência (riscos proporcionais de Cox) indicou que o feedback de linguagem natural foi associado a um aumento modesto, mas significativo, no risco (hazard) de atingir a correção ($HR=1,09, p=0,03$), o que significa que os alunos convergiram para soluções corretas mais rapidamente. O feedback de caso de teste mostrou um risco ligeiramente menor ($HR=0,92, p=0,05$), sugerindo uma convergência mais lenta em comparação com a linha de base.

Qualidade e Validade do Feedback

Validade do Caso de Teste: Apenas 66% dos casos de teste gerados por IA eram "válidos" (falhando no código do aluno, mas passando na solução de referência). 24% eram falsos positivos (falhando em ambos) e 10% não tiveram efeito. Casos de teste válidos correlacionaram-se com maiores taxas de aprovação, mas não reduziram o número de submissões subsequentes, sugerindo que alunos de nível introdutório carecem das habilidades de depuração sistemática para explorar eficientemente contraexemplos, mesmo quando estes são corretos.
Qualidade da Linguagem Natural: Uma avaliação de 442 dicas de linguagem natural usando o GPT-4 como juiz encontrou que 92,5% foram rotuladas como "úteis". Os casos restantes foram majoritariamente "vagos" (5,4%) ou "incorretos" (2,0%). Crucialmente, nenhuma instância de feedback revelou explicitamente a solução ou contornou o raciocínio do aluno.

Significância e Alegações

O artigo argumenta que a forma do feedback gerado por IA é um determinante crítico do impacto pedagógico, e não meramente uma escolha de design superficial.

Carga Cognitiva: A superioridade das dicas de linguagem natural é atribuída a uma redução na carga cognitiva; aprendizes novatos têm dificuldade em interpretar falhas brutas de testes, e as dicas de linguagem natural traduzem o comportamento do programa em explicações acessíveis, diminuindo a barreira para identificar correções.
Qualidade do Feedback vs. Presença: O estudo enfatiza que avaliar a qualidade do feedback é tão essencial quanto avaliar sua presença. Os efeitos heterogêneos do feedback de caso de teste dependem criticamente da validade, e mesmo o feedback válido pode não melhorar a eficiência se o aprendiz carecer das habilidades de depuração necessárias.
Implicações Pedagógicas: Os resultados sugerem que o feedback eficaz pode melhorar a correção sem necessariamente reduzir o número de tentativas de submissão. Portanto, as avaliações de feedback assistido por IA devem focar em trajetórias de aprendizagem e qualidade do feedback, em vez de apenas taxas de sucesso agregadas ou contagens de iteração.

Os autores concluem que, embora o feedback de linguagem natural mostre promessa para melhorar as taxas de conclusão e a velocidade de convergência, a implementação do feedback de caso de teste requer consideração cuidadosa sobre a validade do feedback e a prontidão do aluno. O lançamento do PROGFEED visa apoiar novas pesquisas sobre dinâmicas de aprendizagem e a implementação responsável da IA na educação.