Is Solving Better Than Evaluating GenAI Solutions?

Declaração do Problema
O rápido avanço da IA Generativa (GenAI) e dos Modelos de Linguagem de Grande Escala (LLMs) alterou fundamentalmente o cenário do ensino de computação, particularmente em cursos de nível avançado e densos em teoria, como algoritmos. Embora os LLMs possam gerar código sintaticamente correto e resolver muitos problemas introdutórios, há um debate pedagógico crescente sobre como adaptar os currículos. A questão central abordada por este estudo é se a mudança do papel do estudante de geração de solução para avaliação de solução — especificamente, fazer com que os alunos avaliem e critiquem soluções frequentemente falhas geradas por GenAI — pode melhorar a compreensão conceitual e os resultados de aprendizagem em comparação com a resolução de problemas tradicional. A literatura existente foca amplamente nas capacidades dos LLMs ou nas percepções dos alunos, com uma escassez notada de evidências empíricas controladas sobre resultados de aprendizagem em cursos pós-introdutórios, onde a abstração e o raciocínio do tipo prova são centrais.

Metodologia
Os autores conduziram um estudo cruzado (crossover) aleatorizado A/B (N=220) em um curso de nível júnior de "Introdução à Análise de Algoritmos" na Universidade de Purdue durante o semestre de Primavera de 2025.

• Design Experimental: Os alunos foram organizados em grupos de trabalho e designados aleatoriamente para uma de duas condições: "Monte Carlo" (Grupo B) ou "Las Vegas" (Grupo A). O estudo utilizou um design de crossover onde os grupos trocaram de condição no meio do semestre.
  • Condição A (Avaliação de GenAI): Os alunos receberam um prompt padronizado para gerar uma solução usando o ChatGPT-4o. Sua tarefa era avaliar a solução gerada, identificando e explicando erros (distinguindo entre bugs menores e falhas lógicas graves) e justificando sua nota. Não era exigido que fornecessem uma solução corrigida.
  • Condição B (Resolução Tradicional): Os alunos resolveram os mesmos problemas algorítmicos desafiadores diretamente, exigindo que projetassem um algoritmo, provassem a correção e analisassem o tempo de execução (runtime).
• Escopo da Intervenção: A intervenção aplicou-se ao quarto e mais difícil exercício de seis tarefas de casa. Os três primeiros exercícios de cada tarefa eram problemas tradicionais idênticos para todos os alunos.
• Coleta de Dados: O estudo mediu:
  1. Desempenho Somativo: Notas de exames intermediários e finais, notas gerais do curso e desempenho em questões de exame estruturalmente alinhadas com as intervenções de tarefa de casa.
  2. Desempenho nas Tarefas de Casa: Notas nos exercícios específicos de avaliação de GenAI vs. exercícios de solução direta.
  3. Dados Autorrelatados: Pesquisas pré-intermediárias sobre conforto/confiança e pesquisas pós-final sobre utilidade percebida e mudanças nos hábitos de estudo.
• Análise: Os autores empregaram análise estatística rigorosa, incluindo triagem de pressupostos (normalidade, homogeneidade de variância), testes paramétricos (testes t) e não paramétricos (Mann-Whitney U, Wilcoxon signed-rank) e cálculos de tamanho de efeito (Cohen's d, rank-biserial r).

Principais Resultados
O estudo produziu vários achados críticos sobre a eficácia da avaliação de GenAI como ferramenta pedagógica:

1. Nenhuma Diferença na Aprendizagem Somativa: Não houve diferenças estatisticamente significativas entre os dois grupos nas notas do exame intermediário, notas do exame final, notas gerais do curso ou na mudança normalizada no desempenho do exame.
2. Nenhuma Diferença na Transferência: O desempenho em questões de exame especificamente desenhadas para testar os insights conceituais enfatizados nas tarefas baseadas em GenAI não mostrou diferença significativa entre alunos que haviam avaliado soluções de IA anteriormente versus aqueles que haviam resolvido os problemas diretamente.
3. Disparidade nas Notas das Tarefas de Casa: Os alunos receberam notas significativamente mais altas nos itens de tarefa de casa durante os períodos em que estavam avaliando soluções de GenAI em comparação com quando estavam resolvendo problemas diretamente. No entanto, os autores observam que essa vantagem localizada não se traduziu em ganhos somativos subsequentes.
4. Hábitos de Estudo e Percepções:
   • A maioria dos alunos (77%) relatou que as tarefas modificadas não mudaram seus hábitos de estudo.
   • Entre a minoria que de fato adaptou suas estratégias de estudo, esses alunos classificaram as tarefas de avaliação de GenAI como significativamente mais úteis do que aqueles que não mudaram seus hábitos.
   • Não houve diferença significativa entre os grupos na utilidade percebida ou na confiança autorrelatada antes do exame intermediário.

Principais Contribuições

• Evidência Empírica em Cursos de Nível Superior: O estudo fornece uma rara evidência empírica controlada sobre o impacto da GenAI na aprendizagem em um curso de algoritmos de nível superior e denso em teoria, indo além do foco em programação introdutória ou benchmarks de capacidade de LLM.
• Redistribuição de Esforço: Os achados sugerem que as tarefas de avaliação de GenAI redistribuem o esforço do aluno da construção de soluções abertas para a verificação, diagnóstico e julgamento.
  ismo.
• Viabilidade sem Perda: O estudo demonstra que incorporar atividades de avaliação de GenAI nos cursos de algoritmos não resulta em perdas amplas de desempenho, sugerindo que é uma alternativa viável à resolução de problemas tradicional em termos de manutenção da competência básica.
• Limitações da Avaliação Simples: A pesquisa indica que simplesmente pedir aos alunos para "dar nota" a uma solução de IA é insuficiente para produzir automaticamente uma transferência conceitual ou ganhos de aprendizagem mais fortes.

Significância e Alegações
Os autores concluem que, embora as atividades de avaliação de GenAI possam ser incorporadas aos cursos de algoritmos sem prejudicar o desempenho geral, elas não geram automaticamente resultados de aprendizagem superiores em comparação com a resolução de problemas tradicional. O artigo argumenta que o valor pedagógico de tais atividades provavelmente depende de um andaime (scaffolding) deliberado que leve os alunos além do simples diagnóstico de erros.

Os autores postulam que, para que ocorram ganhos de aprendizagem significativos, as futuras iterações desses trabalhos podem precisar exigir que os alunos:

• Identifiquem o primeiro passo inválido em um argumento.
• Construam contraexemplos onde os algoritmos propostos falham.
• Proponham algoritmos ou invariantes corrigidos.
• Expliquem por que a solução corrigida funciona.

O estudo enfatiza que a mera presença de conteúdo gerado por IA não é o motor da aprendizagem; em vez disso, o design específico da tarefa de avaliação determina sua eficácia. Os autores pedem que pesquisas futuras investiguem quais formas de andaime tornam essas atividades mais eficazes e desenvolvam instrumentos de avaliação validados para competências como verificação, crítica e dependência calibrada de IA.