Ensuring Computer Science Learning in the AI Era: Open Generative AI Policies and Assignment-Driven Written Quizzes

Resumo Técnico: Garantindo o Aprendizado de Ciência da Computação na Era da IA

Definição do Problema
A disponibilidade generalizada da IA Generativa (GenAI) apresenta um desafio crítico na educação em Ciência da Computação (CC): o risco de "descarregamento cognitivo" (cognitive offloading). Embora a GenAI possa gerar código de alta fidelidade para tarefas tradicionais de casa, o uso não orientado pode permitir que os alunos ignorem o esforço cognitivo essencial do design de algoritmos e da depuração. Essa delegação do processamento cognitivo pode levar a um aprendizado "vazio", onde os alunos alcançam pontuações altas nas tarefas sem reter conceitos fundamentais ou a capacidade de implementar algoritmos de forma independente. As abordagens existentes de banir a GenAI são consideradas ineficazes e desalinhadas com as tendências da indústria, enquanto o uso irrestrito ameaça a integridade do ciclo "teoria-prática" necessário para o aprendizado profundo.

Metodologia
Este estudo propõe e avalia um modelo de avaliação "aberto e de verificação" projetado para cursos de nível superior de CC (especificamente Computação Evolutiva e Deep Learning). O modelo permite o uso de GenAI para tarefas de programação de casa, mas impõe o domínio individual por meio de questionários escritos imediatos, presenciais e sem consulta em sala de aula.

• Estrutura de Avaliação: O peso das avaliações foi deslocado para priorizar a verificação em vez da implementação. As tarefas de casa foram reduzidas para um peso baixo (2% cada), enquanto os questionários correspondentes em sala de aula foram ponderados significativamente mais alto (5% a 10%).
• Design dos Questionários: Os questionários são baseados nas tarefas e sem consulta. Eles exigem que os alunos demonstrem compreensão dos algoritmos específicos, da estrutura e dos detalhes de implementação de seu código enviado. Os tipos de questões incluem descrever algoritmos em pseudocódigo, completar linhas de código ausentes, explicar segmentos específicos de código e prever saídas.
• Mecanismo de Transparência: Os alunos devem enviar um termo de responsabilidade com cada tarefa, declarando sua autoria, a porcentagem de código gerado por IA e confirmando sua confiança em modificar e estender o código.
• Coleta de Dados: Dados empíricos foram coletados de uma única seção de curso (N=14, composta por 13 alunos de pós-graduação e 1 de graduação) na Lawrence Technological University durante o semestre de Fall 2025. As fontes de dados incluíram porcentagens de uso de IA autorrelatadas, pontuações de tarefas, pontuações de questionários, notas finais do curso e pesquisas de eficácia de fim de semestre.

Principais Resultados

• Análise de Correlação: A análise estatística (correlação de Pearson) revelou que não há relação linear significativa entre a porcentagem de uso de GenAI e o desempenho do aluno.
  • A correlação entre o uso de IA e as pontuações das tarefas foi negligenciável ($r = 0,090$, $p = 0,761$).
  • A correlação entre o uso de IA e as pontuações dos questionários foi negligenciável ($r = 0,012$, $p = 0,967$).
  • A correlação entre o uso total de IA e as notas totais do curso foi muito fraca ($r \approx 0,11$).
  • Em todas as nove relações analisadas (abrangendo tarefas e questionários), os valores de p foram consistentemente superiores a 0,05, indicando nenhuma associação estatisticamente significativa.
• Feedback dos Alunos: Os resultados da pesquisa indicaram uma recepção positiva do modelo.
  • 93% dos alunos concordaram que os questionários os motivaram a ler e entender o código antes da submissão.
  • 100% concordaram que as tarefas ajudaram a entender os conceitos, apesar da permissão de IA.
  • 93% relataram que a política reduziu o estresse e auxiliou no aprendizado eficaz.
  • 93% sentiram que a política os ajudou a aprender a usar ferramentas de IA de forma responsável.
• Padrões de Uso: Surgiu uma distribuição interessante onde alunos com uso de IA "moderado" (25–50%) alcançaram as menores médias, enquanto aqueles com uso muito baixo (<25%) e muito alto (50–75%) tiveram melhor desempenho. Os autores hipotetizam que usuários moderados podem carecer da confiança para escrever código manualmente e, simultaneamente, carecer das habilidades de engenharia de prompt para alavancar a IA de forma eficaz.

Significância e Alegações
O artigo alega que o modelo "aberto e de verificação" mitiga com sucesso os riscos de descarregamento cognitivo em cursos de CC de nível superior. Ao desacoplar a geração de código (onde a IA é permitida) da verificação do entendimento (onde a IA é proibida), o modelo garante que os alunos mantenham o domínio individual dos conceitos do curso.

O estudo conclui que permitir a GenAI para a prática de programação não diminui os resultados de aprendizagem quando acompanhada de questionários rigorosos, baseados em tarefas e livres de IA. Os achados sugerem que o ciclo "teoria-prática" pode ser preservado mesmo quando a fase de "prática" é aumentada pela IA, desde que a fase de "verificação" seja robusta.

Limitações e Trabalho Futuro
Os autores explicitamente observam a natureza modesta desses achados devido ao pequeno tamanho da amostra ($n=14$) e à dependência de dados autorrelatados, o que pode introduzir viés de resposta. Os resultados são apresentados como evidência preliminar, não como prova definitiva. Propõe-se para trabalhos futuros expandir o tamanho da amostra, analisar logs de prompts para entender as interações de IA dos alunos de alto desempenho e explorar métodos de verificação alternativos, como exames orais ou questões de questionário geradas por IA de forma personalizada.