Adapting homework design principles in modern Computer Science education to enhance learning outcomes and reduce unintended consequences

Resumo Técnico: Adaptando Princípios de Design de Tarecas no Ensino de Ciência da Computação Moderna

Definição do Problema
A rápida emergência de Modelos de Linguagem de Grande Escala (LLMs) e a proliferação de serviços de freelancing online comprometeram a autenticidade e a eficácia das tarefas tradicionais de Ciência da Computação (CC). Os educadores enfrentam uma dificuldade crescente em distinguir entre o trabalho gerado pelo aluno e soluções auxiliadas por IA ou terceirizadas, particularmente em campos técnicos onde códigos e algoritmos podem ser gerados instantaneamente. Este desafio foi exacerbado pela transição para o aprendizado remoto, que reduziu as oportunidades de discussões conceituais espontâneas e presenciais. Métodos de avaliação tradicionais, como "exames para levar para casa" ou submissões de código estáticas, já não são suficientes para verificar a compreensão genuína ou prevenir a desonestidade acadêmica. O problema central é como redesenhar as tarefas para promover o engajamento autêntico, o pensamento crítico e o domínio conceitual em uma era onde ferramentas de IA podem produzir soluções técnicas plausíveis.

Metodologia
O estudo, conduzido dentro dos currículos padrão de Tecnologia da Informação e Engenharia na ADA University, propõe uma série de cenários baseados em casos para reestruturar o design das tarefas. Em vez de proibir as ferramentas de IA, a metodologia as integra no processo de aprendizagem e avaliação através de três estratégias primárias:

1. Gravação de Tela com Explicação Verbal:

   • Implementação: Os alunos devem gravar sua tela enquanto resolvem tarefas técnicas, fornecendo anotações verbais de seu processo de pensamento. Para garantir a autenticidade, as gravações devem incluir carimbos de data/hora visíveis, e os alunos podem ser solicitados a realizar ações específicas (ex: modificar um arquivo compartilhado) durante a gravação.
   • Avaliação: O estudo utilizou uma amostra de 34 submissões de vídeo para comparar a graduação baseada em IA com a graduação feita pelo instrutor. A análise quantitativa incluiu correlação de Pearson ($r=0,512, p=0,00199$) e um teste t para amostras pareadas ($t=-3,266, p=0,00255$). Os resultados indicaram uma correlação positiva moderada estatisticamente significativa, embora o sistema de IA tenha atribuído sistematicamente notas mais baixas (diferença média de 0,88 pontos) e tenha sido mais crítico em relação às pontuações máximas.
   • Feedback dos Alunos: Pesquisas indicaram alta percepção de eficácia de aprendizagem (pontuações de 7,72–8,17) e uma recepção positiva do formato como uma transição para estilos de comunicação modernos, apesar das preocupações iniciais quanto ao excesso de tempo gasto.

2. Comparação Crítica com LLMs (Autoavaliação):

   • Implementação: Em vez de banir os LLMs, as tarefas exigem que os alunos gerem uma solução, utilizem um LLM para gerar uma solução alternativa e, em seguida, comparem criticamente as duas. Os alunos devem identificar falhas, inconsistências ou abordagens subótimas no código ou diagramas gerados pela IA e justificar suas próprias escolhas de design.
   • Aplicação: Esta abordagem foi aplicada a tarefas de programação funcional (comparando implementações imperativas vs. funcionais) e normalização de banco de dados (criticando diagramas E-R gerados por IA).
   • Objetivo: Isso desloca o foco da correção do produto para a profundidade da compreensão conceitual e a capacidade de criticar soluções técnicas.

3. Trabalho Incremental via Controle de Versão:

   • Implementação: Para combater a procrastinação e a terceirização de "última hora", os alunos devem enviar o trabalho incrementalmente para um repositório GitHub. Os requisitos incluem um número mínimo de commits (ex: três por semana ou cinco em dias diferentes) e o uso de branches e Pull Requests.
   • Objetivo: Isso promove o engajamento contínuo, permite que os instrutores acompanhem a evolução da solução e desenvolve habilidades de controle de versão padrão da indústria.

Principais Resultados

• Distribuição de Notas: A implementação das tarefas de gravação de tela correlacionou-se com uma redução de alunos com notas baixas e um deslocamento para notas médias tanto nos cursos de "Gestão de Produção e Operações" quanto de "Sistemas de Banco de Dados".
• Graduação IA vs. Humana: Embora a graduação por IA tenha mostrado um viés sistemático para notas mais baixas em comparação aos instrutores humanos, ela preservou a estrutura de classificação do desempenho dos alunos, sugerindo potencial para automação parcial na avaliação.
• Percepção dos Alunos: Os alunos relataram que o requisito de explicação verbal os forçou a uma compreensão mais profunda do processo de solução, em vez de apenas a geração do resultado. A metodologia foi percebida como aumentando a responsabilidade e reduzindo a dependência de soluções de IA não verificadas.
• Desenvolvimento de Habilidades: A abordagem incremental incentivou com sucesso o engajamento diário e o desenvolvimento de soft skills, como gestão de tempo e documentação técnica.

Significância e Alegações
O artigo afirma que o design de tarefas eficaz na era da IA não deve depender da proibição, mas da adaptação. Ao alavancar ciclos de aprendizagem iterativos (ler-entender, perguntar-fazer-verificar) e o monitoramento contínuo do progresso, os educadores podem manter a integridade acadêmica enquanto promovem um aprendizado conceitual mais profundo.

O estudo postula que:

1. Processo sobre Produto: Deslocar o foco da avaliação do artefato final para o processo de resolução de problemas (via vídeo ou histórico de commits) reflete melhor a compreensão do aluno.
2. IA como Ferramenta Pedagógica: Integrar LLMs como uma ferramenta comparativa para autoavaliação aumenta o pensamento crítico e evita a dependência passiva de saídas de IA.
3. Design Estrutural: O tempo e a estrutura dos prazos, combinados com os requisitos de controle de versão, são críticos para prevenir a procrastinação e garantir o esforço autêntico do aluno.

Os autores concluem que estas metodologias fornecem orientações práticas para educadores desenharem avaliações que motivem os alunos e reflitam com precisão sua compreensão, embora reconheçam limitações na aplicação destas estratégias para disciplinas não relacionadas à codificação ou tarefas que exijam relatórios técnicos complexos. O artigo defende uma abordagem equilibrada que combina conhecimento teórico com aplicação prática, garantindo que os alunos desenvolvam tanto a proficiência técnica quanto o pensamento crítico necessário para funções profissionais de engenharia.