💻 computer science

LLM-Generated Design Problems for Assessing Higher-Order Thinking in Project-Based Learning

Este estudo propõe o uso de problemas de design gerados por LLM como uma ferramenta de avaliação complementar no ensino de computação baseado em projetos para avaliar efetivamente o pensamento de ordem superior e as habilidades de transferência, superando as limitações de avaliação tradicionais e as barreiras de carga de trabalho do instrutor.

Autores originais: Ahmad D. Suleiman, Daqing Hou, Maliha Noushin Raida

Publicado 2026-07-14

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ahmad D. Suleiman, Daqing Hou, Maliha Noushin Raida

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está em uma aula de culinária onde todo o semestre é dedicado a dominar a arte de fazer a pizza perfeita. Você aprende a sovar a massa, escolher o molho e assar até que fique dourada. Ao final do período, o professor geralmente avalia você pela pizza que você realmente fez. Mas aqui está o problema: só porque você consegue fazer uma ótima pizza, não significa que você realmente entenda por que ela funciona, ou que poderia usar essas mesmas habilidades para assar um bolo ou consertar um forno quebrado. Você pode ter apenas memorizado os passos para a pizza, ou talvez tenha recebido ajuda de um chef robô (como uma IA) que fez o trabalho pesado enquanto você apenas observava.

Este é exatamente o enigma que os professores de ciência da computação enfrentam com a Aprendizagem Baseada em Projetos (PjBL). Os alunos constroem projetos de software legais, mas os testes tradicionais muitas vezes apenas verificam se eles conseguem copiar e colar código ou escrever um relatório sobre a coisa específica que construíram. Eles perdem o "pensamento de ordem superior" (HOT — higher-order thinking) — a capacidade de pegar o que aprenderam e aplicar a uma situação totalmente nova e complexa.

A Nova Ferramenta: "Problemas de Design"

Para corrigir isso, os autores deste artigo introduziram algo chamado Problemas de Design (DPs). Pense neles como um "desafio de cozinha" que acontece logo após a aula de pizza. Em vez de perguntar: "Mostre-me sua pizza", o professor diz:

"Ok, imagine que um hospital precisa de um sistema para rastrear como pacientes idosos movem seus dedos para detectar problemas de saúde. Usando a mesma lógica que você usou para seu aplicativo de pizza, projete um plano de alto nível para este novo sistema. Você tem 30 minutos."

Isso força os alunos a pararem de apenas recitar fatos e começarem a transferir seu conhecimento. Eles precisam analisar, avaliar e criar algo novo, provando que realmente entendem os conceitos, não apenas o código específico que escreveram para o projeto final.

O Ajudante Robô: A IA Pode Escrever as Perguntas?

Criar essas perguntas de cenários novos e complicados dá muito trabalho para os professores. Leva uma eternidade para inventar uma situação inédita que se encaixe em cada projeto de aluno. Por isso, os pesquisadores perguntaram: Um Modelo de Linguagem Grande (LLM) — um chatbot de IA superinteligente — pode escrever essas perguntas para nós?

Eles testaram isso pedindo a dois modelos de IA diferentes (um padrão e um de "raciocínio" que pensa passo a passo) para gerar 80 desses Problemas de Design baseados em quatro projetos de alunos diferentes (como uma ferramenta de segurança, um jogo distribuído e um aplicativo móvel).

O que eles descobriram:

A IA é muito boa: A IA de "raciocínio" foi especialmente impressionante. Ela criou cenários que eram realistas e correspondiam perfeitamente aos objetivos de aprendizagem. Na verdade, 50% dos problemas gerados pela IA receberam uma pontuação perfeita de especialistas humanos.
A IA não é perfeita: Às vezes, a IA ficava preguiçosa. Ela criava um cenário que era muito semelhante ao projeto original (como pedir uma pizza quando você já fez uma pizza), ou tornava a pergunta vaga demais.
O Veredito: O artigo sugere que a IA pode ser uma grande ajuda, atuando como um assistente incansável que rascunha as perguntas, mas um professor humano ainda precisa revisá-las para garantir que não sejam fáceis demais ou confusas.

O Teste em Sala de Aula: Os Alunos Entenderam?

Os pesquisadores então aplicaram esses Problemas de Design escritos por IA em três turmas reais de faculdade. Eles deram aos alunos 30 minutos para resolver um desses novos cenários individualmente.

Aqui está a reviravolta:
Quando compararam as notas dos alunos nesses novos Problemas de Design com suas notas nos projetos originais de todo o semestre, quase não houve conexão.

Alguns alunos eram "Mestres": Eles gabaritaram o projeto e o novo desafio.
Alguns eram "Implementadores": Eles construíram um ótimo projeto (talvez com ajuda ou seguindo uma receita) mas falharam no novo desafio por não conseguirem aplicar a lógica em outro lugar.
Alguns eram "Conceitualizadores": Eles tiveram dificuldades com o projeto, mas arrasaram no novo desafio porque entendiam os conceitos profundos.

Isso prova que as notas de projetos tradicionais não contam a história toda. Um aluno pode construir um ótimo aplicativo, mas ainda assim não saber como pensar como um engenheiro em uma nova situação. Os Problemas de Design capturaram essa diferença.

Como os Alunos Realmente Pensaram

Os pesquisadores também observaram como os alunos digitavam suas respostas (usando dados de batidas de teclas). Eles descobriram que os alunos não apenas digitavam furiosamente.

Eles faziam pausas de cerca de 2 minutos no início, provavelmente pensando e planejando.
Eles deletavam e reescreviam partes de suas respostas (uma razão de revisão de cerca de 12 a 16 caracteres deletados para cada 100 digitados).
Eles faziam pausas frequentes (pausas superiores a 10 segundos) enquanto escreviam.

Esse comportamento sugere que os alunos estavam realmente realizando o trabalho mental árduo de analisar e sintetizar ideias, em vez de apenas copiar e colar.

O Que o Artigo Descarta

O artigo é cuidadoso ao dizer o que este método não é:

Não é uma solução mágica que substitui todos os outros tipos de testes.
Não é algo que funciona perfeitamente se os alunos puderem usar IA durante o teste (por isso os professores os fizeram fazer o teste em sala, sem celulares).
Não é uma forma de avaliar alunos com base no tempo que levam; os dados mostraram que gastar mais tempo não levava necessariamente a notas melhores.
Não é um sistema perfeito ainda; o artigo observa explicitamente que avaliar essas respostas abertas ainda é subjetivo e difícil de escalar sem ajuda.

A Conclusão

O estudo sugere que usar a IA para gerar esses "Problemas de Design" é uma maneira promissora de verificar se os alunos realmente entendem os conceitos de ciência da computação, em vez de apenas memorizarem como construir uma coisa específica. Isso ajuda os professores a verem a diferença entre um aluno que consegue seguir uma receita e um aluno que consegue cozinhar uma refeição inteiramente nova. Embora a IA não seja perfeita e precise de supervisão humana, ela pode ser a chave para garantir que os alunos estejam prontos para o mundo real, onde os problemas nunca são exatamente iguais aos que praticaram em sala de aula.

Resumo Técnico: Problemas de Design Gerados por LLM para Avaliação de Pensamento de Ordem Superior em Aprendizagem Baseada em Projetos

Enunciado do Problema
A aprendizagem baseada em projetos (PjBL) é um pilar na educação em computação para fomentar habilidades práticas, mas as avaliações tradicionais — que dependem fortemente de artefatos de projeto como código e relatórios — frequentemente falham em medir com precisão as habilidades de pensamento de ordem superior (HOT), particularmente em contextos de transferência. Embora os educadores visem avaliar análise, avaliação e criação (taxonomia de Bloom), os métodos atuais frequentemente recorrem a habilidades cognitivas de ordem inferior ou carecem de alinhamento com o contexto original do projeto. Além disso, a ascensão da IA generativa e a natureza colaborativa da PjBL complicam a atribuição da maestria individual. A criação de "problemas de design" (DPs) — prompts concisos, baseados em cenários, que exigem a aplicação de conceitos de projeto a novas situações distintas — oferece uma solução potencial. No entanto, a criação manual de DPs de alta qualidade e específicos para cada projeto é laboriosa, criando um gargalo de escalabilidade para os instrutres.

Metodologia
Este estudo empregou uma abordagem de métodos mistos para investigar o valor, a geração e a implementação de DPs:

Pesquisa com Instrutores (RQ1): Um questionário foi distribuído para 313 autores de PjBL em computação, obtendo 31 respostas. O instrumento avaliou as práticas de avaliação atuais, percepções de HOT e visões sobre a viabilidade de DPs.
Geração por LLM e Avaliação por Especialistas (RQ2): Os pesquisadores selecionaram quatro projetos de PjBL diversos (Segurança Web, Sistemas Distribuídos, Manutenção de Software, ML Móvel). Usando engenharia de prompt zero-shot, eles geraram 80 DPs (10 por projeto por modelo) utilizando dois Modelos de Linguagem de Grande Escala (LLMs): um modelo padrão (OpenAI GPT-4o) e um modelo orientado ao raciocínio (Gemini 2.5 Pro). Dois avaliadores especialistas avaliaram esses DPs com base em uma rubrica cobrindo Qualidade do Cenário, Alinhamento, Complexidade Cognitiva, Clareza e Viabilidade.
Implementação em Sala de Aula (RQ3): Os DPs foram implementados como avaliações somativas de 30 minutos em três cursos de graduação (N=78 no total). Os alunos completaram duas tarefas: responder a um DP de alta qualidade (Tarefa A) e avaliar um DP aleatório (Tarefa B). Os dados coletados incluíram notas de desempenho, classificações de percepção dos alunos e registros de teclas (keystroke logs) — para cursos baseados na web — para analisar latência de planejamento, razão de revisão e burstiness (explosividade).

Contribuições Principais

Definição e Estrutura: O artigo operacionaliza os "Problemas de Design" como uma ferramenta de avaliação específica projetada para medir o HOT orientado à transferência, distinta da avaliação de artefato tradicional.
Eficácia de LLM: Demonstra que os LLMs, particularmente os modelos orientados ao raciocínio, podem gerar autonomamente DPs de alta qualidade e ricos em contexto que se alinham aos objetivos de aprendizagem e evitam a simples memorização.
Validação Empírica: O estudo fornece evidências empíricas de que o desempenho nos DPs possui correlação negligenciável com as notas tradicionais dos projetos, sugerindo que os DPs capturam dimensões cognitivas distintas.
Insights Comportamentais: Através do registro de teclas, o estudo oferece evidência indireta de um engajamento cognitivo mais profundo (planejamento, revisão e pensamento sustentado) durante a conclusão do DP em comparação com a transcrição mecânica.

Resultados

Percepções dos Instrutores: Os instrutores apoiam amplamente o potencial dos DPs para avaliar o HOT, mas citam o esforço de criação e a escalabilidade como as principais barreções. Eles enfatizam a necessidade de ambientes independentes e com tempo determinado para mitigar a trapaça por IA.
Desempenho de LLM: Os avaliadores especialistas consideraram que os LLMs orientados ao raciocínio superaram significativamente os LLMs padrão em Qualidade do Cenário (0,97 vs. 0,77, p < 0,001) e Viabilidade (1,00 vs. 0,94, p = 0,018). Ambos os modelos produziram DPs geralmente de alta qualidade, com 50% recebendo pontuações perfeitas em todos os critérios.
Desempenho dos Alunos: As notas dos DPs mostraram correlação desprezível com as notas tradicionais dos projetos (Spearman's $\rho$ variando de -0,05 a 0,03). Uma parte significativa dos alunos foi classificada como "Implementadores" (notas altas no projeto, notas baixas no DP), indicando que a criação bem-sucedida de artefatos não garante habilidades de design transferíveis.
Experiência do Aluno: Os alunos avaliaram os DPs positivamente, particularmente em relação à Complexidade Cognitiva e Qualidade do Cenário. No entanto, avaliaram a Viabilidade de forma inferior aos especialistas, sugerindo um "ponto cego do especialista", onde os instrutores subestimam a carga cognitiva das tarefas de transferência para novatos.
Dados Comportamentais: A análise de teclas revelou uma latência de planejamento inicial significativa (~2 minutos) e comportamentos de revisão ativa, apoiando a hipótesia de que os alunos estavam engajados em processos de HOT em vez de apenas transcrever respostas memorizadas.

Significância
O artigo afirma que os Problemas de Design servem como uma ferramenta de avaliação complementar vital para a PjBL, abordando especificamente a lacuna na medição do pensamento de ordem superior orientado à transferência. Ao utilizar LLMs para automatizar a geração desses problemas, a abordagem torna-se escalável, reduzindo a carga de trabalho do instrutor enquanto mantém o rigor pedagógico. O estudo sugere que os DPs são particularmente valiosos em ambientes onde o uso de IA ou a colaboração podem obscurecer a aprendizagem individual, pois exigem uma síntese única e individual de conhecimento em novos contextos. Os achados apoiam a integração de DPs gerados por LLM nos currículos de computação para fornecer uma visão mais holística da maestria do aluno além dos artefatos de código.