From Memorization to Creation: Evaluating the Cognitive Depth of LLM-Generated Educational Questions

Resumo Técnico: Da Memorização à Criação: Avaliando a Profundidade Cognitiva de Questões Educacionais Geradas por LLMs

Definição do Problema
Embora os Grandes Modelos de Linguagem (LLMs) demonstrem um potencial significativo para automatizar a criação de conteúdo educacional, as pesquisas existentes focam primariamente na relevância factual e na qualidade linguística das questões geradas. Uma lacuna crítica permanece na avaliação da profundidade cognitiva desses resultados. Especificamente, os métodos atuais frequentemente falham em avaliar se os LLMs conseguem navegar efetivamente pela Taxonomia de Bloom — da memorização mecânica à criação de ordem superior — ou se induzem inadvertidamente a uma regressão cognitiva (simplificando questões abaixo do nível do aluno) ou a saltos cognitivos descontrolados (sobrecarregando os alunos). Além disso, os benchmarks existentes carecem de mecanismos para avaliar conjuntamente a relevância do conhecimento e a trajetória específica das mudanças cognitivas, limitando a adaptabilidade dos LLMs em sistemas de aprendizagem personalizada.

Metodologia
Os autores propõem um framework baseado na Taxonomia de Bloom para a geração e avaliação de questões educacionais, mudando o paradigma da perspectiva de ponto de conhecimento para um paradigma de "salto cognitivo".

• Datasets: O estudo utiliza três conjuntos de dados:

  1. Ciência da Computação: 1.406 questões distribuídas em 12 unidades de conhecimento (ex: pilhas, hashing), cobrindo todos os seis níveis de Bloom.
  2. Matemática K–12: 438 problemas de aplicação alinhados especificamente ao nível "Aplicação" através de 19 unidades de conhecimento.
  3. Ciências Sociais: Um subconjunto curado de 100 questões do tipo exame para testes de generalização e validação humana.
  • Escopo total: 20.700 questões geradas através de seis LLMs amplamente utilizados (GLM-4-9B, Qwen2.5-7B, Baichuan2-7B, InternLM3-8B, Meta-LLaMA3-8B e Spark3.5-Max).

• Estratégias de Prompting: Duas estratégias são comparadas:

  1. Cadeia de Pensamento (Chain-of-Thought - CoT): Guia o modelo para identificar unidades de conhecimento e níveis cognitivos antes da geração, visando um raciocínio passo a passo.
  2. Prompting de Grão Fino (Fine-Grained Prompting - FGP): Especifica diretamente a unidade de conhecimento alvo e o nível de Bloom na entrada, eliminando o raciocínio intermediário para impor um controle de geração mais rigoroso.

• Métricas de Avaliação: Um framework automatizado multidimensional é empregado, incluindo:

  • Usabilidade: Avaliação binária de unicidade (variação semântica em relação aos exemplares), legibilidade e capacidade de resposta (answerability).
  • Consistência de Categoria (CatCons): Mede o alinhamento entre o nível de Bloom da questão gerada e o alvo pretendido.
  • Cobertura de Conhecimento (KnowCov): Avalia a preservação das unidades de conhecimento originais.
  • Mudança Cognitiva (CogShift): Uma métrica quantitativa que calcula a magnitude e a direção das transições de nível cognitivo (Salto, Deriva ou Regressão) entre as questões originais e as geradas.
  • Tarefas Auxiliares: Classificação de questões e identificação de conhecimento são utilizadas para analisar a interpretabilidade e as correlações com o desempenho de geração.

Principais Resultados

• Eficácia do Prompting: O Prompting de Grão Fino (FGP) supera consistentemente a Cadeia de Pensamento (CoT) em usabilidade e controle cognitivo. Por exemplo, o FGP reduziu a repetitividade das questões em 24,45% para o Qwen2.5-7B e aumentou a proporção de saídas cognitivas de ordem superior em 11,53% para o InternLM3-8B.
• Padrões de Mudança Cognitiva: Uma tendência dominante em todos os modelos é o "Salto Cognitivo", onde os LLMs tendem a gerar questões em níveis cognitivos superiores aos pretendidos. Sob CoT, a proporção de saltos excedeu 44% para a maioria dos modelos; o FGP ampliou esse viés ascendente em alguns casos, mas reduziu significativamente a regressão cognitiva indesejada (ex: a taxa de regressão do InternLM3-8B caiu 10,31 pontos percentuais com o FGP).
• Desacoplamento de Reconhecimento e Geração: O estudo revela uma correlação negativa contraintuitiva: modelos com maior precisão de classificação do nível de Bloom frequentemente exibem uma menor consistência de categoria na geração. Isso sugere que, embora os LLMs possam identificar níveis cognitivos via pistas superficiais, eles têm dificuldade em manter esses níveis durante a geração, frequentemente recorrendo a saídas abstratas de ordem superior.
• Alinhamento de Conhecimento: Existe uma forte correlação positiva entre a precisão da identificação do conhecimento e a cobertura do conhecimento, indicando que a capacidade de identificar unidades de conhecimento serve como um proxy para manter a fidelidade do conteúdo.
• Generalização: O framework transfere-se de forma robusta para domínios não-STEM (Ciências Sociais), com o FGP suprimindo ainda mais a regressão e promovendo o alinhamento de ordem superior. No entanto, o acordo automatizado do nível de Bloom com especialistas humanos permanece modesto (46,58%), destacando a dificuldade da estimativa fina da profundidade cognitiva.

Principais Contribuições

1. Otimização de Estratégia de Prompting: Demonstrou que o prompting de grão fino reduz significativamente a repetitividade das questões e aumenta a proporção de saídas cognitivas de ordem superior em comparação com abordagens padrão de CoT.
2. Métricas Cognitivas Quantitativas: Introduziu a "Intensidade de Mudança Cognitiva" (CogShift) e métricas de deriva de categoria, fornecendo uma maneira fundamentada de quantificar a severidade e a direção do desalinhamento cognitivo no conteúdo gerado.
3. Insights de Interpretabilidade: Revelou correlações ao nível de métrica, especificamente a relação negativa entre a precisão de classificação e a consistência de geração, e a relação positiva entre a identificação de conhecimento e a cobertura. Isso aumenta a transparência das limitações do prompting de CoT.

Significância
O artigo argumenta que capturar precisamente as transições de nível cognitivo é essencial para o deployment de LLMs na educação personalizada. Ao ir além da simples relevância do conhecimento para avaliar a profundidade cognitiva, o framework proposto oferece um benchmark para garantir que as questões geradas desafiem adequadamente os alunos sem induzir sobrecarga ou regressão cognitiva. As descobertas enfatizam a necessidade de um design de prompt consciente da cognição para preencher a lacuna entre as capacidades dos LLMs e a progressão hierárquica necessária para uma aprendizagem eficaz. O trabalho fornece uma base para futuros sistemas de aprendizagem adaptativa que podem ajustar dinamicamente a complexidade das questões com base no estado cognitivo do aluno.