Resumo Técnico: KT4EQG

Declaração do Problema

A Geração de Questões Educacionais (EQG) visa sintetizar questões de exercícios personalizadas para aprimorar a aprendizagem dos estudantes. Embora as abordagens existentes de EQG tenham avançado no controle da qualidade do texto, do formato e da dificuldade, elas carecem amplamente de personalização granular. A maioria dos sistemas atuais não modela efetivamente o estado de conhecimento específico de um estudante para determinar quais questões proporcionariam o maior benefício de aprendizagem. Consequentemente, as questões geradas podem ser muito triviais, muito difíceis ou focadas em material que o estudante já dominou.

O desafio central abordado neste artigo é como integrar Rastreamento de Conhecimento (KT) — um método que modela o estado de conhecimento em evolução de um estudante com base no desempenho histórico — ao processo de EQG. O objetivo é ir além da seleção de questões de um pool fixo (como em sistemas de recomendação) para gerar novas questões diversas, especificamente adaptadas às necessidades de aprendizagem atuais e às lacunas de conhecimento do estudante.

Metodologia: Framework KT4EQG

Os autores propõem o KT4EQG, um framework de EQG personalizado que decompõe a tarefa de geração em duas etapas de otimização distintas: selecionar o conceito de conhecimento (KC) ótimo e gerar uma questão alinhada a esse conceito.

1. Formulação da Tarefa e Objetivo

O objetivo é gerar uma questão $x_{t^*}$ que maximize o domínio geral do conhecimento do estudante após a prática. Os autores definem o progresso de aprendizagem como a soma das probabilidades de domínio sobre todos os conceitos de conhecimento $C$.
$$\max_{x_{t^*}} \sum_{c \in C} p(K_c = 1 | H, X_{t^*} = x_{t^*}, A_{t^*} = 1)$$
onde $H$ são os dados históricos de prática, e $A_{t^*}=1$ assume que o estudante responde com sucesso à nova questão (tratando os exercícios como oportunidades de aprendizagem, em vez de avaliações de uma única tentativa).

2. Otimização em Duas Etapas

Os autores decompõem a função objetivo em dois termos: Valor Educacional e Alinhamento.
$$\max_{x_{t^*}, c_{t^*}} \left[ \underbrace{\sum_{c \in C} p(K_c = 1 | H, \psi(X_{t^*}) = c_{t^*}, A_{t^*} = 1)}_{\text{Valor Educacional}} \cdot \underbrace{\mathbb{1}[\psi(x_{t^*}) = c_{t^*}]}_{\text{Alinhamento}} \right]$$

Etapa 1: Maximização do Valor Educacional (Seleção de Conceito)

• Mecanismo: O framework utiliza um Rastreador de Conhecimento (KT2) para estimar o "valor educacional" de praticar cada KC candidato. Esse valor representa a melhoria potencial no domínio geral do conhecimento do estudante se ele praticasse aquele conceito específico.
• Processo: Uma busca exaustiva é realizada sobre todos os KCs candidatos. O modelo KT2, baseado em uma estrutura de árvore de Markov oculta, computa a distribuição posterior dos estados de conhecimento. O KC que produz a maior soma de probabilidades de domínio atualizadas sobre todos os conceitos é selecionado como o conceito alvo $c_{t^*}$.

Etapa 2: Maximização do Alinhamento (Geração de Questões)

Uma vez selecionado o KC ótimo $c_{t^*}$, um gerador de Modelo de Linguagem Grande (LLM) é encarregado de produzir uma questão $x_{t^*}$ que teste fielmente esse conceito. Isso é alcançado por meio de um processo de treinamento em duas fases:

1. Ajuste Fino Supervisionado (SFT): Um LLM de texto (QWEN3-8B) é ajustado finamente em um conjunto de dados de pares questão-conceito para aprender o mapeamento básico de um KC para uma questão.
2. Aprendizado por Reforço (RL) com Recompensa de Alinhamento: O modelo é otimizado adicionalmente usando RL. O sinal de recompensa é fornecido por um Verificador de Questão-Conceito ($g_\phi$).
   • Treinamento do Verificador: O verificador é treinado usando um objetivo de contraste no estilo InfoNCE para mapear questões e conceitos em um espaço de incorporação compartilhado, garantindo que pares alinhados estejam mais próximos do que pares não alinhados.
   • Cálculo da Recompensa: A recompensa de alinhamento $R_{align}$ é computada com base na similaridade entre a questão gerada e o KC alvo no espaço de incorporação, padronizada para estabilidade numérica.

Contribuições Principais

1. Integração de KT e EQG: O artigo propõe o primeiro framework a integrar explicitamente o rastreamento de conhecimento no loop de geração da EQG, indo além da simples recomendação ou adaptação grosseira de dificuldade.
2. Otimização Decomposta: Os autores introduzem uma decomposição inovadora do objetivo da EQG em "Valor Educacional" (determinado pelo modelo KT) e "Alinhamento Questão-Conceito" (determinado por um verificador aprendido).
3. Pipeline de Treinamento: O desenvolvimento de um pipeline de treinamento em duas etapas (SFT + RL com um verificador de alinhamento contrastivo) para garantir que as questões geradas não sejam apenas fluentes, mas semanticamente fundamentadas no conceito de conhecimento selecionado.
4. Política Adaptativa: O framework produz naturalmente uma política adaptativa onde os KCs selecionados mudam com base no nível de domínio atual do estudante (por exemplo, selecionar conceitos mais fáceis para estudantes com menor desempenho e conceitos mais desafiadores para estudantes avançados).

Resultados Experimentais

O framework foi avaliado em dois conjuntos de dados: XES3G5M (árvores de KC anotadas por especialistas) e MOOCRADAR (árvores de KC construídas por LLM).

• Desempenho: O KT4EQG alcançou consistentemente as maiores Pontuações em Exames (precisão média prevista em um conjunto de teste retido) em todos os módulos de conhecimento em ambos os conjuntos de dados, superando linhas de base incluindo LLMs padrão (QWEN3-8B), geradores especializados em matemática (ScaleQuest) e métodos de síntese de prompts condicionados a conceitos (PromptCoT-2.0).
• Comparação com Oráculo: Embora fornecer às linhas de base a "seleção de conceito Oráculo" (o melhor KC possível escolhido pelo KT2) tenha melhorado significativamente seu desempenho, o KT4EQG ainda os superou. Isso indica que o gerador treinado com alinhamento do framework produz questões de maior qualidade para o conceito alvo do que geradores padrão, mesmo quando a seleção de conceitos é perfeita.
• Resolubilidade: As questões geradas mantiveram altas taxas de resolubilidade (comparáveis ao LLM base), demonstrando que a otimização para valor educacional não comprometeu a solvabilidade ou a qualidade das questões.
• Estudos de Ablação:
  • A remoção da fase de RL de alinhamento resultou em pontuações de alinhamento mais baixas ($R_{align}$), confirmando a necessidade da etapa de aprendizado por reforço.
  • A análise das rodadas de prática mostrou que métodos com seleção de conceitos eficaz (como o KT4EQG) apresentaram maiores ganhos cumulativos de aprendizagem à medida que o número de rodadas de prática aumentava, enquanto métodos com seleção de conceitos aleatória ou inadequada apresentaram retornos decrescentes.

Significado e Alegações

O artigo alega que o KT4EQG demonstra o potencial de integrar o rastreamento de conhecimento com a geração de questões para apoiar a personalização em sistemas educacionais.

• Benefício Pedagógico: O sistema gera questões que são tanto alinhadas ao conceito quanto benéficas para a aprendizagem do estudante, abordando a lacuna onde os sistemas existentes de EQG falham em modelar estados de conhecimento individuais.
• Escalabilidade: O framework é mostrado como eficaz mesmo em conjuntos de dados sem estruturas de árvore anotadas por humanos (usando árvores construídas por LLM), sugerindo ampla aplicabilidade.
• Escopo Moderado: Os autores posicionam este trabalho como um passo em direção à personalização granular. Eles reconhecem que, embora o framework melhore a seleção e a geração de questões, a medida final de sucesso é o progresso de aprendizagem do estudante, que aqui é simulado por meio de modelos de rastreamento de conhecimento. O trabalho não alega substituir educadores humanos, mas sim fornecer uma ferramenta para gerar materiais de prática altamente direcionados.