Difficulty-Controllable Multiple-Choice Question Generation Using Large Language Models and Direct Preference Optimization

1. Problema e Contexto

O artigo aborda o desafio de Geração Automática de Questões (QG) para leitura de compreensão, especificamente focando na criação de questões de múltipla escolha com níveis de dificuldade controláveis.

Embora métodos anteriores tenham conseguido controlar a dificuldade, eles apresentavam duas limitações críticas:

1. Tipo de Questão: A maioria dos métodos existentes gera apenas questões com respostas extrativas (onde a resposta é um trecho do texto), não conseguindo gerar diretamente questões de múltipla escolha (com opções e distratores), que são o padrão em contextos educacionais.
2. Otimização da Dificuldade: Os métodos convencionais são treinados para maximizar a verossimilhança condicional do texto da questão, mas não otimizam explicitamente a precisão do controle de dificuldade. Isso resulta em uma correlação imperfeita entre o nível de dificuldade solicitado e a dificuldade real da questão gerada.

Além disso, a dificuldade precisa ser quantificada de forma a ser interpretável em relação à capacidade do aluno (usando Teoria de Resposta ao Item - TRI), permitindo sistemas de aprendizado adaptativo.

2. Metodologia Proposta

Os autores propõem um novo método que combina um Modelo de Linguagem Grande (LLM) com uma técnica de otimização chamada Otimização Direta de Preferência (DPO - Direct Preference Optimization).

A. Construção do Conjunto de Dados

Como os conjuntos de dados públicos (como o RACE) não possuem níveis de dificuldade anotados, os autores criaram um conjunto de dados estendido:

• Sistemas de QA Virtuais: Foram construídos 77 sistemas de perguntas e respostas (QA) baseados em diferentes modelos pré-treinados (BERT, RoBERTa, ALBERT, DeBERTa) com variados níveis de capacidade (treinados com diferentes porcentagens de dados).
• Estimativa de Dificuldade (IRT): As respostas desses sistemas virtuais foram usadas para estimar a dificuldade ($b$) de cada questão utilizando o Modelo de Rasch (um modelo de TRI). Isso permitiu atribuir um valor de dificuldade quantificado a cada questão do conjunto de dados.

B. Arquitetura do Modelo

O método utiliza o Llama 3.1 como base e segue um processo de duas etapas:

1. Ajuste Fino Inicial (Supervised Fine-Tuning - SFT):

   • O modelo é treinado para gerar o texto da questão, a resposta correta e três distratores, dado um texto de leitura e um nível de dificuldade desejado.
   • O objetivo é aprender o formato e a estrutura básica das questões.

2. Otimização Direta de Preferência (DPO):

   • Para corrigir a imprecisão no controle de dificuldade, aplica-se o DPO.
   • Mecanismo: O DPO transforma o problema de otimização de recompensa (comum em RLHF) em um problema de aprendizado supervisionado.
   • Construção de Pares de Preferência: Para cada entrada (texto + dificuldade desejada), o sistema gera duas saídas:
     • $y_w$ (Boa): A questão gerada pelo modelo que tem uma dificuldade estimada próxima à desejada.
     • $y_l$ (Ruim): Uma questão aleatória do mesmo texto, mas com dificuldade estimada diferente da desejada.
   • O modelo é então ajustado para maximizar a probabilidade de escolher a resposta "boa" em detrimento da "ruim", otimizando diretamente a métrica de precisão do controle de dificuldade.

3. Contribuições Principais

1. Geração de Questões de Múltipla Escolha: O primeiro método a gerar diretamente questões de múltipla escolha (com opções e distratores) com controle de dificuldade baseado em TRI.
2. Otimização Explícita via DPO: Introdução do DPO para alinhar a saída do LLM com o objetivo específico de precisão na dificuldade, superando as limitações do treinamento padrão por verossimilhança.
3. Validação de Dados Sintéticos: Demonstração de que sistemas de QA baseados em modelos de linguagem podem substituir dados humanos para estimar parâmetros de dificuldade via TRI, viabilizando o treinamento em larga escala.

4. Resultados Experimentais

Os experimentos foram realizados utilizando o conjunto de dados RACE (87.866 instâncias de treinamento).

• Precisão do Controle de Dificuldade:

  • O modelo com DPO ($QG_{dpo}$) mostrou uma correlação significativamente melhor entre a dificuldade especificada e a dificuldade estimada em comparação com o modelo apenas com SFT ($QG_{sft}$).
  • O Erro Absoluto Médio (MAE) entre a dificuldade desejada e a estimada caiu de 1,41 ($QG_{sft}$) para 1,07 ($QG_{dpo}$).
  • As curvas de probabilidade de resposta correta seguiram mais de perto a linha teórica esperada pelo Modelo de Rasch.

• Qualidade da Informação de Fisher:

  • Questões geradas pelo $QG_{dpo}$ apresentaram maior Informação de Fisher no nível de capacidade correspondente à dificuldade desejada. Isso indica que as questões são mais eficazes para estimar a habilidade do aluno em sistemas adaptativos.

• Qualidade do Conteúdo (Fluência, Relevância, Resolvibilidade):

  • Avaliações realizadas por outro LLM (GPT-4.1 mini) mostraram que o uso do DPO não degradou a fluência ou a relevância do conteúdo em relação ao texto.
  • A "resolvibilidade" (existência de uma única resposta correta) permaneceu estável, embora ainda seja um desafio comum para modelos gerativos.

• Comparação com Few-Shot Learning:

  • O método proposto superou significativamente abordagens de few-shot learning (aprendizado com poucos exemplos), que falharam em estabelecer qualquer correlação entre a dificuldade solicitada e a gerada.

• Análise Qualitativa:

  • Houve uma correlação positiva entre o nível de dificuldade e o tipo de raciocínio exigido: questões mais difíceis exigiam mais frequentemente "raciocínio multi-frasal", enquanto as mais fáceis eram baseadas em "correspondência de palavras". O modelo $QG_{dpo}$ seguiu essa tendência com maior precisão.

5. Significância e Limitações

Significância:
O trabalho oferece uma solução prática para a criação de bancos de questões adaptativos. Ao garantir que a dificuldade das questões geradas corresponda precisamente à capacidade do aluno, o método permite sistemas de avaliação e aprendizado adaptativo mais eficientes, reduzindo a carga de trabalho manual de professores na criação de testes personalizados.

Limitações e Trabalhos Futuros:

1. Resolvibilidade: A taxa de questões com exatamente uma resposta correta ainda não é perfeita. Os autores sugerem usar feedback de LLMs externos como sinal de recompensa no DPO para melhorar isso.
2. Dependência de Dados: O método requer um grande conjunto de dados (como o RACE) para estimar as dificuldades iniciais. Técnicas de aumento de dados (data augmentation) serão investigadas para cenários com poucos recursos.
3. Validação Educacional: Embora a precisão técnica seja comprovada, estudos futuros devem avaliar os benefícios educacionais reais em cenários de aprendizado adaptativo dinâmico com alunos reais.

Em resumo, o artigo demonstra que a combinação de LLMs modernos com DPO é uma estratégia superior para a geração de questões educacionais controladas, superando as limitações dos métodos tradicionais baseados apenas em ajuste fino supervisionado.