Cognitively Diverse Multiple-Choice Question Generation: A Hybrid Multi-Agent Framework with Large Language Models

Resumo Técnico: ReQUESTA – Um Framework Multi-Agente Híbrido para Geração de MCQs Cognitivamente Diversos

Problema
Embora os Grandes Modelos de Linguagem (LLMs) tenham tornado a geração automatizada de Questões de Múltipla Escolha (MCQs) cada vez mais viável, produzir itens que satisfaçam demandas cognitivas controladas de forma confiável continua sendo um desafio significativo. As abordagens atuais de prompting de passagem única frequentemente lutam para alinhar as questões geradas com habilidades cognitivas de ordem superior (ex: inferência, síntese) e frequentemente produzem itens com qualidade de distratores inconsistente, falta de paralelismo estrutural ou alinhamento superficial com os textos de origem. As abordagens híbricas existentes ainda não demonstraram controle confiável sobre a complexidade cognitiva das questões geradas sem restrições estruturais adicionais. O problema central abordado é como ir além da geração monolítica de passagem única para criar um sistema que possa visar sistematicamente níveis cognitivos específicos (recuperação baseada em texto, raciocínio inferencial e síntese da ideia principal) enquanto garante alta qualidade psicométrica e pedagógica.

Metodologia: O Framework ReQUESTA
Os autores introduzem o ReQUESTA (Reading Question-generation Using Educational Smart Text Agents), um framework híbrido multi-agente projetado para orquestrar a geração de MCQs através de uma sequência coordenada de agentes impulsionados por LLM e componentes baseados em regras. Em vez de depender apenas da escala do modelo, o ReQUESTA decompõe o processo de autoria em subtareas especializadas para garantir controlabilidade e confiabilidade.

• Arquitetura e Fluxo de Trabalho:

  • Pré-processador (Baseado em Regras): Segmenta o texto de entrada em unidades coerentes e gerenciáveis usando análise de nível de sentença.
  • Planejador (Impulsionado por LLM): Analisa os segmentos para identificar conceitos-chave, inferências implícitas e temas centrais. Ele gera um plano estruturado (representação intermediária) especificando quais segmentos e elementos serão usados para diferentes tipos de questões (baseadas em texto, inferenciais, ideia principal).
  • Controlador (Baseado em Regras): Interpreta a saída do Planejador e orquestra a execução das tarefas, atribuindo segmentos de texto específicos e alvos cognitivos aos agentes geradores apropriados.
  • Geradores de Questões (Impulsionados por LLM): Três agentes especializados geram questões baseadas nas restrições do Planejador:
    1. Baseada em texto: Visa fatos explícitos.
    2. Inferencial: Visa relações que exigem a integração de informações.
    3. Ideia Principal: Visa temas abrangentes.
  • Avaliador (Impulsionado por LLM): Avalia os itens gerados contra um checklist (clareza, alinhamento enunciado-resposta, plausibilidade do distrator). Itens que falham nos critérios são devolvidos ao gerador para revisão iterativa.
  • Formatador (Baseado em Regras): Padroniza a saída, embaralhando opções e impondo rotulagem consistente.
  • Módulo de Encurtamento de Opções: Uma etapa de pós-processamento usando um sistema de agentes colaborativos (Analisador de Sintaxe, Determinador de Comprimento, Gerador de Candidatos, Seletor de Candidatos) para corrigir desequilíbrios de comprimento entre os distratores, um modo de falha comum na geração por LLM.

• Estratégias de Engenharia de Prompt:
  O framework emprega quatro estratégias principais para guiar o comportamento dos agentes:

  1. Prompting Baseado em Persona: Atribui papéis específicos (ex: "instrutor universitário experiente") para alinhar as saídas com normas de avaliação.
  2. Cadeia de Pensamento (Chain-of-Thought - CoT): Exige que os agentes relatem etapas de raciocínio intermediárias, tornando os processos de decisão explícitos e inspecionáveis.
  3. Prompting Few-shot: Fornece exemplos de saídas eficazes vs. ineficazes (ex: para encurtamento de opções) para calibrar restrições estilísticas.
  4. Autocrítica: Os agentes são instruídos a revisar suas próprias saídas para identificar fraquezas comuns (ambiguidade, desalinhamento) antes da avaliação externa.

• Desenho Experimental:
  O framework foi avaliado contra uma baseline zero-shot do GPT-5 (prompting de passagem única) usando 20 passagens expositivas acadêmicas de livros didáticos da OpenStax.

  • Participantes: 572 adultos recrutados via Prolific.
  • Tarefa: Participantes leram passagens e responderam a 5 MCQs por passagem (2 baseadas em texto, 2 inferenciais, 1 ideia principal).
  • Condições: Desenho dentro do participante onde os participantes responderam a itens gerados pelo ReQUESTA ou pela baseline do GPT-5.
  • Métricas:
    • Psicométricas: Índice de dificuldade ($p$), discriminação ($D$) e correlação ponto-bisserial ($r_{pb}$) analisados via Teoria Clássica dos Testes e regressão logística de efeitos mistos.
    • Avaliação de Especialistas: Dois avaliadores especialistas pontuaram 200 itens (100 por método) em uma rubrica cobrindo correção da resposta, incorreção do distrator, relevância do tópico, clareza da escrita e qualidade do distrator (características linguísticas, plausibilidade semântica, unicidade).

Principais Resultados

1. Desempenho Psicométrico: Os itens gerados pelo ReQUESTA foram consistentemente mais desafiadores e discriminativos do que a baseline do GPT-5.

   • Dificuldade: Os itens do ReQUESTA tiveram um índice de dificuldade média menor ($M = 0,786$) comparado ao GPT-5 ($M = 0,902$), indicando que eram mais difíceis para os alunos.
   • Discriminação: Os itens do ReQUESTA mostraram maior discriminação ($M = 0,39$ vs. $0,17$), diferenciando melhor entre leitores de alto e baixo desempenho.
   • Alinhamento: Os itens do ReQUESTA mostraram correlações ponto-bisseriais mais fortes com as pontuações totais do teste ($M = 0,323$ vs. $0,275$), indicando melhor alinhamento com a habilidade geral de compreensão de leitura.
   • Análise de Regressão: Modelos de efeitos mistos confirmaram que a fonte da questão (ReQUESTA) foi um preditor significativo de menor precisão ($\beta = -1,277, p < ,001$), mantendo o tipo de questão e o vocabulário constantes.

2. Avaliação de Especialistas:

   • Relevância do Tópico: Os itens do ReQUESTA foram classificados significativamente mais altos para alinhamento com conceitos centrais ($p < ,05$).
   • Qualidade do Distrator: O ReQUESTA superou a baseline em características linguísticas dos distratores (consistência em comprimento/estrutura) e plausibilidade semântica do distrator (razoabilidade para alunos que perderam o ponto), particularmente para questões inferenciais.
   • Clareza da Escrita: A baseline do GPT-5 recebeu pontuações mais altas para clareza de escrita ($p < ,001$), sugerindo um compromisso onde o foco do ReQUESTA no rigor cognitivo e distratores complexos resultou, por vezes, em enunciados ou opções ligeiramente menos concisos.
   • Correção: Ambos os métodos alcançaram pontuações quase perfeitas para correção de resposta e incorreção de distratores.

Significância e Contribuições
O artigo reivindica três contribuições primárias para o campo dos sistemas de geração baseados em LLM:

1. Design de Fluxo de Trabalho sobre Escala de Modelo: O estudo demonstra que melhorias significativas na geração automatizada de MCQs podem ser alcançadas através do design de fluxo de trabalho e orquestração, em vez de escalar os parâmetros do modelo. Ao manter o LLM subjacente (GPT-5) constante e introduzir uma coordenação estruturada entre planejamento, geração, avaliação e revisão, o ReQUESTA alcançou resultados superiores comparado a uma baseline de passagem única.
2. Framework de Geração Controlável: O ReQUESTA propõe uma arquitetura híbrida que combina o poder expressivo de LLMs com a confiabilidade do processamento determinístico baseado em regras. Ao projetar explicitamente fronteiras de agentes, especialização de tarefas e loops de feedback iterativos, o sistema regula as demandas de raciocínio e as restrições estruturais dos artefatos gerados, indo além das limitações de prompting monolítico.
3. Prática de Avaliação: O estudo avança as práticas de avaliação para sistemas de geração estruturada ao utilizar medidas de resultado funcional (ex: dificuldade do item, discriminação, plausibilidade do distrator) em vez de depender apenas de indicadores superficiais como gramaticalidade.

Conclusão
Os autores concluem que a orquestração de agentes pode melhorar sistematicamente a confiabilidade e a controlabilidade da geração baseada em LLM. O ReQUESTA ilustra que decompor tarefas complexas em etapas intermediárias auditáveis e impor restrições através de verificações repetidas produz artefatos mais confiáveis, cognitivamente diversos e pedagogicamente alinhados do que o prompting de passagem única. O framework posiciona-se como uma abordagem madura e orientada pela avaliação para a geração de avaliação automatizada, destacando que o design do fluxo de trabalho de geração é um alavancador chave para a geração de artefatos estruturados.