Cognitively Diverse Multiple-Choice Question Generation: A Hybrid Multi-Agent Framework with Large Language Models

Résumé Technique : ReQUESTA – Un cadre multi-agents hybride pour la génération de QCM à diversité cognitive

Énoncé du problème
Bien que les grands modèles de langage (LLM) aient rendu la génération automatisée de questions à choix multiples (QCM) de plus en plus réalisable, produire de manière fiable des items qui satisfont des exigences cognitives contrôlées reste un défi important. Les approches actuelles de prompting à passage unique (single-pass) peinent souvent à aligner les questions générées avec les compétences cognitives de niveau supérieur (ex. : inférence, synthèse) et produisent fréquemment des items présentant une qualité de distracteurs incohérente, un manque de parallélisme structurel ou un alignement superficiel avec les textes sources. Les approches hybrides existantes n'ont pas encore démontré un contrôle fiable sur la complexité cognitive des questions générées sans contraintes structurelles supplémentaires. Le problème central abordé est de savoir comment dépasser la génération monolithique à passage unique pour créer un système capable de cibler systématiquement des niveaux cognitifs spécifiques (rappel basé sur le texte, raisonnement inférentiel et synthèse de l'idée principale) tout en garantissant une qualité psychométrique et pédagogique élevée.

Méthodologie : Le cadre ReQUESTA
Les auteurs introduisent ReQUESTA (Reading Question-generation Using Educational Smart Text Agents), un cadre multi-agents hybride conçu pour orchestrer la génération de QCM par une séquence coordonnée d'agents pilotés par des LLM et de composants basés sur des règles. Plutôt que de s'appuyer uniquement sur le passage à l'échelle des modèles, ReQUESTA décompose le processus d'élaboration en sous-tâches spécialisées pour assurer la contrôlabilité et la fiabilité.

• Architecture et flux de travail :

  • Préprocesseur (basé sur des règles) : Segmente le texte d'entrée en unités cohérentes et gérables en utilisant l'analyse syntaxique au niveau de la phrase.
  • Planificateur (piloté par LLM) : Analyse les segments pour identifier les concepts clés, les inférences implicites et les thèmes centraux. Il génère un plan structuré (représentation intermédiaire) spécifiant quels segments et éléments seront utilisés pour différents types de questions (basées sur le texte, inférentielles, idée principale).
  • Contrôleur (basé sur des règles) : Interprète la sortie du Planificateur et orchestre l'exécution des tâches, en assignant des segments de texte spécifiques et des cibles cognitives aux agents générateurs appropriés.
  • Générateurs de questions (pilotés par LLM) : Trois agents spécialisés génèrent des questions basées sur les contraintes du Planificateur :
    1. Basées sur le texte : Ciblent les faits explicites.
    2. Inférentielles : Ciblent les relations nécessitant l'intégration d'informations.
    3. Idée principale : Ciblent les thèmes transversaux.
  • Évaluateur (piloté par LLM) : Évalue les items générés par rapport à une liste de contrôle (clarté, alignement énoncé-réponse, plausibilité des distracteurs). Les items échouant aux critères sont renvoyés au générateur pour une révision itérative.
  • Formateur (basé sur des règles) : Standardise la sortie, mélange les options et impose un étiquetage cohérent.
  • Module de raccourcissement des options : Une étape de post-traitement utilisant un système d'agents collaboratifs (Analyseur syntaxique, Déterminateur de longueur, Générateur de candidats, Sélecteur de candidats) pour corriger les déséquilibres de longueur entre les distracteurs, un mode de défaillance courant dans la génération par LLM.

• Stratégies de Prompt Engineering :
  Le cadre emploie quatre stratégies clés pour guider le comportement des agents :

  1. Prompting basé sur le persona : Assigne des rôles spécifiques (ex. : « instructeur universitaire expérimenté ») pour aligner les résultats sur les normes d'évaluation.
  2. Chaîne de pensée (Chain-of-Thought - CoT) : Exige que les agents rapportent les étapes de raisonnement intermédiaires, rendant les processus de décision explicites et inspectables.
  3. Prompting Few-shot : Fournit des exemples de sorties efficaces versus inefficaces (ex. : pour le raccourcissement des options) afin de calibrer les contraintes stylistiques.
  4. Auto-critique : Les agents sont incités à examiner leurs propres productions pour identifier les faiblesses communes (ambiguïté, mauvais alignement) avant l'évaluation externe.

• Conception expérimentale :
  Le cadre a été évalué par rapport à une ligne de base zero-shot de GPT-5 (prompting à passage unique) en utilisant 20 passages académiques expositifs provenant de manuels OpenStax.

  • Participants : 572 adultes recrutés via Prolific.
  • Tâche : Les participants lisent des passages et répondent à 5 QCM par passage (2 textuels, 2 inférentiels, 1 idée principale).
  • Conditions : Plan intra-participant où les participants répondent à des items générés soit par ReQUESTA, soit par la ligne de base GPT-5.
  • Métriques :
    • Psychométriques : Difficulté de l'item ($p$), discrimination ($D$) et corrélation point-bisériale ($r_{pb}$) analysées via la théorie classique des tests et la régression logistique à effets mixtes.
    • Évaluation par des experts : Deux évaluateurs experts ont noté 200 items (100 par méthode) selon une grille couvrant l'exactitude de la réponse, l'incorrectitude des distracteurs, la pertinence du sujet, la clarté de l'écriture et la qualité des distracteurs (caractéristiques linguistiques, plausibilité sémantique, unicité).

Résultats clés

1. Performance psychométrique : Les items générés par ReQUESTA étaient systématiquement plus difficiles et plus discriminants que la ligne de base GPT-5.

   • Difficulté : Les items ReQUESTA avaient un indice de difficulté moyen plus bas ($M = 0,786$) par rapport à GPT-5 ($M = 0,902$), indiquant qu'ils étaient plus difficiles pour les apprenants.
   • Discrimination : Les items ReQUESTA présentaient une discrimination significativement plus élevée ($M = 0,39$ contre $0,17$), différenciant mieux les lecteurs performants des lecteurs moins performants.
   • Alignement : Les items ReQUESTA montraient des corrélations point-bisérielles plus fortes avec les scores totaux aux tests ($M = 0,323$ contre $0,275$), indiquant un meilleur alignement avec la capacité globale de compréhension de la lecture.
   • Analyse de régression : Les modèles à effets mixtes ont confirmé que la source de la question (ReQUESTA) était un prédicteur significatif d'une précision plus faible ($\beta = -1,277, p < ,001$), à type de question et vocabulaire constants.

2. Évaluation par des experts :

   • Pertinence du sujet : Les items ReQUESTA ont été jugés significativement plus élevés pour l'alignement avec les concepts centraux ($p < ,05$).
   • Qualité des distracteurs : ReQUESTA a surpassé la ligne de base en ce qui concerne les caractéristiques linguistiques des distracteurs (cohérence de la longueur/structure) et la plausibilité sémantique des distracteurs (raisonnabilité pour les apprenants ayant manqué le point), particulièrement pour les questions inférentielles.
   • Clarté de l'écriture : La ligne de base GPT-5 a reçu des scores plus élevés pour la clarté de l'écriture ($p < ,001$), suggérant un compromis où l'accent mis par ReQUESTA sur la rigueur cognitive et les distracteurs complexes a parfois entraîné des énoncés ou des options légèrement moins concis.
   • Exactitude : Les deux méthodes ont obtenu des scores quasi parfaits pour l'exactitude des réponses et l'incorrectitude des distracteurs.

Signification et contributions
L'article revendique trois contributions principales au domaine des systèmes de génération basés sur les LLM :

1. Conception de workflow plutôt que mise à l'échelle du modèle : L'étude démontre que des améliorations significatives dans la génération automatisée de QCM peuvent être obtenues grâce à la conception du workflow et de l'orchestration plutôt qu'en augmentant les paramètres du modèle. En maintenant constant le LLM sous-jacent (GPT-5) et en introduisant une coordination structurée entre planification, génération, évaluation et révision, ReQUESTA a obtenu des résultats supérieurs à une ligne de base à passage unique.
2. Cadre de génération contrôlable : ReQUESTA propose une architecture hybride qui combine la puissance expressive des LLM avec la fiabilité d'un traitement déterministe basé sur des règles. En ingénierant explicitement les frontières des agents, la spécialisation des tâches et les boucles de rétroaction itératives, le système régule les exigences de raisonnement et les contraintes structurelles des artefacts générés, dépassant les limites des prompts monolithiques.
3. Pratique d'évaluation : L'étude fait progresser les pratiques d'évaluation des systèmes de génération structurés en utilisant des mesures de résultats fonctionnels (ex. : difficulté de l'item, discrimination, plausibilité du distracteur) plutôt qu'en se fondant uniquement sur des indicateurs de surface comme la grammaticalité.

Conclusion
Les auteurs concluent que l'orchestration agentique peut améliorer systématiquement la fiabilité et la contrôlabilité de la génération basée sur les LLM. ReQUESTA illustre que la décomposition de tâches complexes en étapes intermédiaires auditables et l'imposition de contraintes par des vérifications répétées produit des artefacts plus fiables, cognitivement diversifiés et pédagogiquement alignés que le prompting à passage unique. Le cadre se positionne comme une approche mature, pilotée par l'évaluation, pour la génération d'évaluations automatisées, soulignant que la conception du workflow de génération est un levier clé pour la génération d'artefacts structurés.