💬 NLP

Difficulty-Controllable Multiple-Choice Question Generation Using Large Language Models and Direct Preference Optimization

Cette étude propose une nouvelle méthode pour générer des questions à choix multiples de lecture avec un niveau de difficulté contrôlable, en utilisant un grand modèle de langage optimisé par apprentissage direct des préférences pour surmonter les limites des approches précédentes.

Auteurs originaux : Yuto Tomikawa, Masaki Uto

Publié 2026-03-24

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yuto Tomikawa, Masaki Uto

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎓 Le Problème : L'École du "Tout Pareil"

Imaginez un professeur qui doit créer des examens de lecture pour ses élèves. Le problème, c'est que tous les élèves ne sont pas au même niveau. Certains sont des débutants, d'autres sont des experts.

Si le professeur donne le même texte et les mêmes questions à tout le monde :

Pour les débutants, c'est trop dur (ils décrochent).
Pour les experts, c'est trop facile (ils s'ennuient).

L'idéal serait d'avoir un robot professeur capable de créer instantanément des questions adaptées au niveau de chaque élève. Mais jusqu'à présent, ces robots avaient deux gros défauts :

Ils ne savaient faire que des questions où il faut "surligner" un mot dans le texte (comme un jeu de chasse aux trésors), alors que dans la vraie vie, on utilise surtout des questions à choix multiples (A, B, C, D).
Même quand ils essayaient de faire des questions "faciles" ou "difficiles", ils n'étaient pas très précis. C'était un peu comme si le robot disait "Fais-moi une question facile" et qu'il vous sortait une question moyennement difficile.

🚀 La Solution : Le "Chef Cuisinier" qui apprend de ses erreurs

Les auteurs de cette étude (Yuto Tomikawa et Masaki Uto) ont créé une nouvelle méthode pour améliorer ce robot. Voici comment ils ont fait, avec une analogie simple :

1. Le Robot de Base (Llama 3.1)

Ils ont pris un super-intelligent artificiel (un "Grand Modèle de Langage", comme un chef cuisinier très doué) capable de lire un texte et de créer des questions à choix multiples. Mais ce chef cuisinier ne sait pas encore doser précisément la difficulté.

2. La Recette de la Difficulté (IRT)

Pour mesurer la difficulté, ils n'ont pas utilisé un simple "ça va / ça va pas". Ils ont utilisé une méthode mathématique appelée IRT (Théorie de la réponse à l'item).

L'analogie : Imaginez que la difficulté d'une question est comme la température d'un four. L'IRT permet de dire exactement : "Cette question cuit à 180°C" (niveau expert) ou "à 100°C" (niveau débutant).
Pour entraîner leur robot, ils ont utilisé des "élèves virtuels" (d'autres intelligences artificielles de différents niveaux) pour tester les questions et définir leur température exacte.

3. L'Entraînement Magique (DPO) : Le "Goût" de la Préférence

C'est ici que la magie opère. Habituellement, on entraîne les robots en leur montrant des exemples parfaits (Supervised Fine-Tuning). Mais ici, les auteurs ont ajouté une étape cruciale appelée DPO (Optimisation Directe des Préférences).

L'analogie du Chef :
- Imaginez que vous demandez à un chef de faire un plat "très épicé".
- Méthode classique : Vous lui montrez des photos de plats épicés. Il essaie de copier, mais il ne sait pas toujours si c'est assez épicé.
- Méthode DPO (La nouvelle) : Vous lui donnez deux plats qu'il a faits. Vous lui dites : "Celui-ci (A) est trop doux, mais celui-là (B) est parfait pour le niveau 'très épicé' demandé. Garde B, rejette A."
- Le robot apprend non pas juste à copier, mais à comprendre la préférence : "Ah, quand on me demande 'difficile', je dois faire comme le plat B, pas comme le plat A."

Grâce à cette méthode, le robot apprend à ajuster sa "difficulté" avec une précision chirurgicale.

📊 Les Résultats : Ça marche !

Les chercheurs ont testé leur robot sur un grand ensemble de textes (le jeu de données RACE). Voici ce qu'ils ont découvert :

Précision : Quand ils demandaient une question de niveau "3.0" (très dur), le robot a produit des questions que seuls les experts pouvaient résoudre. Quand ils demandaient "-2.0" (très facile), les débutants y arrivaient. Le robot a réussi à suivre la consigne beaucoup mieux que les méthodes précédentes.
Qualité : Le robot ne s'est pas contenté de faire des questions difficiles ; il les a faites avec de bonnes grammaires, des réponses claires et un lien logique avec le texte. Il n'a pas sacrifié la qualité pour la difficulté.
Comparaison avec la "Méthode Rapide" : Ils ont aussi testé si le robot pouvait apprendre juste en lui montrant quelques exemples (ce qu'on appelle le "Few-Shot Learning", comme donner 3 exemples à un élève). Résultat : Ça ne marche pas. Le robot ne comprend pas la logique de la difficulté juste avec quelques exemples. Il faut l'entraîner spécifiquement avec la méthode DPO.

💡 En Résumé

Cette recherche a créé un générateur de questions intelligent qui peut :

Créer des questions à choix multiples (comme dans les vrais examens).
Ajuster la difficulté exactement comme demandé (du niveau "débutant" au niveau "expert").
Le faire grâce à une technique d'apprentissage où le robot compare ses propres réponses pour apprendre à mieux viser la cible, au lieu de simplement copier des modèles.

C'est une avancée majeure pour l'éducation adaptative : imaginez un futur où chaque élève a un tuteur personnel qui génère des exercices parfaitement calibrés pour le faire progresser sans jamais le frustrer ni l'ennuyer !

1. Problématique et Contexte

La génération automatique de questions (QG) pour la compréhension de lecture est un outil fondamental pour l'apprentissage adaptatif. Cependant, les méthodes existantes souffrent de deux limitations majeures :

Type de question : La plupart des approches précédentes génèrent des questions à réponse extraite (où la réponse est un segment de texte), alors que les questions à choix multiples (QCM) sont le format le plus répandu dans les contextes éducatifs.
Contrôle de la difficulté : Bien que certaines méthodes tentent de contrôler la difficulté, elles ne l'optimisent pas explicitement. Elles sont généralement entraînées par maximisation de la vraisemblance conditionnelle (SFT), ce qui ne garantit pas une précision élevée dans le contrôle du niveau de difficulté par rapport aux capacités des apprenants.

L'objectif de cette étude est de développer une méthode capable de générer des QCM dont la difficulté est contrôlable avec précision, en utilisant des modèles de langage de grande taille (LLM) et une technique d'optimisation directe des préférences (DPO).

2. Méthodologie Proposée

L'approche proposée repose sur l'utilisation du modèle Llama 3.1 et se déroule en trois étapes principales :

A. Construction du Jeu de Données avec Niveaux de Difficulté

Les jeux de données standards ne contiennent pas de niveaux de difficulté. Les auteurs ont donc construit un jeu de données enrichi en estimant la difficulté de chaque question via la Théorie de la Réponse à l'Item (TRI) et le modèle de Rasch :

Systèmes de QA virtuels : 77 systèmes de questions-réponses (basés sur divers modèles transformateurs comme BERT, RoBERTa, DeBERTa) avec des niveaux de compétence variables ont été entraînés.
Estimation : Ces systèmes ont répondu aux questions du jeu de données (RACE). Les données de réponses (correctes/incorrectes) ont été utilisées pour estimer le paramètre de difficulté ( $b$ ) de chaque question selon le modèle de Rasch.
Résultat : Un jeu de données contenant des quadruplets (texte, question, options, difficulté estimée).

B. Entraînement Initial (Supervised Fine-Tuning - SFT)

Le modèle Llama 3.1 est d'abord affiné de manière supervisée (SFT) pour apprendre à générer le format de sortie requis (question + 1 réponse correcte + 3 distracteurs) à partir d'un texte et d'un niveau de difficulté spécifié. Cela permet au modèle de comprendre la tâche, mais n'optimise pas encore spécifiquement la précision du contrôle de la difficulté.

C. Optimisation par Préférence Directe (DPO)

Pour améliorer la précision du contrôle de la difficulté, les auteurs appliquent la Direct Preference Optimization (DPO), une méthode dérivée de l'apprentissage par renforcement à partir de feedback humain (RLHF) mais plus stable et efficace.

Principe : Au lieu de maximiser la vraisemblance, le modèle est entraîné à maximiser une fonction de récompense définie par la précision du contrôle de la difficulté.
Construction des paires de préférence : Pour chaque entrée (texte + difficulté cible), on crée une paire de sorties :
- $y_w$ (bonne réponse) : La question générée par le modèle SFT initial.
- $y_l$ (mauvaise réponse) : Une question générée aléatoirement pour le même texte mais correspondant à un niveau de difficulté différent.
Objectif : Minimiser la perte DPO pour que le modèle privilégie les générations dont la difficulté estimée (via le modèle de Rasch et les systèmes QA) correspond le mieux à la difficulté cible spécifiée.

3. Contributions Clés

Première méthode de génération de QCM à difficulté contrôlée : Contrairement aux travaux antérieurs limités aux réponses extraites, cette méthode génère directement des QCM complets.
Intégration de la DPO pour le contrôle de difficulté : L'article démontre que l'utilisation de la DPO, plutôt que du simple SFT, améliore significativement la corrélation entre la difficulté spécifiée et la difficulté réelle des questions générées.
Cadre d'évaluation rigoureux : Utilisation de la TRI et de multiples systèmes QA pour quantifier objectivement la difficulté des questions générées, évitant ainsi les biais subjectifs.

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données RACE (87 866 instances).

Précision du contrôle de difficulté :
- Le modèle avec DPO ( $QG_{dpo}$ ) suit beaucoup plus étroitement la courbe théorique de probabilité de réponse correcte (modèle de Rasch) que le modèle sans DPO ( $QG_{sft}$ ).
- L'erreur absolue moyenne (MAE) entre la difficulté estimée et la difficulté spécifiée est passée de 1,41 ( $QG_{sft}$ ) à 1,07 ( $QG_{dpo}$ ).
Information de Fisher (Précision de l'estimation de capacité) :
- Les questions générées par $QG_{dpo}$ fournissent une information de Fisher plus élevée autour du niveau de capacité cible ( $\theta = b$ ), ce qui signifie qu'elles sont plus efficaces pour estimer les capacités des apprenants dans un cadre d'adaptation.
Qualité des questions (Fluence, Pertinence, Faisabilité) :
- L'évaluation par LLM-as-a-Judge (GPT-4.1 mini) montre que l'ajout de la DPO ne dégrade pas la qualité linguistique (fluence, pertinence) ni la faisabilité des questions par rapport au modèle SFT de base.
Comparaison avec le Few-Shot Learning :
- L'approche par apprentissage peu supervisé (Few-Shot) avec GPT-4.1 mini a échoué à contrôler la difficulté, confirmant que l'entraînement spécifique avec DPO est nécessaire.
Analyse Qualitative :
- Une corrélation positive a été observée entre le niveau de difficulté spécifié et la complexité du raisonnement requis (passage du "matching de mots" au "raisonnement multi-sentences"), plus marquée pour le modèle DPO.

5. Signification et Limites

Signification :
Cette étude valide l'efficacité de la DPO pour aligner les LLM sur des objectifs éducatifs spécifiques et non différentiables comme la difficulté d'une question. Elle ouvre la voie à des systèmes d'apprentissage adaptatif plus robustes, capables de générer dynamiquement des QCM adaptés au niveau de chaque apprenant.

Limites et Perspectives :

Faisabilité (Answerability) : Bien que la qualité soit bonne, la capacité des questions à avoir une seule réponse correcte unique reste un défi (les scores sont inférieurs aux questions humaines). Les auteurs suggèrent d'utiliser des LLM externes pour fournir un feedback de récompense sur la faisabilité.
Besoin en données : La méthode nécessite un grand jeu de données (RACE). Des techniques d'augmentation de données seront explorées pour des contextes à ressources limitées.
Validation éducative : L'impact réel sur l'amélioration de l'estimation des capacités des apprenants dans un système adaptatif complet doit encore être évalué sur le terrain.