Self-hosted Lecture-to-Quiz: Local LLM MCQ Generation with Deterministic Quality Control

Cet article présente un pipeline auto-hébergé et sans API qui convertit des supports de cours en quiz à choix multiples grâce à un modèle de langage local, en garantissant la qualité via des contrôles déterministes et en favorisant la confidentialité, la redevabilité et l'efficacité énergétique.

L'essentiel

Imaginez que vous êtes un professeur qui a passé des heures à préparer un cours passionnant sur la physique (par exemple, sur l'entropie, un sujet un peu complexe). Vous voulez créer un petit quiz pour vérifier si vos élèves ont compris, mais vous avez deux gros problèmes :

1. Vous ne voulez pas envoyer vos cours privés sur Internet (confidentialité).
2. Vous ne voulez pas dépenser une fortune en énergie ou en temps à vérifier chaque question une par une.

C'est exactement le problème que résout cette recherche, baptisée L2Q (de l'anglais Lecture-to-Quiz, ou "Cours vers Quiz"). Voici comment cela fonctionne, expliqué simplement avec des images du quotidien.

1. Le Concept : Une Cuisine Locale et Sécurisée

Imaginez que vous avez une recette de grand-mère (votre cours PDF). Habituellement, pour créer un quiz, on envoie cette recette à un grand chef célèbre (une intelligence artificielle en ligne comme ChatGPT) qui vous renvoie des questions. Mais cela pose problème : le chef voit votre recette, et vous ne savez pas exactement comment il a mélangé les ingrédients.

L2Q, c'est comme cuisiner chez vous.

• Pas d'envoi à l'extérieur : Le "chef" (l'intelligence artificielle) est installé directement sur votre ordinateur (ou un serveur privé). Vos cours restent dans votre cuisine. Personne d'autre ne les voit.
• Le Chef Local : C'est un robot cuisinier (un modèle d'IA local) qui lit votre cours et essaie de créer des questions à choix multiples (A, B, C, D, E).

2. Le Problème : Les "Gâteaux Ratés"

Même avec un bon robot, il peut faire des erreurs bêtes :

• Il peut mettre deux réponses identiques (comme deux parts de gâteau exactement pareilles).
• Il peut dire que deux réponses différentes sont en fait la même chose (mathématiquement).
• Il peut oublier de préciser si on doit arrondir un nombre (ex: 0,881 ou 0,9 ?).

Si vous donnez ces questions aux élèves, le quiz devient injuste ou incompréhensible.

3. La Solution : Le Contrôleur de Qualité "Robuste"

C'est ici que la magie de l'article opère. Le système L2Q ne se contente pas de demander au robot de cuisiner. Il ajoute un inspecteur de qualité automatique (un contrôleur de qualité) qui vérifie chaque question avant qu'elle ne soit imprimée.

Imaginez une chaîne de montage dans une usine de jouets :

1. Le Robot (L'IA) fabrique le jouet (la question).
2. L'Inspecteur (Le Contrôle de Qualité) prend le jouet et le secoue.
   • Test 1 : "Y a-t-il 5 pièces distinctes ?" (Si oui, OK).
   • Test 2 : "Est-ce qu'il y a une seule pièce qui fonctionne ?" (Si oui, OK).
   • Test 3 : "Est-ce que deux pièces sont identiques par erreur ?" (Si oui, REJET).
3. La Boucle de Réparation : Si l'inspecteur trouve une erreur, il renvoie la question au robot avec un petit mot : "Hé, tu as mis deux réponses identiques, refais-la !". Le robot essaie encore, jusqu'à 3 fois.
4. Le Filtre Final : Une fois que la question passe tous les tests, elle est imprimée sur une feuille de papier (un fichier statique).

4. Le Résultat : Des Questions "Immuables"

Le plus important, c'est ce qui se passe après la création.

• Pas de robot pendant l'examen : Quand les élèves font le quiz (sur Google Forms, par exemple), le robot n'est plus là. Il ne faut plus de connexion internet, ni de puissance de calcul. C'est comme un livre de quiz classique : le robot a servi à l'écrire, mais le livre fonctionne tout seul.
• Transparence : On sait exactement d'où vient chaque question (quelle page du cours), et on a un historique de tous les contrôles de qualité effectués.

5. Pourquoi c'est important ? (Les 4 Piliers)

L'auteur compare cette méthode à une boussole éthique appelée AI2L (Intelligence Artificielle pour Apprendre) :

• Confidentialité : Vos cours restent chez vous (comme garder votre recette secrète).
• Responsabilité : Un humain (le professeur) vérifie le résultat final. L'IA ne décide pas seule, elle aide juste à rédiger.
• Écologie (Green AI) : On n'utilise pas un super-ordinateur géant à chaque fois qu'un élève fait un quiz. On utilise le robot une seule fois pour créer le quiz, puis on l'éteint.
• Réduction des "Boîtes Noires" : On ne dépend pas d'une magie invisible. On a un produit fini, vérifiable et modifiable.

En Résumé

Cette recherche nous dit : "Utilisons l'intelligence artificielle comme un assistant de rédaction puissant, mais assurons-nous qu'elle travaille dans notre cuisine, avec un inspecteur rigoureux, pour nous donner un produit fini (le quiz) qui est sûr, privé et qui fonctionne sans avoir besoin de l'IA à chaque instant."

C'est une façon intelligente d'utiliser la technologie pour aider les enseignants sans perdre le contrôle ni la confidentialité de leurs matériaux.

Résumé technique

Voici un résumé technique détaillé de l'article « Self-hosted Lecture-to-Quiz: Local LLM MCQ Generation with Deterministic Quality Control » par Seine A. Shintani.

1. Problématique

L'article aborde le défi de la génération automatique de questions à choix multiples (QCM) à partir de supports de cours (PDF) dans un contexte éducatif. Les approches actuelles reposant sur des modèles de langage (LLM) via des API cloud présentent plusieurs limites critiques :

• Risques de confidentialité : L'envoi de matériel pédagogique propriétaire à des services externes.
• Manque de transparence et d'auditabilité : Les flux de travail « prompt-and-publish » produisent des résultats en boîte noire, difficiles à vérifier pour les instructeurs.
• Coûts et durabilité : L'utilisation répétée de grands modèles en nuage est coûteuse en temps et en énergie.
• Fiabilité des sorties : Les LLM locaux ou distants peuvent générer des erreurs structurelles (options dupliquées, plusieurs bonnes réponses, équivalence numérique non détectée) qui rendent les questions inutilisables.

L'objectif est de concevoir un pipeline auto-hébergé (sans API externe) capable de générer des QCM de haute qualité tout en minimisant la dépendance aux boîtes noires lors de la phase de déploiement.

2. Méthodologie : Le Pipeline L2Q

L'auteur propose L2Q (Lecture-to-Quiz), un pipeline end-to-end exécuté localement. Le système est conçu comme une boucle externe déterministe autour d'un modèle génératif.

Architecture du pipeline (5 étapes) :

1. Ingestion et segmentation : Extraction du texte des PDF de cours et découpage en blocs cohérents avec références de pages.
2. Planification des sujets : Génération d'un plan de sujets (définitions clés, propriétés) pour assurer une couverture complète et réduire la redondance.
3. Rédaction des QCM : Le modèle local (Qwen2.5-14B-Instruct en format GGUF via llama.cpp) génère des questions avec 5 options (A-E), une seule réponse correcte et une explication, en respectant un schéma JSON strict.
4. Contrôle Qualité (QC) déterministe et réessais :
   • Contrôles durs (Hard Checks) : Rejet immédiat et réessai (jusqu'à 3 fois) si échec.
     • Conformité au schéma JSON.
     • Structure à réponse unique (une seule option marquée correcte).
     • Dé-duplication (exacte et floue, seuil de similarité $\ge 0.92$).
     • Tests d'équivalence : Vérification que les distracteurs ne sont pas numériquement équivalents à la réponse correcte (tolérance $10^{-9}$ pour les constantes, 5 essais aléatoires pour les expressions paramétriques).
   • Contrôles d'avertissement (Warning Flags) : Acceptation avec journalisation pour révision humaine (ex: absence d'instruction d'arrondi, distracteurs constants dupliqués).
5. Exportation : Génération de fichiers JSONL/CSV statiques prêts à être importés dans des systèmes de gestion de l'apprentissage (LMS) comme Google Forms, sans nécessiter d'LLM au moment de l'utilisation par l'étudiant.

Configuration technique :

• Environnement : Google Colab Pro+ (NVIDIA A100) ou PC local.
• Modèle : Qwen2.5-14B-Instruct (quantisé Q4_K_M).
• Décodage : Contraint par la grammaire (llama.cpp) pour garantir la validité JSON.
• Reproductibilité : Basée sur un tuple (PDF, graine aléatoire, spécification du modèle, spécification QC).

3. Contributions Clés

• Pipeline auto-hébergé (API-free) : Une solution complète pour convertir des PDF en QCM sans transmettre de données à des services cloud externes.
• Intégration de contrôles QC déterministes : Combinaison de décodage contraint et de vérifications post-génération (déduplication, équivalence numérique) pour éliminer les échecs structurels.
• Étude de cas reproductible : Une évaluation sur 15 exécutions (3 cours courts sur l'entropie × 5 graines aléatoires), produisant 120 questions candidates et un ensemble final de 24 questions validées.
• Minimisation de la boîte noire : Positionnement de l'approche selon le cadre AI2L (AI to Learn), démontrant comment réduire la dépendance aux LLM en phase d'exécution tout en utilisant l'IA pour la rédaction assistée.

4. Résultats

L'expérience a porté sur trois mini-cours synthétiques (Théorie de l'information, Thermodynamique, Mécanique statistique).

• Stabilité et Efficacité :
  • Sur 15 exécutions visant 8 questions chacune (120 au total), le taux d'acceptation par les contrôles durs est de 100 %.
  • Seuls 2 réessais supplémentaires ont été nécessaires sur 122 tentatives totales (taux de réessai de 1,6 %).
  • Temps d'exécution moyen : ~58,5 secondes par exécution (soit ~7,3 secondes par question).
• Visibilité des risques via les avertissements :
  • Le système d'avertissement a flagué 8 items sur 120 (6,7 %).
  • Les problèmes principaux étaient l'absence d'instructions d'arrondi pour les réponses décimales (7 cas) et des distracteurs constants dupliqués (1 cas).
• Ensemble de déploiement :
  • Un ensemble final de 24 questions (8 par cours) a été sélectionné avec zéro avertissement.
  • Ces questions sont disponibles en JSONL/CSV pour importation directe dans Google Forms.
• Qualité des sorties : Les exemples montrent des questions avec des distracteurs plausibles et des explications transparentes permettant une vérification humaine rapide.

5. Signification et Discussion

• Minimisation de la boîte noire : L'approche L2Q sépare la phase de rédaction (assistée par LLM) de la phase de déploiement (artefact statique). Cela permet aux étudiants de passer des quiz sans accès à un LLM, garantissant la stabilité et la confidentialité.
• Alignement avec AI2L :
  • Confidentialité : Réduite grâce à l'exécution locale.
  • Responsabilité : Renforcée par les logs QC et la nécessité d'une validation humaine pour les avertissements.
  • Green AI : Réduction de la consommation énergétique en évitant les appels API répétitifs lors de l'apprentissage.
  • Transparence : Limitée car le modèle de rédaction reste une boîte noire, mais les artefacts finaux sont inspectables.
• Limites :
  • Le contrôle qualité ne garantit pas la validité pédagogique (alignement curriculaire, difficulté) ni la justesse sémantique profonde.
  • La vérification d'équivalence mathématique est partielle (basée sur des tests numériques et non un prouveur symbolique complet).
  • Le pipeline actuel gère mal les documents riches en figures ou tableaux (OCR non robuste).

Conclusion :
L'article démontre qu'il est possible de créer un pipeline de génération de QCM éducatifs robuste, privé et reproductible en combinant des LLM locaux avec des vérifications déterministes rigoureuses. L2Q transforme la génération de questions d'un processus aléatoire en un flux de travail contrôlé, produisant des artefacts statiques prêts à l'emploi qui respectent les principes de l'IA responsable en éducation.