TeachMateGPT: A Multi-Agent Knowledge-Grounded Framework for Pedagogical Assessment Generation from Science Curriculum Materials

Imaginez que vous êtes un enseignant essayant de construire un quiz pour votre cours de sciences. Vous avez un manuel scolaire épais et officiel qui contient toutes les réponses, mais vous n'avez pas le temps de feuilleter chaque page pour trouver les questions parfaites. Vous vous tournez vers un robot informatique super intelligent (une Intelligence Artificielle) pour vous aider. Vous lui demandez : « Prépare-moi un quiz sur la pluie acide », et le robot commence à taper. Mais voici le piège : parfois, ces robots sont comme des élèves trop enthousiastes qui ont mémorisé quelques faits mais qui commencent ensuite à inventer des choses pour paraître intelligents. Ils peuvent inventer une fausse règle scientifique ou tirer un fait d'un chapitre complètement différent. C'est ce qu'on appelle une « hallucination ». Pour empêcher cela, les scientifiques utilisent une astuce appelée Génération Augmentée par Récupération (RAG). Considérez le RAG comme si l'on donnait au robot une carte de bibliothèque et une règle stricte : « Tu ne peux écrire ton quiz que si tu peux indiquer la page exacte du manuel où tu as trouvé la réponse. »

Cependant, même avec une carte de bibliothèque, le robot peut encore s'embrouiller. Si le manuel est organisé de manière complexe, ou si le robot saisit une phrase minuscule et isolée sans le contexte environnant, il peut tout de même rédiger une mauvaise question. La grande question pour les chercheurs est la suivante : comment construire un robot qui ne se contente pas de saisir n'importe quelle page, mais qui comprend la structure de la leçon, sait quand il n'a pas assez d'informations pour répondre, et vérifie son propre travail avant de le présenter à l'enseignant ? C'est le problème qu'une nouvelle étude tente de résoudre, spécifiquement pour les enseignants de sciences au Bangladesh qui utilisent un manuel national très précis.

---

Rencontrez TeachMateGPT : Le bibliothécaire robotique avec un filet de sécurité

L'article présente un nouveau système appelé TeachMateGPT. Vous pouvez le considérer non pas comme un seul robot, mais comme une équipe de travailleurs spécialisés dans une usine de haute technologie, travaillant tous ensemble pour transformer la demande d'un enseignant en un quiz parfait et fidèle au manuel. Le système est conçu spécifiquement pour le manuel de sciences de la classe de 8ème du Conseil National du Curriculum et des Manuels Scolaires (NCTB) au Bangladesh, une ressource cruciale pour les étudiants mais souvent difficile à naviguer parfaitement pour une IA.

Voici comment fonctionne l'usine, étape par étape :

1. L'index intelligent (COPE)
D'abord, le système doit organiser le manuel. Imaginez que le manuel soit un grenier géant et désordonné. Un robot normal pourrait simplement attraper une boîte d'objages au hasard. TeachMateGPT utilise un outil spécial appelé COPE (Curriculum-Oriented Pedagogical Embedding - Plongement Pédagogique Orienté vers le Curriculum). Au lieu de simplement découper le texte en morceaux aléatoires, COPE comprend l'« arbre généalogique » du livre. Il sait qu'un « Chapitre » contient des « Leçons », qui contiennent des « Sections », qui contiennent des « Définitions ». Il construit une carte où chaque morceau d'information est lié à ses parents et à ses voisins. Si le robot a besoin de connaître un animal spécifique, il ne cherche pas seulement le mot « animal » ; il trouve tout le paragraphe expliquant où cet animal s'insère dans l'arbre généalogique de la vie. Cela garantit que le robot comprend le contexte, et pas seulement les mots.

2. Les gardiens (Les agents de routage)
Avant même que le robot ne cherche des réponses, une équipe d'agents « Gardiens » vérifie la demande de l'enseignant.

• L'Agent d'Intention demande : « Est-ce une vraie question de science, ou l'enseignant a-t-il juste dit "Bonjour" ? »
• L'Agent d'Ambiguïté demande : « La question est-elle claire ? Si l'enseignant dit "Fais un quiz sur les animaux", l'agent s'arrête et demande : "Quel chapitre ? Quel type d'animal ?" »
• L'Agent de Sécurité s'assure qu'aucune requête nuisible ou hors sujet ne passe.
  Si la requête est trop vague ou dangereuse, le système s'arrête poliment et demande plus de détails. Il refuse de deviner.

3. L'équipe de détectives (Récupération hybride)
Une fois la requête claire, le système part en chasse pour trouver des preuves. Il utilise deux types de recherche simultanément :

• Le Détective Sémantique : Cherche le sens des mots (par exemple, trouver « pluie acide » même si le texte dit « pluie à forte acidité »).
• Le Détective Lexical : Cherche des termes scientifiques exacts qui pourraient être manqués par la seule analyse du sens.
  Si le système trouve des preuves, il utilise une règle de « Échec Fermé » (Fail-Closed). C'est comme un professeur strict qui dirait : « Si tu n'as pas assez de preuves, tu as un zéro. » Si le système ne trouve pas assez de pages du manuel pour soutenir une question, il refuse simplement d'en générer une, plutôt que d'inventer quelque chose.

4. Les rédacteurs (Agents spécialistes)
Une fois les preuves rassemblées, différents « rédacteurs » prennent le relais.

• Le Spécialiste des QCM écrit des questions à choix multiples (comme « A, B, C ou D ? »).
• Le Spécialiste des Questions Créatives écrit les questions plus longues, basées sur des scénarios, courantes dans les examens nationaux (où un élève lit un scénario et répond à quatre parties).
  Ces rédacteurs sont contraints d'utiliser uniquement les preuves trouvées par les détectives. Ils ne peuvent pas utiliser leur propre « mémoire » pour inventer des faits.

5. L'inspecteur (SAVER)
Avant que le quiz ne soit remis à l'enseignant, un inspecteur final nommé SAVER (Source-Attributed Verification and Evidence Ranking) vérifie le travail. Il examine chaque question et pose trois questions :

1. Fidélité : As-tu réellement trouvé ce fait dans le manuel ?
2. Pertinence : Cela correspond-il à ce que l'enseignant a demandé ?
3. Risque d'hallucination : As-tu inventé quoi que ce soit ?
   Si le score est trop bas, le système signale la question pour que l'enseignant humain puisse l'examiner. Il ne la supprime pas automatiquement ; il dit simplement : « Hé, vérifie celle-ci, je ne suis pas sûr à 100 %. »

Qu'ont-ils découvert ?

Les chercheurs ont testé ce système en générant 198 questions de sciences (143 questions à choix multiples et 55 questions créatives) couvrant les 14 chapitres du manuel de classe 8. Ils ont ensuite demandé à trois professeurs de sciences de noter les résultats.

Les résultats sont assez impressionnants. Comparé à un système d'IA « classique » qui se contente de saisir du texte et d'écrire :

• La Fidélité (à quel point les faits sont vrais par rapport à la source) est passée de 0,68 à 0,96. Cela signifie que le nouveau système est presque parfaitement honnête sur l'origine de ses informations.
• La Pertinence de la Réponse (à quel point la réponse correspond à la question) est passée de 0,60 à 0,89.
• L'Utilité pour l'Enseignant (à quel point les enseignants ont trouvé les questions utiles) a grimpé en flèche, passant d'un score de 2,00 à 4,80 sur une échelle de 5.

L'étude a également montré que si l'on retire l'« Index Intelligent » (COPE), la qualité chute considérablement. Si l'on retire l'« Inspecteur » (SAVER), le système recommence à inventer des faits. Cela prouve que comprendre la structure du livre et double-vérifier le travail sont essentiels.

Les limites et l'avenir

Les auteurs précisent avec prudence ce que leur système ne peut pas encore faire.

• Il est uniquement textuel : Le système lit les mots du manuel, mais il a du mal avec les images. Si une question nécessite de regarder un diagramme de circuit ou de cellule, le système ne peut pas « voir » l'image. Il doit se fier à la description textuelle, ce qui peut faire manquer l'essentiel de la question visuelle.
• Il a besoin d'yeux humains : Le système est conçu pour être un assistant, pas un remplaçant. Il signale les questions pour que les enseignants les vérifient, mais il ne prend pas la décision finale. Les enseignants doivent toujours réviser le travail avant de le donner aux élèves.
• Spécifique à un livre : Ce système a été construit spécifiquement pour le manuel de sciences de la classe 8 au Bangladesh. Il pourrait ne pas fonctionner parfaitement pour un autre niveau, une autre matière ou le programme d'un autre pays sans modifications importantes.

En résumé, TeachMateGPT suggère qu'en donnant à l'IA une meilleure carte du manuel, une règle stricte pour ne pas deviner et un inspecteur intégré, nous pouvons créer un outil qui aide les enseignants à gagner du temps sans sacrifier la précision. C'est une étape vers un avenir où l'IA est un copilote fiable pour l'éducation, plutôt qu'un pilote automatique risqué.