💬 NLP

Toward a Benchmark for Controllable Simulation of Imperfect Students with Large Language Models

Cet article présente un cadre orienté vers les benchmarks pour l'utilisation de modèles de langage de grande taille afin de simuler des élèves maîtrisant de manière contrôlée et partielle des compétences, dans le but de soutenir la formation des enseignants, démontrant que si la rétention et la suppression sélectives des compétences sont réalisables, le degré de contrôle reste dépendant du modèle spécifique utilisé.

Auteurs originaux : Alexander Apartsin, Omri Sason, Yehudit Aperstein

Publié 2026-05-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Alexander Apartsin, Omri Sason, Yehudit Aperstein

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous formez un nouvel enseignant. Pour bien faire son travail, il doit s'entraîner avec des élèves qui commettent des erreurs spécifiques, oublient certaines choses et éprouvent des difficultés avec des concepts particuliers. Il ne peut pas simplement s'entraîner avec des génies parfaits ; il doit apprendre à gérer un élève qui sait additionner mais a oublié comment soustraire.

Ce document pose une grande question : Pouvons-nous utiliser une IA très intelligente (un grand modèle de langage) pour faire semblant d'être un élève « imparfait » sur commande ?

Voici le détail de ce que les chercheurs ont fait, en utilisant quelques analogies simples.

L'Objectif : L'élève « Caméléon »

Habituellement, lorsque nous demandons à une IA de résoudre des problèmes de mathématiques, nous voulons qu'elle soit parfaite. Nous voulons qu'elle obtienne un A+. Mais pour la formation des enseignants, nous avons besoin que l'IA soit un élève de « C moins » qui a spécifiquement oublié comment gérer les fractions, mais qui se souvient encore de la géométrie.

Les chercheurs voulaient voir s'ils pouvaient dire à une IA : « Fais semblant d'être un élève qui connaît la compétence A et la compétence B, mais qui a complètement oublié la compétence C. »

Le Défi : Pourquoi c'est difficile

Imaginez une IA comme une bibliothèque qui a lu tous les livres de mathématiques jamais écrits. Elle sait tout.

Le Problème : Si vous demandez à la bibliothèque d'« oublier » comment faire des fractions, il est difficile de l'empêcher d'utiliser ces connaissances. C'est comme essayer de dire à une personne qui aime le chocolat de le détester soudainement simplement parce que vous l'avez demandé gentiment. Les connaissances sont « ancrées » profondément à l'intérieur.
La Crainte : Si vous dites à l'IA d'oublier les fractions, oubliera-t-elle accidentellement aussi comment faire de la géométrie ? Ou va-t-elle simplement commencer à deviner au hasard ? Les chercheurs voulaient savoir s'ils pouvaient retirer chirurgicalement uniquement la compétence spécifique qu'ils voulaient que l'IA « oublie ».

L'Expérience : Le « Menu » des Compétences

Les chercheurs ont construit un test utilisant des problèmes de mathématiques pour les élèves de quatrième et de cinquième année. Ils ont traité les sujets de mathématiques (comme « Fractions » ou « Géométrie ») comme des articles sur un menu.

Le Profil : Ils ont créé un « profil d'élève » pour l'IA. C'était une liste où ils cochaient « Oui » pour les compétences que l'IA devait conserver et « Non » pour les compétences que l'IA devait oublier.
Les Instructions : Ils ont essayé trois façons de dire à l'IA quoi faire :
- Juste Dire : « Tu es un élève qui a oublié les fractions. »
- Juste Montrer : Donner à l'IA des exemples d'un élève faisant des erreurs.
- L'Hybride (Le Gagnant) : Dire à l'IA quoi oublier ET lui montrer comment commettre ces erreurs spécifiques.

Les Résultats : Qu'est-ce qui a fonctionné ?

Les chercheurs ont découvert que l'IA pouvait effectivement faire semblant d'être un élève imparfait, mais cela dépendait fortement de la manière dont ils le demandaient et de quel IA ils utilisaient.

L'Approche « Hybride » a Gagné : Dire simplement à l'IA d'oublier quelque chose ne suffisait pas. Montrer simplement des exemples ne suffisait pas. Mais lorsqu'ils faisaient les deux (la méthode Hybride), l'IA s'approchait beaucoup plus du rôle d'« élève imparfait ». C'était comme donner à un acteur de méthode à la fois un script et un passé ; la performance devenait beaucoup plus convaincante.
Toutes les IA ne se valent pas : Ils ont testé trois modèles d'IA différents (Claude, DeepSeek et GPT-4o).
- Claude était le meilleur « acteur ». Il pouvait suivre les instructions pour oublier des compétences spécifiques très bien sans gâcher les compétences qu'il était censé conserver.
- DeepSeek était très bon en mathématiques mais plus difficile à contrôler. Il continuait d'essayer de résoudre les problèmes correctement même lorsqu'on lui disait d'échouer.
- GPT-4o se situait quelque part au milieu.
Pas de « Dégâts Collatéraux » : Bonne nouvelle ! Lorsque l'IA a été invitée à oublier les « Fractions », elle n'a pas accidentellement oublié la « Géométrie ». L'oubli était localisé. C'était comme éteindre les lumières de la cuisine sans éteindre les lumières de la chambre.

La Conclusion

Ce document ne dit pas que nous avons déjà construit un élève virtuel parfait pour une salle de classe. Il dit quelque chose de plus spécifique : Nous avons prouvé que nous pouvons créer un « référentiel » pour tester si une IA peut oublier sélectivement des choses.

Ils ont créé un moyen de mesurer si une IA peut être « orientée » pour être imparfaite d'une manière contrôlée. C'est une première étape cruciale. Avant de pouvoir utiliser l'IA pour former des enseignants, nous devons d'abord prouver que l'IA peut réellement faire semblant d'être un élève avec des faiblesses spécifiques, plutôt que d'être simplement un robot parfait qui refuse de faire des erreurs.

En résumé : Les chercheurs ont construit un test pour voir s'ils pouvaient apprendre à une IA à « faire l'idiote » sur des sujets spécifiques. Ils ont découvert qu'avec les bonnes instructions, l'IA peut le faire, mais c'est un acte délicat qui dépend de l'IA que vous utilisez.

Résumé technique : Vers un référentiel pour la simulation contrôlable d'élèves imparfaits avec des modèles de langage de grande taille

1. Formulation du problème

Le problème central abordé est la simulation contrôlable d'élèves imparfaits à l'aide de modèles de langage de grande taille (LLM) pour la pratique délibérée des enseignants. La formation actuelle des enseignants manque souvent d'accès à des interactions standardisées et répétables avec des apprenants présentant une maîtrise partielle spécifique et connue (par exemple, conservant certaines compétences tout en oubliant d'autres).

L'article identifie un désalignement fondamental entre l'évaluation standard des LLM et les objectifs de simulation éducative :

Paradigme standard : Maximise la précision du référentiel (priorité à la performance).
Exigence de simulation : Spécifie un profil de comportement (priorité à la spécification). L'objectif n'est pas un assistant uniformément capable, mais un modèle qui conserve de manière fiable des compétences curriculaires spécifiques tout en supprimant d'autres.

Les auteurs distinguent cela de l'« oubli de faits » (désapprentissage machine de faits discrets) et du « contrôle de la persona » (cohérence narrative). Ils ciblent plutôt le contrôle du profil de compétences : la capacité à induire un motif cohérent de maîtrise partielle à travers des familles de tâches apparentées (par exemple, résoudre des équations linéaires) tout en minimisant les dommages collatéraux aux compétences non ciblées. La question de recherche centrale est de savoir si les LLM sollicités peuvent être orientés pour se comporter comme des élèves possédant des vecteurs de compétences spécifiés (conservées vs oubliées) avec une fidélité mesurable.

2. Méthodologie

2.1 Conception du référentiel : MathCAMPS

L'étude utilise MathCAMPS, un ensemble de données aligné sur le curriculum, basé sur les normes Common Core américaines.

Structure : Huit ensembles de données par niveau scolaire (de la 1re à la 8e année), chacun contenant 100 questions à choix multiples équilibrées entre les domaines de compétences.
Granularité : L'analyse détaillée se concentre sur les niveaux 4 et 5.
- Niveau 4 : 4 familles de compétences (Mesure et Données ; Nombres et Opérations de base ; Fractions ; Opérations et Algèbre).
- Niveau 5 : 3 familles de compétences (Nombres et Opérations de base ; Fractions ; Opérations et Algèbre).
Construction des items : Des problèmes mathématiques en format ouvert ont été convertis en items à choix multiples à quatre options avec des distracteurs conceptuellement plausibles. Les items ambigus ont été remplacés pour garantir la qualité.

2.2 Cadre d'élèves génératifs contrôlables

Le cadre définit un élève simulé via un vecteur de compétences binaire $\mathbf{k} \in \{0,1\}^K$ , où $1$ indique une compétence conservée et $0$ indique une compétence supprimée (oubliée).

Stratégies de sollicitation : Trois conditions ont été testées pour imposer le profil :
1. Instructions uniquement : Contraintes explicites pour répondre correctement aux compétences conservées et incorrectement aux compétences supprimées.
2. Exemples uniquement : Démonstrations de comportements corrects et incorrects (récupérées à partir de fichiers externes pour prévenir les fuites).
3. Hybride : Intégration d'instructions explicites avec des démonstrations concrètes.
Modèles évalués : Trois familles de modèles de pointe : Claude (Anthropic), DeepSeek (orienté raisonnement) et GPT-4o (OpenAI). Tous ont utilisé un décodage déterministe ( $T=0$ ).

2.3 Métriques d'évaluation

L'article introduit des métriques pour séparer la contrôlabilité de la capacité brute :

Perte relative : Mesure la baisse proportionnelle de performance pour les compétences oubliées par rapport à une référence d'élève parfait.
Racine de l'erreur quadratique moyenne (RMSE) : Quantifie l'écart entre le profil binaire visé et le profil de performance continu observé.
Score de contrôlabilité ( $C$ ) : Récompense une haute précision sur les compétences conservées et une faible précision sur les compétences oubliées.
Influence inter-compétences : Analysée via des matrices de corrélation de Pearson et un calibrage multivarié pour détecter si la suppression d'une compétence dégrade involontairement les autres (interférence).
Score de prédiction : Compare la précision observée des compétences conservées par rapport à une attente théorique dérivée d'un modèle de calibrage gaussien.

3. Contributions clés

Formulation du référentiel : Un cadre novateur pour le contrôle de la maîtrise partielle utilisant des vecteurs de compétences binaires explicites pour spécifier les compétences conservées et oubliées.
Mécanisme basé sur la sollicitation : Un mécanisme de profil d'élève démontrant que le comportement des LLM peut être orienté vers une conservation et une suppression sélectives.
Cadre d'évaluation : Une suite de métriques (RMSE, séparation conservé-vs-oublié, diagnostics de calibrage) conçue pour isoler la contrôlabilité de la capacité de base du modèle.
Étude empirique : Une analyse comparative des stratégies de sollicitation et des familles de modèles dans un contexte mathématique aligné sur le curriculum.

4. Résultats

4.1 Efficacité de la stratégie de sollicitation

La sollicitation hybride (instructions + exemples) était la seule stratégie à atteindre un alignement proche avec les profils cibles.

RMSE : La sollicitation hybride a réduit le RMSE à 0,08 (Niveau 4) et 0,12 (Niveau 5).
Comparaison : Les stratégies « instructions uniquement » et « exemples uniquement » ont entraîné des taux d'erreur significativement plus élevés (0,46–0,59), indiquant que ni les contraintes ni les démonstrations seules ne suffisent pour un contrôle précis.

4.2 Indépendance inter-compétences

Corrélation : Les corrélations inter-compétences étaient faibles (Niveau 4 $\approx$ -0,10 ; Gamme Niveau 5 de -0,10 à -0,24).
Implication : La suppression ciblée est restée largement localisée ; oublier une compétence n'a pas automatiquement provoqué un effondrement global de la performance sur l'ensemble des compétences.

4.3 Performance des modèles et contrôlabilité

La contrôlabilité s'est révélée dépendante du modèle :

Claude : A démontré la plus forte contrôlabilité, atteignant la plus faible précision pour les compétences oubliées (proche de 0,00 pour certaines compétences) et l'écart le plus large entre les performances conservées et oubliées.
DeepSeek : A montré une forte capacité de base en mathématiques mais une plus grande résistance à la suppression (conservant une performance résiduelle substantielle sur les compétences oubliées).
GPT-4o : A présenté des résultats mitigés, avec une suppression inégale entre les domaines et des erreurs de calibrage plus importantes, en particulier au niveau 4.

4.4 Visualisation du contrôle sélectif

L'analyse au niveau du profil a confirmé que les modèles pouvaient effondrer sélectivement les compétences ciblées tout en préservant les autres. Par exemple, un profil exigeant la conservation de la « Mesure » et de l'« Algèbre » tout en supprimant les « Fractions » a entraîné une haute précision pour les premières et une précision proche de zéro pour les secondes, plutôt qu'une dégradation uniforme de toutes les compétences.

5. Importance et affirmations

L'article positionne la simulation d'apprenants contrôlable comme un problème de recherche distinct à l'intersection de la formation des enseignants, de la simulation éducative et du contrôle des modèles de langage.

Affirmation principale : Le contrôle basé sur la sollicitation peut produire une maîtrise partielle mesurable au niveau des réponses dans un référentiel mathématique structuré. Il est possible d'orienter un LLM pour qu'il se comporte comme un élève possédant un écart de compétences spécifique sans s'effondrer en un agent uniformément faible ou uniformément fort.
Implication éducative : Cette capacité est une condition préalable nécessaire pour simuler des apprenants dans le cadre de la pratique délibérée des enseignants, où l'exposition à des conceptions erronées spécifiques et répétables est plus précieuse qu'une correction générique.
Modestie de la portée : Les auteurs déclarent explicitement que ce travail ne valide pas un simulateur d'élèves complet destiné à la classe. L'évaluation se limite à la sélection de réponses à choix multiples, et non au dialogue de tutorat, à la qualité des explications ou aux récits de conceptions erronées. Le cadre aborde le « problème de référentiel plus étroit » de la contrôlabilité au niveau des compétences plutôt que le problème plus large de la construction d'un élève virtuel entièrement pédagogique.
Limites : L'étude reconnaît que la contrôlabilité varie selon l'architecture du modèle et la famille de compétences, que l'hypothèse de maîtrise binaire simplifie excessivement l'apprentissage continu, et que l'évaluation actuelle ne couvre pas les interactions en libre arbitre ni d'autres domaines disciplinaires.

En conclusion, l'article établit que si les LLM ne sont pas encore des agents pédagogiques parfaits, ils peuvent être configurés via une sollicitation hybride pour présenter une maîtrise partielle sélective, fournissant un référentiel fondamental pour les développements futurs dans les simulations de formation des enseignants.