Résumé technique : BEAGLE – Agent à contrainte comportementale pour l'émulation d'apprenants ancrés

Énoncé du problème

L'avancement de l'intelligence artificielle générative dans l'éducation repose fortement sur des données authentiques d'élèves pour entraîner, évaluer et affiner des modèles pédagogiques. Cependant, l'acquisition de telles données est entravée par des réglementations strictes en matière de confidentialité (par exemple, FERPA, GDPR), les coûts élevés des études longitudinales et les préoccupations éthiques concernant les interventions auprès de véritables mineurs. Bien que les grands modèles de langage (LLM) offrent une solution potentielle pour simuler les comportements des élèves, ils souffrent d'un biais de compétence fondamental. Les LLM optimisés par préférence sont conçus pour la qualité et l'efficacité des résultats, ce qui les amène à générer des solutions linéaires et correctes même lorsqu'ils sont invités à agir en tant que novices. Cela se traduit par trois types spécifiques d'infidélité :

1. Infidélité comportementale : Les LLM évitent les cycles itératifs d'essais et d'erreurs (par exemple, les boucles de débogage persistantes) caractéristiques de l'apprentissage autorégulé (SRL).
2. Infidélité épistémique : Les LLM agissent comme des « experts masqués », possédant souvent la perspicacité pour diagnostiquer des erreurs qu'ils ne devraient pas connaître, échouant ainsi à simuler la « malédiction de l'incompétence » (inconnus inconnus).
3. Infidélité perceptive : L'entraînement par RLHF aplatit la diversité des sorties, échouant à capturer le bruit et la variance émotionnelle de l'expression authentique des élèves.

Méthodologie : Le cadre BEAGLE

BEAGLE (Agent à contrainte comportementale pour l'émulation d'apprenants ancrés) est un cadre neuro-symbolique conçu pour surmonter le biais de compétence grâce à des contraintes architecturales plutôt qu'au seul ingénierie de prompts. Il fonctionne comme un système sans entraînement utilisant des modèles de langage (LLM) figés, intégrant trois sous-systèmes couplés :

1. Contrôle symbolique (Le « Gouverneur »)

Ce sous-système impose les dynamiques temporelles et structurelles de l'apprentissage basées sur la théorie de l'apprentissage autorégulé (SRL).

• Dynamiques semi-markoviennes : Contrairement aux modèles markoviens standards qui imposent des distributions de durée géométriques, BEAGLE utilise un contrôleur semi-markovien avec des durées distribuées selon une loi Gamma. Cela capture la persistance irrégulière des vrais élèves (par exemple, rester « coincé » dans un état) et régit les transitions entre les comportements métacognitifs (Planification, Mise en œuvre, Surveillance, Réflexion) et les comportements cognitifs (Construction, Débogage, Évaluation).
• Injection explicite de défauts (EFI) et traçage bayésien des connaissances (BKT) : Pour simuler les « inconnus inconnus », BEAGLE combine le BKT avec l'EFI. Le BKT suit la probabilité de maîtrise de composants de connaissances (KC) spécifiques. Lorsqu'un KC n'est pas maîtrisé, l'EFI bloque l'accès de l'agent à ce concept dans son vocabulaire. L'agent est forcé d'improviser des solutions incorrectes ou de rester confus, empêchant ainsi le LLM de tirer parti de ses connaissances d'expert latentes pour « tricher ».
• Filtrage des observations : Le feedback est filtré par l'état métacognitif de l'agent. Pendant les états impulsifs de « Mise en œuvre », les traces d'erreur sont censurées, forçant l'agent à s'engager dans des essais et erreurs réalistes plutôt que dans un diagnostic immédiat.

2. Action neuronale (L'« Acteur »)

Ce sous-système utilise une architecture Stratège/Exécuteur pour découpler la planification de haut niveau de la génération de code, empêchant ainsi l'autocorrection silencieuse.

• Stratège : Synthétise un plan de haut niveau composé d'un Objectif, d'une Mentalité et d'une Directive basé sur l'état symbolique actuel. Il agit comme un monologue intérieur.
• Exécuteur : Génère l'action finale (code et monologue) strictement conditionnée par la directive du Stratège. Crucialement, l'Exécuteur est contraint de mettre en œuvre la directive même si elle est défectueuse ; il ne peut pas remplacer le plan par une solution « meilleure ». Cette séparation architecturale garantit que l'agent suit le chemin de raisonnement défectueux d'un novice plutôt que de le corriger.

3. Environnement

L'environnement exécute le code généré dans un bac à sable Python (Oracle IDE) et fournit des observations filtrées à l'agent. Il met à jour les probabilités de maîtrise du BKT uniquement pendant les états d'évaluation consciente (Surveillance/Réflexion), reflétant la façon dont les humains consolident les connaissances.

Contributions clés

1. Architecture novatrice : Le premier système à imposer conjointement les dynamiques comportementales (via un contrôle semi-markovien) et les contraintes de connaissances (via BKT + EFI) pour simuler des apprenants novices.
2. Conception d'agent découplée : La séparation Stratège/Exécuteur empêche efficacement l'« autocorrection silencieuse » courante dans les LLM, en imposant une fidélité épistémique en obligeant l'agent à mettre en œuvre des plans défectueux.
3. Injection explicite de défauts : Un mécanisme pour simuler les « inconnus inconnus » en bloquant de manière déterministe l'accès à des concepts spécifiques, forçant l'agent à improviser plutôt qu'à accéder à des connaissances d'expert latentes.
4. Évaluation complète : Une évaluation rigoureuse sur quatre tâches (trois simulations de physique en distribution, une tâche de mathématiques hors distribution), six modèles de langage (LLM) de pointe et neuf lignes de base.

Résultats

BEAGLE a été évalué sur des métriques de fidélité comportementale, épistémique et perceptive :

• Fidélité comportementale : BEAGLE a considérablement réduit la divergence de KL ($D_{KL}$) entre les distributions de comportements cognitifs simulés et réels (0,31 contre $\ge$ 0,53 pour les lignes de base). Il a reproduit avec succès les boucles itératives de débogage (transitions C$\leftrightarrow$D) que les lignes de base contournaient systématiquement.
• Fidélité épistémique : BEAGLE a atteint un taux de récurrence des erreurs de 86,2 %, correspondant étroitement à la « malédiction de l'incompétence » où les novices luttent répétitivement contre les mêmes erreurs. En revanche, les lignes de base comme les LLM bruts résolvaient les erreurs immédiatement (7,8 % de récurrence).
• Fidélité perceptive (Test de Turing humain) : Dans une étude avec N=71 participants (incluant des élèves, des professionnels et des éducateurs), les participants ne pouvaient pas distinguer de manière fiable les traces de BEAGLE des données réelles d'élèves. La précision de classification était de 52,8 %, statistiquement équivalente au hasard ($p=0,053$). L'analyse par la théorie de la détection de signal a donné un indice de discriminabilité de $d' = 0,15$, et le test d'équivalence (TOST) a confirmé que les traces étaient perceptivement indiscernables des données réelles ($p_{TOST} = 0,038$).
• Généralisation : Le cadre a maintenu une haute fidélité à travers différents modèles de langage (Gemini, GPT, Claude) et des tâches hors distribution (Descente de gradient), démontrant que les contraintes architecturales se généralisent au-delà des capacités spécifiques des modèles.

Signification et revendications

L'article affirme que BEAGLE représente une avancée significative dans la génération d'élèves synthétiques en passant au-delà de l'adoption de personas basée sur les prompts vers une imposition architecturale de la théorie de l'apprentissage. En simulant avec succès la « lutte » de l'apprentissage — y compris les erreurs persistantes, le manque de perspicacité sur soi-même et la résolution de problèmes non linéaire — BEAGLE permet une recherche éducative par IA évolutive et éthique. Il permet aux chercheurs de tester les interventions pédagogiques et d'entraîner des systèmes de tutorat adaptatifs sans les risques et les coûts associés à l'expérimentation sur de vrais élèves. Les auteurs notent que, bien qu'un biais de compétence résiduel existe sur les modèles les plus puissants, le cadre fournit une fondation principielle pour les travaux futurs dans les classes multi-agents et le contrôle symbolique adaptatif aux capacités.