Résumé technique : Les modèles de langage visuel peuvent-ils être adaptatifs dans l'éducation mathématique ? Une étude de grille d'évaluation basée sur un modèle d'apprenant

1. Énoncé du problème

Bien que les modèles de langage visuel (VLM) soient de plus en plus adoptés en tant qu'agents de tutorat personnalisé dans l'éducation mathématique, il existe une lacune critique dans l'évaluation systématique de leur capacité à s'adapter à des profils d'apprenants diversifiés. Les VLM actuels fonctionnent principalement comme des « résolveurs » privilégiant l'exactitude de la réponse plutôt que comme des « agents éducatifs » fournissant un guidage pédagogiquement transparent aligné sur la Zone de Développement Proximal de l'apprenant.

Les paradigmes d'évaluation existants reflètent largement les paramètres des environnements textuels uniquement, se concentrant sur l'exactitude des réponses aux questions visuelles tout en négligeant la qualité du raisonnement pédagogique et la capacité d'adapter le guidage en fonction du contexte de l'apprenant (par exemple, connaissances antérieures, attitude d'apprentissage, auto-efficacité). De plus, lorsque les apprenants ne partagent pas explicitement des données de performance détaillées, il reste incertain de savoir si les VLM peuvent inférer des profils d'apprenants ou générer des réponses pédagogiques véritablement appropriées et différenciées. Cet article comble le manque d'évaluation quant à savoir si les VLM peuvent démontrer des capacités d'instruction adaptative dans des tâches de tutorat mathématique ancrées visuellement.

2. Méthodologie

2.1 Grille d'évaluation basée sur un modèle d'apprenant

Les auteurs proposent une nouvelle grille ancrée dans le cadre de l'apprentissage adaptatif (Shute et Towle, 2018) et les caractéristiques des apprenants identifiées par Bernacki et al. (2021). La grille formalise l'évaluation de l'adaptativité en trois dimensions principales :

1. Adaptativité : Le point central de l'évaluation, subdivisé en :
   • Aspects cognitifs : Connaissances actuelles, portée du contenu (alignée sur les Common Core State Standards) et niveau de difficulté.
   • Aspects motivationnels : Attitude d'apprentissage et auto-efficacité.
   • Complexité : Explication du sens de la question, fourniture d'exemples, pratique supplémentaire et indices étape par étape.
2. Exactitude : Évalue la validité mathématique de la réponse finale et du raisonnement de la solution (Q10–Q12).
3. Qualité : Évalue la qualité de la génération, y compris les hallucinations, la cohérence logique, la fidélité aux instructions et le formatage (Q13–Q19).

2.2 Conception expérimentale

• Jeu de données : Un jeu de données stratifié de 10 questions mathématiques représentatives (5 de 4e année, 5 de 8e année) tirées de l'Étude internationale des tendances en mathématiques et en sciences (TIMSS) 2019 et 2023. 90 % des items sont ancrés visuellement (nécessitant une interprétation diagrammatique).
• Profils d'apprenants : Six profils synthétiques construits à partir des statistiques TIMSS, variant selon le niveau scolaire (4/8), le niveau de performance (Élevé, Intermédiaire, Faible), l'attitude d'apprentissage et la confiance auto-déclarée.
• Conditions de contexte : Quatre groupes de test ($C_1$ à $C_4$) avec des informations spécifiques à l'apprenant croissant de manière monotone :
  • $C_1$ : Question de mathématiques uniquement.
  • $C_2$ : Question + Invite utilisateur (attitude/confiance).
  • $C_3$ : Question + Invite système (objectifs de niveau) + Invite utilisateur.
  • $C_4$ : Question + Invite système + Invite utilisateur + Profil complet de l'apprenant (incluant les scores TIMSS).
• Modèles évalués : Cinq VLM de pointe (GPT-5, GPT-o1, Gemini-2.5-Flash, Llama3.2-11B-VL, Qwen3-30B-VL).
• Annotation : Quatre experts du domaine ont annoté 600 réponses de modèles en utilisant la grille. L'accord inter-évaluateurs était fort ($\kappa = 0,87$).

3. Résultats clés

3.1 Performance en adaptativité

• Variation entre modèles : Il existe des différences significatives en matière d'adaptativité entre les modèles ($F(4, 705) = 41,81, p < .001$). Gemini-2.5-Flash et Qwen3-30B-VL ont obtenu des scores d'adaptativité significativement plus élevés que GPT-5, GPT-o1 et Llama3.2-11B-VL.
• Insensibilité au profil d'apprenant : Les scores d'adaptativité n'ont montré aucune association significative avec les niveaux de performance des apprenants ($p = .18$). Les modèles ont tendance à adopter par défaut un style pédagogique « unique pour tous », échouant à différencier les stratégies pédagogiques en fonction des besoins spécifiques de l'apprenant (par exemple, apprenants à haute performance vs apprenants à faible performance).
• Sensibilité au contexte : L'adaptativité s'est améliorée de manière significative avec la disponibilité de plus d'informations contextuelles ($F(3, 708) = 92,73, p < .001$). Le groupe 1 (question uniquement) a obtenu des scores significativement inférieurs aux groupes 2 à 4. Cependant, même avec un contexte complet, les modèles ont eu du mal à produire de manière cohérente des réponses basées sur le modèle d'apprenant.

3.2 Exactitude et qualité

• Exactitude : Principalement déterminée par les différences entre les modèles ($p < .001$). Gemini-2.5-Flash et les modèles basés sur GPT ont surpassé Llama3.2-11B-VL. L'exactitude était robuste à travers les profils d'apprenants, suggérant que les modèles ont soit atteint un plafond de performance avec des invites de base, soit ignoré les invites système supplémentaires.
• Qualité : Une variance significative existait entre les modèles ($p < .001$). Llama3.2-11B-VL a produit un nombre significativement plus élevé d'erreurs. Qwen3-30B-VL a obtenu la moyenne d'adaptativité la plus élevée mais a souffert en termes d'exactitude et de qualité en raison de générations excessivement longues qui étaient souvent tronquées ou incomplètes.

3.3 Observations spécifiques

• Négligence motivationnelle : Les modèles ont montré une adaptation minimale aux attitudes des apprenants et à l'auto-efficacité. Par exemple, GPT-o1 a abordé les préoccupations liées à l'auto-efficacité dans seulement 8 % des cas applicables.
• Désalignement des connaissances : La fourniture d'informations de fond sur l'apprenant ne garantissait pas un feedback approprié. Dans certains cas, les modèles fournissaient des explications plus détaillées aux apprenants à haute performance qu'aux apprenants intermédiaires qui nécessitaient plus d'étayage.
• Échecs multimodaux : Les items de géométrie posaient des défis significatifs. Les modèles confondaient fréquemment les étiquettes d'options avec des valeurs numériques (par exemple, répondre « 6 kg » au lieu de « D ») ou hallucinaient des informations à partir de diagrammes, conduisant à de faibles scores d'exactitude malgré un raisonnement plausible.

4. Contributions clés

1. Grille d'évaluation basée sur un modèle d'apprenant : La proposition d'un cadre d'évaluation systématique qui dissocie l'intention pédagogique (adaptativité) de la précision technique (exactitude/qualité), ancré dans des dimensions cognitives, motivationnelles et de complexité.
2. Jeu de données d'évaluation synthétique : Construction d'un jeu de données annoté par des humains basé sur des items TIMSS, intégrant des profils d'apprenants divers et des conditions contextuelles contrôlées pour simuler des scénarios de tutorat réalistes.
3. Analyse empirique : Analyse directe de cinq VLM de pointe, révélant que bien que les modèles montrent une certaine sensibilité au contexte, leur comportement adaptatif reste limité et incohérent, en particulier concernant les facteurs motivationnels et l'étayage différencié.

5. Signification et affirmations

L'article affirme que si les VLM montrent des promesses en tant qu'outils éducatifs, ils manquent actuellement de l'étayage nuancé requis pour un véritable apprentissage adaptatif. L'étude met en évidence un écart entre les réponses de tutorat génériques et une instruction véritablement adaptative qui s'aligne sur le contexte académique spécifique et l'état psychologique de l'apprenant.

Les auteurs positionnent ce travail comme une évaluation de référence. Ils déclarent explicitement qu'une réponse classée comme « adaptative » dans cette étude ne représente pas nécessairement une réponse adaptative de haut niveau et de haute qualité. La signification réside dans la fourniture d'un outil principiel pour comparer systématiquement les capacités adaptatives et identifier que les modèles actuels reviennent souvent à des scripts génériques lorsque le contexte critique est introduit ou supprimé. Ce travail souligne la nécessité de méthodologies d'évaluation qui privilégient l'alignement pédagogique avec les apprenants pour guider le développement de modèles multimodaux plus ancrés dans l'éducation.

6. Limites

Les auteurs reconnaissent plusieurs limites :

• Les questions de la grille pour l'adaptativité ne sont pas exhaustives (par exemple, variables affectives et socio-culturelles manquantes).
• Le nombre limité d'items mathématiques peut entraîner une couverture insuffisante de l'adaptativité pédagogique.
• L'étude a utilisé des profils d'apprenants simulés plutôt que de vrais élèves, manquant potentiellement des comportements d'apprentissage complexes inhérents à l'interaction humain-IA.
• La grille sert de référence ; elle n'évalue pas la profondeur ou la sophistication des stratégies adaptatives au-delà des critères définis.