Résumé technique : Les grands modèles de langage approchent la qualité pédagogique experte en tutorat de mathématiques mais diffèrent par leurs profils instructifs et linguistiques

Énoncé du problème

Bien que les grands modèles de langage (LLM) soient de plus en plus déployés pour générer des réponses de tutorat en mathématiques, il reste incertain dans quelle mesure leur comportement instructif s'aligne sur la pratique humaine experte. Des recherches antérieures ont établi que les LLM présentent des régularités linguistiques systématiques distinctes de l'écriture humaine et que les tuteurs humains surpassent souvent les LLM dans l'identification et la correction des erreurs conceptuelles. Cependant, la littérature existante traite largement les différences linguistiques et l'efficacité pédagogique comme des domaines séparés. Il manque de travaux empiriques reliant les caractéristiques linguistiques mesurables des réponses de tutorat à la qualité pédagogique, tant pour les tuteurs humains que pour les LLM, en particulier dans le contexte de la remédiation des erreurs. Cette étude comble cette lacune en analysant comment les stratégies instructives et les profils linguistiques diffèrent entre les tuteurs experts, les tuteurs novices et les LLM, et comment ces facteurs se corrèlent avec la qualité pédagogique perçue.

Méthodologie

Données

L'étude utilise un jeu de données issu de la tâche partagée BEA 2025 sur l'évaluation des capacités pédagogiques des tuteurs alimentés par l'IA. Le jeu de données comprend 296 dialogues de remédiation en mathématiques de niveau collège et élémentaire. Pour chaque dialogue, les réponses ont été générées par :

• Tuteurs humains : Un tuteur expert et un tuteur novice.
• LLM : Sept modèles de tailles et d'architectures variées, notamment GPT-4, Gemini, Sonnet (Anthropic), Mistral 7B, Llama-3.1-405B, Llama-3.1-8B et Phi-3.
• Total des réponses : 2 444 réponses de tuteurs.

Annotations et caractéristiques

Qualité pédagogique : Les réponses ont été annotées selon quatre dimensions utilisant une échelle à trois niveaux (Oui, Dans une certaine mesure, Non) :

1. Identification de l'erreur
2. Localisation de l'erreur
3. Fourniture d'orientations
4. Actionnabilité
   Ces dimensions ont été converties en valeurs numériques (2, 1, 0) et sommées pour créer un score composite de qualité pédagogique.

Caractéristiques instructives et linguistiques :

• Mouvements instructifs : Dérivés de la théorie du discours responsable, trois caractéristiques ont été extraites à l'aide d'un modèle de classification de paires de textes basé sur un transformateur (RoBERTa entraîné sur le jeu de données TalkMoves) :
  • Insistance sur la précision : Remise en question de la justesse de la réponse.
  • Insistance sur le raisonnement : Sollicitation d'une explication ou d'une justification.
  • Récupération (Reformulation/Reformulation) : Reformulation de la réponse de l'apprenant.
• Caractéristiques linguistiques :
  • Longueur de la réponse : Nombre de tokens transformé par logarithme.
  • Diversité lexicale : Mesurée via la mesure de diversité lexicale textuelle (MTLD).
  • Lisibilité : Score de facilité de lecture Flesch–Kincaid.
  • Politesse : Sortie probabiliste d'un classificateur basé sur un transformateur détectant des marqueurs pragmatiques.
  • Agentivité : Sortie probabiliste d'un modèle estimant l'expression agentique (intention, contrôle, orientation vers l'action).

Stratégie analytique

L'analyse a abordé trois questions de recherche :

1. RQ1 (Différences) : Comparaison des différences moyennes dans les caractéristiques instructives et linguistiques entre les LLM, les tuteurs novices et les tuteurs experts (référence).
2. RQ2 (Qualité) : Évaluation de la qualité pédagogique relative en calculant les écarts par rapport à la moyenne au niveau du tour de parole pour tous les tuteurs répondant à la même erreur d'élève.
3. RQ3 (Associations) : Estimation d'un modèle linéaire à effets fixes au niveau de la conversation pour prédire la qualité pédagogique relative à partir des caractéristiques instructives et linguistiques. Cette approche a contrôlé les variables contextuelles non observées (par exemple, la difficulté de la tâche) en centrant les variables autour de leur moyenne au sein de chaque conversation.

Contributions clés

1. Caractérisation des différences : L'étude caractérise systématiquement les différences dans les stratégies instructives et les caractéristiques linguistiques entre les tuteurs experts, les tuteurs novices et un ensemble diversifié de LLM répondant à des invites identiques.
2. Comparaison de la qualité : Elle fournit une analyse comparative de la qualité pédagogique perçue entre ces groupes de tuteurs, en contrôlant le contexte instructif.
3. Association des caractéristiques : Elle identifie des stratégies instructives et des caractéristiques linguistiques spécifiques qui sont positivement ou négativement associées à la qualité pédagogique, distinguant les caractéristiques qui favorisent la qualité de celles qui ne le font pas.

Résultats

Profils instructifs et linguistiques (RQ1)

• Mouvements instructifs : Les LLM ont généralement présenté des niveaux plus faibles d'« insistance sur le raisonnement » et d'« insistance sur la précision » par rapport aux tuteurs experts. En revanche, les LLM ont montré une prévalence plus élevée de « reformulation/reprise » que les experts et les novices.
• Longueur et diversité : Les réponses des LLM étaient substantiellement plus longues et présentaient une diversité lexicale (MTLD) plus élevée que celles des tuteurs experts. Les tuteurs novices ont produit des réponses plus courtes avec une diversité lexicale plus faible.
• Lisibilité : Les réponses des LVM ont obtenu des scores significativement plus bas sur les métriques de lisibilité (Flesch–Kincaid) que les tuteurs experts, indiquant des exigences de traitement cognitif plus élevées. Les tuteurs novices étaient plus proches des experts en termes de lisibilité.
• Politesse et agentivité : Les LLM ont démontré des scores de politesse plus élevés que les experts. Les schémas d'agentivité variaient ; certains LVM montraient une agentivité plus faible, tandis que les novices montraient une agentivité plus élevée que les experts.

Qualité pédagogique (RQ2)

• Expert vs Novice : Les tuteurs experts ont constamment obtenu des scores positifs de qualité pédagogique relative, tandis que les tuteurs novices ont montré des écarts négatifs.
• Performance des LLM : Les LVM couvraient une large gamme. Les modèles plus grands (par exemple, Llama-3.1-405B, Mistral, Claude Sonnet) approchaient en moyenne la qualité pédagogique relative des tuteurs experts. Les modèles plus petits ou moins performants (par exemple, Phi-3) présentaient des écarts négatifs similaires à ceux des tuteurs novices.

Associations avec la qualité (RQ3)

L'analyse de régression a révélé les associations suivantes avec la qualité pédagogique perçue :

• Associations positives :
  • Insistance sur la précision ($\beta = 0,586$)
  • Diversité lexicale (MTLD) ($\beta = 0,649$)
  • Reformulation/Reprise ($\beta = 0,346$)
  • Insistance sur le raisonnement ($\beta = 0,209$)
• Associations négatives :
  • Agentivité ($\beta = -0,693$)
  • Politesse ($\beta = -0,160$)
• Aucune association significative :
  • Lisibilité
  • Longueur de la réponse

Importance et affirmations

L'article soutient que la qualité pédagogique est mieux comprise comme une propriété des caractéristiques au niveau de la réponse plutôt que de l'identité du tuteur (humain vs IA). Les résultats suggèrent que le feedback efficace repose moins sur la complexité linguistique ou l'affirmation de soi, et davantage sur la manière dont les choix linguistiques s'alignent avec la fonction instructive.

Plus précisément, l'étude met en évidence que, bien que les grands LLM puissent approcher la performance experte en termes de qualité globale, ils présentent des écarts systématiques dans leurs profils instructifs. Ils ont tendance à sous-utiliser les stratégies discursives critiques (insistance sur la précision/le raisonnement) tout en surutilisant d'autres (reprise) et en générant des réponses plus longues, plus diversifiées sur le plan lexical et plus polies. L'association négative de la politesse et de l'agentivité avec la qualité pédagogique suggère qu'un langage trop accommodant ou « flatteur » peut obscurcir les signaux instructifs et affaiblir le feedback correctif.

Les auteurs concluent que pour les tuteurs basés sur les LLM, l'optimisation devrait se concentrer sur la reproduction de combinaisons spécifiques de caractéristiques associées à une qualité pédagogique plus élevée (par exemple, insister sur le raisonnement, reformuler) plutôt que sur l'augmentation simple de l'expressivité linguistique ou l'imitation des tuteurs humains. Ces perspectives offrent une voie pour rendre les LLM plus conscients de la pédagogie et plus orientables.

Limites

Les auteurs reconnaissent plusieurs limites :

• Le jeu de données, bien que suffisant pour les comparaisons au sein d'un tour de parole, pourrait bénéficier d'une échelle plus large pour une analyse plus fine.
• Les résultats reflètent le comportement des modèles sous des configurations d'invites spécifiques et peuvent ne pas représenter la limite supérieure des capacités des LLM.
• L'ensemble de caractéristiques est sélectif ; d'autres aspects tels que la structure du discours ou la spécificité mathématique n'ont pas été examinés.
• L'étude se limite aux interactions en langue anglaise dans un contexte de mathématiques.
• La qualité pédagogique est évaluée via des annotations structurées de réponses à un seul tour, et non par des résultats d'apprentissage des élèves en aval.