When alignment is not agreement: Construct-specific validation of large language models for CAF measurement in L2 writing

Dans le monde de l'apprentissage d'une langue seconde, les enseignants et les chercheurs s'appuient depuis longtemps sur un cadre tripartite pour comprendre la qualité de l'écriture d'un étudiant. Ils examinent la complexité, qui correspond à la sophistication et à la variété des structures de phrases ; l'exactitude, qui mesure la liberté de l'écriture face aux erreurs grammaticales ; et la fluidité, qui compte le nombre de mots qu'un étudiant produit en une seule unité de pensée. Pendant des décennies, la mesure de ces traits nécessitait qu'un expert humain lise chaque phrase, compte les propositions et signale chaque erreur, un processus lent, coûteux et difficile à reproduire de manière cohérente. Aujourd'hui, l'intelligence artificielle offre une nouvelle possibilité. Les modèles de langage de grande taille, ces mêmes systèmes informatiques puissants capables de rédiger des essais ou de répondre à des questions, peuvent également être sollicités pour compter instantanément ces caractéristiques linguistiques. Mais une question critique demeure : le simple fait qu'un ordinateur soit d'accord avec un humain sur le classement général des essais signifie-t-il qu'il produit réellement les mêmes chiffres ? Si un enseignant utilise ces chiffres pour suivre les progrès d'un étudiant au fil du temps, une petite erreur constante dans le comptage de l'ordinateur pourrait conduire à une conclusion totalement erronée sur le fait que l'étudiant progresse ou stagne.

Une équipe de chercheurs de l'Université de Maragheh, en Iran, s'est donné pour mission de répondre à cette question en testant six différents systèmes d'intelligence artificielle publics par rapport à des experts humains. Ils ont rassemblé 90 essais argumentatifs écrits par 45 étudiants universitaires, chaque étudiant ayant écrit deux essais sur le même sujet concernant les réseaux sociaux, espacés de deux semaines. Les experts humains ont d'abord lu chaque essai et se sont mis d'accord sur un ensemble unique de chiffres pour la complexité, l'exactitude et la fluidité, basés sur des règles strictes. Ensuite, les chercheurs ont injecté ces mêmes essais dans six modèles d'IA différents, incluant des systèmes bien connus comme ChatGPT, Gemini et d'autres, en leur demandant d'appliquer les mêmes règles strictes et de retourner les décomptes. L'objectif n'était pas de voir si l'IA pouvait écrire un bon essai, mais de voir si elle pouvait agir comme un outil de mesure précis, reproduisant les valeurs exactes qu'un humain calculerait.

Les résultats ont révélé un écart surprenant entre ce sur quoi l'IA et les humains s'accordaient et ce qu'ils mesuraient réellement. Chaque modèle d'IA a montré une forte corrélation avec les scores humains ; lorsqu'un humain évaluait un essai comme ayant une complexité élevée, l'IA l'évaluait également comme élevée. Cela signifie que les ordinateurs étaient doués pour comprendre l'ordre relatif des essais. Cependant, lorsque les chercheurs ont examiné les chiffres réels, les ordinateurs se trompaient souvent d'une manière spécifique. Pour la mesure de la complexité, qui consiste à compter combien de propositions sont imbriquées dans une phrase, cinq des six modèles ont systématiquement sous-estimé la valeur. Ils percevaient moins de structures complexes que les humains. Il ne s'agissait pas d'une erreur aléatoire, mais d'un biais systématique où les modèles semblaient manquer les parties complexes de l'écriture de l'étudiant. En revanche, les modèles étaient bien meilleurs pour mesurer l'exactitude. Ils pouvaient identifier de manière fiable si une phrase contenait une erreur grammaticale ou non, et leurs chiffres étaient beaucoup plus proches des comptes humains.

L'étude a également examiné la capacité des modèles à détecter les changements dans l'écriture d'un étudiant au fil du temps. Puisque les étudiants ont écrit deux essais, les chercheurs pouvaient voir si l'IA remarquait les mêmes changements de performance que les humains. Les experts humains ont constaté que, dans le second essai, les étudiants écrivaient avec nettement moins d'erreurs grammaticales mais produisaient des phrases plus courtes et moins complexes. Les modèles d'IA ont réussi à copier ce schéma pour l'exactitude et la fluidité, identifiant correctement que les étudiants commettaient moins d'erreurs et écrivaient moins de mots par phrase. Cependant, en ce qui concerne la complexité, les modèles étaient incohérents. Certains n'ont pas du tout remarqué la baisse de complexité, tandis que d'autres ont perçu un changement trop faible. Cela suggère que, bien qu'une IA puisse être utile pour repérer des tendances générales dans un groupe important d'étudiants, elle ne peut pas encore être fiable pour fournir les chiffres exacts nécessaires à l'analyse détaillée de la structure des phrases sans supervision humaine.

Parmi les six systèmes testés, un modèle appelé DeepSeek a été le plus performant globalement, équilibrant mieux l'exactitude à travers les trois catégories que les autres. Un autre modèle, ChatGPT, était particulièrement fort pour mesurer l'exactitude. Pourtant, les chercheurs ont souligné qu'aucun modèle n'était parfait pour chaque tâche. La performance de l'IA dépendait fortement de ce qui était précisément mesuré. Un modèle excellent pour compter les erreurs peut être médiocre pour compter les structures de phrases. Cette conclusion remet en question l'idée qu'une forte corrélation entre les scores humains et mécaniques signifie que les deux sont interchangeables. Elle suggère que l'utilisation de l'intelligence artificielle pour l'évaluation linguistique nécessite une approche prudente et spécifique, où l'outil est validé pour la tâche précise à laquelle il est destiné, plutôt que de supposer qu'il fonctionne aussi bien pour tout.

En fin de compte, l'étude conclut que ces systèmes informatiques puissants sont des assistants précieux, mais pas des remplaçants du jugement humain dans ce domaine spécifique. Ils peuvent scanner rapidement de grandes quantités d'écrits pour trouver des tendances générales ou signaler des essais qui nécessitent une inspection plus étroite. Cependant, pour des mesures précises, notamment concernant la complexité des structures de phrases, les chiffres qu'ils produisent doivent encore être vérifiés par rapport aux normes humaines. La recherche souligne que dans la quête de l'analyse linguistique automatisée, la distinction entre aller dans la même direction et atteindre le même chiffre est une distinction cruciale que les chercheurs et les enseignants doivent garder à l'esprit.