Psychometric Calibration of Large Language Models for Multidimensional L2 Academic Writing Assessment: The LICA Framework

Dans le monde de l'apprentissage des langues, la rédaction d'un essai académique est un acte complexe. Il ne s'agit pas simplement d'orthographier correctement les mots ou d'agencer des phrases sans erreurs grammaticales. Pour réussir, un étudiant doit également développer des idées solides, lier ces idées de manière fluide pour que le texte soit logiquement cohérent, et adopter un ton qui réponde aux attentes sérieuses et objectives de la conversation savante. Depuis des décennies, les enseignants luttent pour évaluer ces essais de manière juste et cohérente. Le jugement humain est précieux, mais il est aussi lent, coûteux et sujet à la fatigue, ce qui peut conduire différents enseignants à attribuer des notes différentes pour un même travail. Cela a créé une demande pour des ordinateurs capables de lire et de noter l'écriture automatiquement.

Récemment, de puissants systèmes d'intelligence artificielle connus sous le nom de grands modèles de langage ont émergé. Ce sont les mêmes types de technologies qui peuvent tenir des conversations, écrire des histoires ou répondre à des questions. Parce qu'ils comprennent si bien le langage humain, les chercheurs ont commencé à se demander s'ils pouvaient également agir comme des professeurs justes et précis, en notant les essais des étudiants tout comme le ferait un humain. L'espoir était que ces machines puissent fournir un retour instantané à des milliers d'étudiants à la fois. Cependant, une question critique restait sans réponse : ces machines comprennent-elles réellement ce qui fait la qualité d'une écriture, ou ne font-elles que deviner des chiffres qui semblent corrects ? Pour le découvrir, une chercheuse nommée Pegah Merrikhi s'est donné pour mission de tester trois des systèmes d'IA les plus avancés disponibles aujourd'hui par rapport à l'étalon-or du jugement humain.

L'étude s'est concentrée sur un cadre spécifique appelé LICA, qui décompose la qualité d'un essai en quatre parties distinctes. La première partie est le Langage, qui examine la grammaire et le vocabulaire. La deuxième est les Idées, mesurant la profondeur et la solidité des arguments. La troisième est la Cohésion, vérifiant comment les phrases et les paragraphes s'articulent entre eux. La dernière partie est l'Appropriation Académique, qui juge si l'écriture ressemble à celle d'un chercheur sérieux plutôt qu'à une conversation informelle. La chercheuse a pris cinq essais écrits par des apprenants de langues secondes et a demandé à trois systèmes d'IA différents — GPT-4o, Claude 3.5 Sonnet et Gemini 1.5 Pro — de noter chaque essai sur ces quatre échelles. Simultanément, un expert humain a fourni les scores « corrects ». L'objectif était de voir à quel point les machines correspondaient à l'expert humain et comment elles se comparaient les unes aux autres.

Les résultats ont révélé une histoire de précision surprenante mêlée à des personnalités distinctes au sein de ce test spécifique à petite échelle. L'un des systèmes d'IA, GPT-4o, a fait preuve d'une précision parfaite sur les cinq essais utilisés pour ce calibrage préliminaire. Il a parfaitement égalé les scores de l'expert humain sur chaque essai et pour chaque catégorie dans cet échantillon spécifique, répliquant efficacement le jugement de l'expert humain pour cet ensemble limité de données. Le deuxième système, Claude 3.5 Sonnet, était également très proche de l'expert humain, mais il montrait une légère tendance à être trop généreux. En évaluant le flux des idées et le ton académique, il a attribué des scores un peu plus élevés que ce que l'expert humain aurait donnés. Il n'avait pas tort, mais il était légèrement indulgent.

Le troisième système, Gemini 1.5 Pro, a montré un schéma différent. Bien qu'il soit très doué pour juger la connexion entre les paragraphes, il avait tendance à être plus sévère que l'expert humain. Lorsqu'il s'agissait d'évaluer la profondeur des idées de l'étudiant et l'adéquation du ton académique, il a attribué des scores nettement inférieurs à ceux de l'expert humain. Cela suggère que si la machine pouvait percevoir la structure de l'écriture, elle était plus dure envers le contenu et la voix de l'auteur.

La découverte la plus révélatrice ne concernait pas la manière dont les machines se comparent aux humains, mais la manière dont elles se comparent entre elles. Lorsque les trois systèmes d'IA ont noté les essais sans aide humaine, ils se sont accordés presque parfaitement sur les aspects techniques du langage et le flux du texte. Cependant, ils ont eu du mal à s'entendre lorsqu'il s'agissait de juger le ton académique et la qualité des idées. Sur la question de savoir si l'écriture était appropriée pour un cadre universitaire, les machines étaient souvent en désaccord, l'une étant généreuse et l'autre stricte. Cela indique que, bien que ces systèmes soient excellents pour repérer la grammaire et la structure, ils ne partagent pas encore une compréhension unique et unifiée de ce qui rend un argument académique correct.

L'étude conclut que ces outils d'intelligence artificielle sont assez puissants pour être utiles, mais qu'ils ne sont pas encore prêts à remplacer entièrement les enseignants humains. Ils peuvent gérer les parties mécaniques de la notation avec une grande rapidité et précision, mais ils manquent encore de l'intuition humaine constante nécessaire pour juger les nuances sociales et culturelles subtiles de l'écriture académique. La chercheuse suggère que la meilleure approche est d'utiliser ces machines comme des assistants fournissant un premier jet de commentaires, tout en gardant un enseignant humain dans la boucle pour rendre le jugement final, en particulier sur les aspects les plus complexes de l'écriture. Cela garantit que les étudiants bénéficient de la rapidité de l'automatisation sans perdre la profondeur de la compréhension humaine.