Towards interpretable models for language proficiency assessment: Predicting the CEFR level of Estonian learner texts

Cette étude propose des modèles d'apprentissage automatique interprétables pour évaluer le niveau de compétence linguistique en estonien (CEFR A2-C1) en utilisant des caractéristiques linguistiques sélectionnées, atteignant une précision d'environ 0,9 et démontrant une complexité accrue des textes d'apprenants sur une décennie.

L'essentiel

Voici une explication de cette recherche, imagée et simplifiée, comme si nous en discutions autour d'un café.

🇪🇪 Le Défi : Comment juger le niveau de langue sans être un humain ?

Imaginez que vous êtes un professeur d'estonien. Vous avez des centaines de copies d'élèves. Votre tâche est de dire : « Cet élève est niveau A2 (débutant), celui-ci est B2 (intermédiaire) et celui-là C1 (avancé) ». C'est fastidieux, subjectif et ça prend du temps.

L'auteure de cette étude, Kais Allkivi, a voulu créer un robot-juge (une intelligence artificielle) capable de lire ces textes et de donner le bon niveau de langue, de manière automatique et juste. Mais elle ne voulait pas juste un robot qui devine au hasard ; elle voulait un robot intelligent et transparent, qui puisse expliquer pourquoi il a donné telle note.

🔍 La Méthode : La recette du "Bouillon de Parole"

Pour entraîner ce robot, l'auteure a utilisé une grande marmite de textes réels (720 copies d'examens officiels). Elle a décortiqué chaque texte comme un chef cuisinier qui analyse les ingrédients d'un plat. Elle a cherché quatre types d'ingrédients (appelés "caractéristiques") :

1. Le Vocabulaire (Les ingrédients) : Est-ce que l'élève utilise des mots simples comme "chat" et "maison", ou des mots sophistiqués comme "élégance" et "démocratie" ? Est-ce qu'il répète toujours les mêmes mots ?
2. La Grammaire (La structure du plat) : Est-ce que l'élève utilise des phrases courtes et simples, ou des phrases complexes avec des sous-ordres ? Utilise-t-il beaucoup de pluriels ? Change-t-il la forme des mots (comme en français : manger, mangeait, mangé) ?
3. La Surface (La taille du plat) : Combien de mots y a-t-il ? Combien de phrases ? Les phrases sont-elles trop longues et confuses ?
4. Les Erreurs (Les brûlures dans la cuisine) : Combien de fautes d'orthographe ou de grammaire l'élève a-t-il faites ?

🧪 L'Expérience : Le Filtre Magique

L'idée géniale de cette étude, c'est de ne pas donner tous les ingrédients au robot. Parfois, trop d'informations embrouillent le cerveau.

• Le Robot "Tout-venant" : On lui donne tout : les bons ingrédients, mais aussi ceux qui dépendent du sujet (par exemple, si le sujet est "ma famille", l'élève utilisera beaucoup de mots sur la famille, ce qui ne prouve pas qu'il est avancé).
• Le Robot "Sélectif" : On lui donne seulement les ingrédients qui prouvent vraiment le niveau de langue, peu importe le sujet. C'est comme si on lui disait : "Ne regarde pas s'il parle de chats ou de voitures, regarde juste comment il parle."

🏆 Les Résultats : Qui a gagné ?

1. Le Robot "Sélectif" est le champion de la justesse : En ne gardant que les indicateurs fiables (comme la richesse du vocabulaire, la complexité des phrases et la variété des formes grammaticales), le robot a atteint une précision de 90 %. Il se trompe très peu.
2. L'Évolution dans le temps : En comparant des examens de 2010 avec ceux de 2017-2020, le robot a remarqué quelque chose d'intéressant : les élèves d'aujourd'hui écrivent des textes plus complexes que ceux d'il y a 10 ans. Le niveau moyen a monté !
3. Le Robot "Hybride" (Le meilleur de tous) : Quand on a mélangé intelligemment les meilleurs ingrédients de chaque catégorie (vocabulaire + grammaire + longueur + erreurs), le robot a atteint une précision incroyable de 98 % sur les textes d'entraînement.

💡 Pourquoi est-ce important ? (La Metaphore du Miroir)

Imaginez que ce robot est un miroir intelligent pour les apprenants.

• Au lieu de recevoir une simple note "B2", l'élève peut voir : "Ton texte est niveau B2, mais pour atteindre le C1, tu devrais utiliser plus de mots abstraits et varier tes formes de verbes."
• Cela aide les professeurs à corriger plus vite et les élèves à s'améliorer seuls.

⚠️ Les Limites (Le petit bémol)

Le robot n'est pas parfait.

• Il ne juge que la langue, pas l'idée. Un texte peut être grammaticalement parfait mais raconter une histoire sans queue ni tête. Le robot ne le verra pas.
• Il est entraîné sur des examens officiels. Si un élève écrit un SMS à un ami, le robot pourrait être un peu perdu car le style est différent.

🚀 En résumé

Cette étude a réussi à créer un outil qui ne se contente pas de "deviner" le niveau de langue, mais qui comprend ce qui fait la différence entre un débutant et un expert. C'est comme passer d'un juge qui dit "C'est bien" à un coach qui dit "Voici exactement ce que tu dois travailler pour être meilleur".

Cet outil est déjà intégré dans une plateforme d'apprentissage de l'estonien pour aider des milliers d'apprenants à progresser, un mot à la fois.

Résumé technique

Voici un résumé technique détaillé de l'article « Towards interpretable models for language proficiency assessment: Predicting the CEFR level of Estonian learner texts » de Kais Allkivi.

1. Problématique

L'étude vise à combler le manque de recherches combinant l'évaluation automatique des écrits (AWE) et l'analyse de corpus d'apprenants pour le français estonien. L'objectif principal est de développer des modèles d'apprentissage automatique interprétables et généralisables pour classer les textes d'apprenants d'estonien selon le Cadre Européen Commun de Référence pour les Langues (CECRL), spécifiquement pour les niveaux A2 à C1.

Le défi réside dans la création de modèles qui ne se contentent pas d'atteindre une haute précision, mais qui reposent sur des caractéristiques linguistiques fiables (prédictives de la compétence) plutôt que sur des artefacts liés à la tâche d'examen ou au genre textuel. L'étude cherche également à comprendre comment les caractéristiques linguistiques évoluent avec le niveau de compétence et si ces modèles peuvent généraliser sur des données d'examens plus anciennes.

2. Méthodologie

Données :

• Jeu de données principal : 720 textes d'examens d'estonien (2017–2020), répartis en 4 niveaux (180 textes par niveau : A2, B1, B2, C1).
• Types de textes : Lettres personnelles, textes narratifs, lettres semi-formelles et textes argumentatifs.
• Jeu de données de test externe (Test Set 2) : 398 textes d'examens de 2010, utilisés pour évaluer la généralisabilité temporelle.
• Répartition : 600 textes pour l'entraînement/validation croisée, 120 pour le test interne (Test Set 1).

Extraction des caractéristiques (Features) :
Quatre catégories de caractéristiques linguistiques ont été extraites à l'aide de l'outil Stanza et de correcteurs orthographiques/grammaticaux :

1. Lexicales (n=20) : Diversité lexicale (TTR, RTTR, MTLD, CVV), sophistication (vocabulaire rare, abstraité des noms).
2. Morphologiques (n=111) : Fréquences des parties du discours, catégories grammaticales (cas, nombre, genre, temps, voix) pour les noms, adjectifs, pronoms et verbes.
3. Superficielles (Surface) (n=9) : Longueur du texte, nombre de mots, de phrases, de syllabes, longueur moyenne des mots/phrases, indices de lisibilité (SMOG, LIX, Flesch-Kincaid).
4. Erreurs (n=9) : Fréquences des corrections orthographiques et grammaticales proposées par des outils automatiques.

Sélection des caractéristiques :
Les auteurs ont appliqué des critères stricts pour identifier les « prédicteurs fiables » (LexRel, MorphRel, etc.) :

• Différence significative entre niveaux adjacents.
• Évolution monotone (croissante ou décroissante) des valeurs.
• Corrélation significative avec le niveau de compétence.
• Faible variation intra-niveau selon le type de texte (pour éviter le biais de tâche).

Modélisation :

• Algorithmes : Régression logistique (LR), SVM, Forêts aléatoires (RF), Perceptron multicouche (MLP), LDA/QDA.
• Stratégies : Comparaison entre l'utilisation de toutes les caractéristiques disponibles vs. uniquement les prédicteurs pré-sélectionnés.
• Validation : Validation croisée à 10 plis, test sur deux jeux de données distincts, analyse d'importance des caractéristiques par permutation.

3. Résultats Clés

Performance des modèles :

• Ensemble de caractéristiques mixtes (Lexicales + Morphologiques + Superficielles + Erreurs) :
  • Précision sur le jeu de test interne (Test Set 1) : ~0,98 (modèle Mix-SVM-kbest-23).
  • Précision sur le jeu de test externe (Test Set 2, données 2010) : ~0,80 (mesure d'exactitude équilibrée).
• Comparaison par catégorie :
  • Les caractéristiques superficielles (longueur, comptage) ont montré une très forte performance (~0,93 sur Test Set 1) et une bonne généralisation.
  • Les caractéristiques morphologiques ont également bien performé (~0,95 sur Test Set 1), mais avec une généralisation légèrement inférieure aux caractéristiques superficielles sur les données anciennes.
  • Les caractéristiques lexicales seules ont atteint ~0,91.
  • Les caractéristiques basées sur les erreurs seules ont eu la performance la plus faible (~0,72), bien qu'utiles pour la différenciation.

Analyse des caractéristiques pertinentes :

• Les modèles utilisant uniquement les prédicteurs pré-sélectionnés (ex: LexRel, MorphRel) ont souvent obtenu des résultats comparables à ceux utilisant toutes les caractéristiques, mais avec une meilleure généralisation entre les types de textes et une interprétabilité accrue.
• Évolution temporelle : L'analyse comparative entre 2010 et 2017-2020 révèle que les textes d'examens sont devenus plus complexes (notamment au niveau C1), avec une augmentation de la diversité lexicale et morphologique. Cependant, les modèles restent robustes.
• Importance des features : Les caractéristiques les plus déterminantes incluent le nombre de lemme, la complexité lexicale (MTLD), la longueur des phrases, le nombre de cas morphologiques, l'utilisation des pronoms et la fréquence des erreurs grammaticales.

4. Contributions Principales

1. Interprétabilité et Explicabilité : Contrairement aux approches « boîte noire » (comme les modèles BERT purs), cette étude privilégie des modèles basés sur des caractéristiques linguistiques explicites, permettant aux enseignants et aux apprenants de comprendre pourquoi un niveau est attribué (ex: « votre texte utilise moins de formes de cas complexes que le niveau C1 »).
2. Méthodologie de sélection rigoureuse : L'application de critères stricts (monotonie, variation de genre) pour filtrer les caractéristiques permet de créer des modèles plus robustes face aux variations de tâches d'examen.
3. Validation temporelle : La démonstration que les modèles peuvent généraliser sur des données d'examens vieux de 7 à 10 ans, tout en détectant l'évolution de la complexité des textes d'apprenants.
4. Implémentation pratique : Les meilleurs paramètres ont été intégrés dans l'environnement d'apprentissage open-source ELLE (Writing Evaluator), fournissant un feedback automatique sur le niveau de compétence, la complexité et les erreurs.

5. Signification et Implications

• Pour l'évaluation : L'étude démontre qu'il est possible d'atteindre une précision élevée (~98% sur données internes) pour la classification CECRL en estonien, surpassant ou égalant les résultats obtenus pour d'autres langues (suédois, anglais, allemand).
• Pour la pédagogie : Les modèles fournissent des retours d'information basés sur des preuves (evidence-based feedback) concernant le développement de la compétence linguistique, au-delà du simple score.
• Limites et perspectives :
  • Les modèles actuels se concentrent sur la compétence linguistique et ignorent la compétence pragmatique ou sociolinguistique.
  • Le biais de genre (71,7% de femmes dans l'échantillon) et la limitation aux genres d'examens nécessitent des recherches futures.
  • L'auteur suggère une approche hybride combinant ces modèles interprétables avec les LLM (Large Language Models) pour améliorer la génération de feedback.

En conclusion, ce travail établit un cadre reproductible pour le développement d'outils d'évaluation automatisée interprétables, prouvant que la sélection minutieuse de caractéristiques linguistiques fondées sur l'analyse de corpus est cruciale pour la robustesse et la transparence des systèmes d'évaluation de langues.