A Durability and Cross-Language Transfer Benchmark for a Validated Teaching-Feedback Classification Protocol

Résumé Technique : Un benchmark de durabilité et de transfert translinguistique pour un protocole validé de classification des commentaires d'enseignement

Énoncé du problème
Les institutions éducatives accumulent de vastes quantités de commentaires qualitatifs issus des évaluations d'enseignement qui restent non lus en raison de contraintes de volume. Bien que le traitement du langage naturel (NLP) offre une voie pour récupérer ce signal qualitatif, les institutions nécessitent des procédures analytiques documentées, dont la fiabilité est vérifiée et validées, plutôt que de simplement viser une haute précision sur des classements de performance. Une étude antérieure a établi un protocole validé pour la classification des commentaires d'enseignement en espagnol par catégorie thématique et sentiment en utilisant une conception à « encodeur gelé » (embeddings de l'ère BETO, 2019) et des classificateurs classiques. Ce document traite deux limitations critiques de ce travail précédent : (1) si un protocole fixé aux méthodes de représentation de l'ère 2019 reste compétitif à mesure que les technologies d'embeddings et de grands modèles de langage (LLM) progressent, et (2) si le protocole se transfère efficacement à une seconde langue (l'anglais).

Méthodologie
L'étude emploie une approche de « benchmark de durabilité », en maintenant constants le protocole d'annotation, la procédure de validation et les divisions d'évaluation, tout en faisant varier l'architecture du modèle et la langue.

• Consistance du protocole : L'étude réutilise le guide d'annotation exact du travail précédent, définissant quatre catégories thématiques (méthodologie, évaluation, interaction, présence/engagement) et trois classes de sentiment (positif, négatif, neutre). La fiabilité est mesurée via l'accord intra-annotateur test-retest ($\kappa=0,82$ pour le thème, $0,88$ pour le sentiment).
• Bras expérimentaux (Espagnol) : Le protocole est réexécuté sur l'corpus institutionnel espagnol original (1 165 commentaires étiquetés, 233 en réserve) à travers trois générations de représentation :
  1. Lexicale parcimonieuse : Caractéristiques TF-IDF avec classificateurs linéaires.
  2. Embeddings de Transformers gelés : Embeddings moyennés (mean-pooled) provenant d'un BERT espagnol de l'ère 2019 (BETO) et d'un encodeur multilingue moderne (e5-base), alimentant des classificateurs classiques.
  3. LLM par prompting : Prompting zero-shot et few-shot de modèles ajustés par instruction (Claude Haiku 4.5, Claude Opus 4.8 et le modèle local Qwen2.5-1.5B).
• Transfert translinguistique (Anglais) : La tâche de sentiment est transférée à l'anglais en utilisant un corpus nouvellement construit et équilibré de 45 000 commentaires échantillonnés à partir de RateMyProfessor. Les étiquettes de sentiment sont dérivées des notes étoilées (4+ = positif, $\le$2 = négatif) et validées par rapport à des données étiquetées par des humains issus d'EduRABSA ($\kappa$ de Cohen $= 0,66$). Le transfert thématique est limité à une correspondance de catégories documentée vers les entités d'EduRABSA, et non à une tâche de classification complète.
• Métriques d'évaluation : Les scores F1 pondérés et macro sont rapportés comme métriques primaires. Les comparaisons sont traitées comme des preuves descriptives de consistance plutôt que des tests de signification statistique (le test de McNemar est utilisé de manière descriptive). Le coût, la latence et l'auditabilité (via LIME) sont également rapportés.

Contributions clés

1. Benchmark de durabilité : Une réévaluation d'un protocole de feedback d'enseignement validé à travers trois générations de représentations NLP (parcimonieuses, embeddings gelés, LLM), démontrant que le protocole lui-même est la variable stable tandis que la performance du modèle varie.
2. Évaluation du transfert translinguistique : Un transfert de la tâche de classification de sentiment à l'anglais avec une délimitation explicite des revendications, utilisant un corpus équilibré et reproductible avec une règle de labellisation étoile-vers-sentiment validée par des annotations humaines.
3. Corpus anglais reproductible : La publication d'une recette de construction (script, graine/seed, indices de division) pour un ensemble de données de sentiment en anglais équilibré de 45 000 commentaires, permettant une reproduction exacte sans redistribuer le texte protégé par le droit d'auteur sous-jacent.

Résultats

• Durabilité de l'espagnol :
  • Classification thématique : Les LLM (Opus 4.8 et Haiku 4.5) ont obtenu les scores F1 pondérés les plus élevés (environ 0,87–0,88), surpassant significativement les embeddings gelés (environ 0,74) et le TF-IDF (0,60) sur l'ensemble de réserve. L'amélioration a été plus prononcée pour les classes thématiques rares (ex: présence/engagement).
  • Classification de sentiment : Le modèle de pointe de 2026 (Opus 4.8) n'a montré aucun avantage de précision par rapport au modèle moins coûteux (Haiku 4.5) sur la tâche de sentiment (Haiku zero-shot : 0,923 vs Opus zero-shot : 0,884). Les deux ont surpassé les embeddings gelés, mais le schéma de « parité au prix fort » suggère que le plafond de la tâche est atteint par les modèles moins coûteux.
  • Coût vs Performance : La conception à encodeur gelé (BETO et e5) est restée compétitive en précision tout en offrant des coûts d'inférence nettement inférieurs et une auditabilité plus élevée par rapport aux LLM.
• Transfert vers l'anglais :
  • Sentiment : L'encodeur multilingue gelé moderne (e5) était le bras le plus performant sur l'ensemble de test complet (wF1 0,729). Les LLM ont égalé cette performance uniquement avec un prompting few-shot ; la performance zero-shot était plus faible (environ 0,67).
  • Bruit des étiquettes : Le plafond de la performance en anglais était limité par le bruit dans les étiquettes dérivées des étoiles (accord avec les étiquettes humaines $\kappa=0,66$), empêchant les modèles de dépasser ce niveau d'accord.
  • Transfert thématique : L'étude ne prétend pas avoir résolu un classificateur thématique pour l'anglais ; elle fournit plutôt un alignement documenté entre les catégories espagnoles et les types d'entités anglaises (Cours, Personnel).

Signification et revendications
L'article soutient que c'est le protocole qui est durable, et non le modèle spécifique. La contribution du travail précédent — le guide d'annotation documenté, la mesure de fiabilité et la conception de validation — reste valide et efficace même à mesure que les méthodes de représentation sous-jacentes évoluent des embeddings de l'ère 2019 vers les LLM de pointe de 2026.

• Le choix du modèle est une décision de déploiement : Le choix entre un encodeur gelé peu coûteux et auditable et un LLM coûteux n'est pas une question de supériorité méthodologique mais de contraintes institutionnelles (coût, latence, auditabilité).
• Pas de gain universel de la frontière : Pour la tâche de sentiment, les modèles les plus avancés n'ont pas apporté d'avantage de précision descriptif par rapport aux alternatives moins coûteuses, suggérant que pour des tâches spécifiques et bien définies, la capacité de « pointe » peut ne pas être nécessaire.
• Auditabilité : L'étude souligne que si les LLM peuvent l'emporer sur la précision brute pour la classification thématique, leur nature « liée au prompt » réduit l'auditabilité par rapport aux poids parcimonieux inspectables ou aux modèles classiques expliqués par LIME.

Les auteurs déclarent explicitement que la procédure (le protocole) est ce que les institutions doivent conserver, tandis que le modèle qui l'exécute est une variable de déploiement. L'article ne prétend pas résoudre les audits d'équité ou l'analyse des sous-groupes démographiques, et ne prétend pas non plus que les résultats en anglais sont directement comparables aux résultats de référence en espagnol en raison des différences de qualité des étiquettes (étiquettes dérivées des étoiles vs étiquettes humaines).