A Controlled Synthetic Benchmark for Educational Aspect-Based Sentiment Analysis

Résumé Technique : Un Benchmark Synthétique Contrôlé pour l'Analyse de Sentiment Basée sur les Aspects Éducatifs

Énoncé du Problème
L'Analyse de Sentiment Basée sur les Aspects (ABSA) éducative offre une voie pour transformer les retours bruts des étudiants en informations exploitables concernant la conception des cours, la clarté pédagogique et les environnements d'apprentissage. Cependant, le développement de modèles ABSA robustes est sévèrement entravé par la rareté des jeux de données publics étiquetés par aspect. Les retours réels des étudiants sont souvent privés, spécifiques à l'institution et coûteux à annoter en raison de la complexité de l'identification des aspects implicites, des sentiments mixtes et de la terminologie pédagogique spécifique au domaine. Les ressources existantes d'extraction de texte éducatif sont fréquemment trop petites, non harmonisées, ou limitées à des signaux de satisfaction grossiers plutôt qu'à des dimensions pédagogiques fines.

Méthodologie
L'étude répond à cette pénurie de données en introduisant un pipeline de génération de données synthétiques contrôlé couplé à un cadre rigoureux d'évaluation de benchmark.

1. Protocole de Génération de Données Synthétiques :

   • Schéma : Le corpus est construit sur la base d'un schéma pédagogique de 20 aspects catégorisés en cinq blocs : qualité de l'enseignement, évaluation et gestion du cours, demande et préparation à l'apprentissage, environnement d'apprentissage, et engagement et valeur.
   • Séparation Contrôlée : Le processus de génération découple les cibles de supervision (1 à 3 paires aspect-sentiment échantillonnées dans l'inventaire de 20 aspects) des attributs de nuance (variables contextuelles telles que le niveau du cours, le profil de l'étudiant, le style d'écriture et les contrôles de réalisme).
   • Ingénierie de Prompt : Une instruction contrainte par le réalisme fusionne ces cibles et attributs échantillonnés. Le prompt est affiné par une procédure en trois cycles « juge-éditeur » où un juge humain tente de distinguer les avis synthétiques des avis réels publics d'OMSCS. Les indices synthétiques détectés (par exemple, des compromis trop équilibrés, une couverture sous forme de liste de contrôle) sont utilisés pour stabiliser itérativement le prompt.
   • Construction du Corpus : Le jeu de données final comprend 10 000 avis de cours synthétiques avec des séparations explicites d'entraînement/validation/test (8 000/1 000/1 000). La génération utilise un modèle fixe avec une variation par ligne pour assurer la diversité des contextes de cours et des styles rhétoriques tout en maintenant la fidélité des étiquettes.

2. Pipeline d'Évaluation de Benchmark :

   • Formulation de la Tâche : La tâche principale est définie comme un problème ABSA en deux étapes : (1) détection multi-étiquette des aspects et (2) prédiction du sentiment pour les aspects détectés.
   • Familles de Modèles : Le benchmark évalue plusieurs approches sous une séparation stricte et partagée :
     • Baselines Classiques : TF-IDF avec détection en deux étapes et régression du sentiment.
     • Encodeurs Transformer : Modèles en deux étapes (détection + sentiment) et modèles de prédiction conjointe utilisant BERT, DistilBERT, ALBERT et RoBERTa.
     • Inférence Basée sur GPT : Prompting en zéro-shot et few-shot (fixe, diversifié et basé sur la récupération) utilisant GPT-5.2, évalué via une inférence par lots sans ajustement fin.
   • Métriques : L'évaluation se concentre sur le micro-F1 pour la détection d'aspects, l'erreur quadratique moyenne (MSE) du sentiment sur les aspects détectés, et des diagnostics complémentaires tels que la précision équilibrée et le coefficient de corrélation de Matthews pour tenir compte de la parcimonie des étiquettes.

3. Stratégies de Validation :

   • Validation du Réalisme : Une boucle juge-éditeur utilisant 32 avis réels d'OMSCS pour évaluer et réduire la détectabilité synthétique.
   • Transfert Externe : Une évaluation conservatrice sur 2 829 avis de retours étudiants mappés de Herath et al., restreints à un chevauchement de 9 aspects avec le schéma synthétique pour tester le transfert synthétique-réel.
   • Audit de Fidélité : Un audit assisté par modèle (utilisant GPT-5.2) pour vérifier si les sentiments d'aspects déclarés sont visiblement soutenus dans le texte généré.

Contributions Clés

• Ressource de Benchmark Éducatif : Un corpus synthétique de 10 000 avis avec un schéma pédagogique de 20 aspects, nettement plus riche que les ressources de sentiment éducatif publiques typiques.
• Conception de Génération Contrôlée : Une méthodologie qui sépare les cibles de supervision des nuances contextuelles, permettant aux mêmes étiquettes d'aspects d'apparaître à travers divers personas d'étudiants et contextes de cours sans s'effondrer dans des motifs de prompt répétitifs.
• Configuration de Benchmark Reproductible : Un protocole documenté d'entraînement-validation-test permettant la comparaison directe des modèles supervisés locaux et des baselines génératives au moment de l'inférence.
• Pertinence Externe Initiale : Preuve d'un transfert partiel synthétique-réel sur un jeu de données réel mappé, accompagnée de diagnostics clarifiant les limites de la fidélité des étiquettes.

Résultats

• Performance Interne du Benchmark : La tâche n'est pas triviale. Le modèle local non ajusté le plus performant, bert-base-uncased, a atteint un micro-F1 de 0,2760 pour la détection d'aspects sur un ensemble de test retenu. Un ajustement modeste au calendrier d'entraînement (taux d'apprentissage plus faible, époques plus longues) a amélioré ce résultat à 0,2930. Les encodeurs conjoints et les baselines TF-IDF ont obtenu des résultats inférieurs, tandis que ALBERT et RoBERTa ont dérivé vers un rappel élevé mais une précision faible.
• Inférence Basée sur GPT : L'inférence par lots avec GPT-5.2 en mode zéro-shot a atteint un micro-F1 de 0,2519, surpassant TF-IDF et les encodeurs conjoints mais restant en deçà des transformateurs en deux étapes ajustés finement les plus performants. Le prompting few-shot basé sur la récupération a produit des résultats similaires (0,2501).
• Transfert Externe : Sur le jeu de données Herath mappé (chevauchement de 9 aspects), bert-base-uncased a atteint un micro-F1 de 0,4593. Cette performance était supérieure aux scores internes, probablement en raison de la complexité réduite des aspects et de la dominance du signal lecturer_quality dans les données réelles.
• Diagnostics du Générateur :
  • Réalisme : La procédure juge-éditeur a réussi à réduire les indices synthétiques, la précision du juge chutant à des niveaux de hasard (0,4333) dans le cycle final, bien que l'équivalence statistique avec les avis réels n'ait pas été définitivement établie.
  • Fidélité : Bien que 77 % des aspects déclarés soient soutenus textuellement, les taux de correspondance de polarité du sentiment étaient plus faibles (42,3 % au niveau de l'aspect, 21,2 % au niveau de l'avis complet), indiquant que le corpus est une ressource utile mais bruyante plutôt qu'une référence absolue.

Signification et Revendications
L'article revendique que la supervision synthétique contrôlée est une approche productive pour étudier l'ABSA éducative dans des domaines à pénurie de données. Il ne prétend pas remplacer l'annotation humaine ni fournir un jeu de données de référence parfaite. Au lieu de cela, il positionne le corpus synthétique comme un échafaudage pour :

1. Amorçage de Modèles : Permettre aux institutions de pré-entraîner des modèles sur des données synthétiques avant d'ajuster finement sur de petits jeux de données réels arbitrés.
2. Surveillance Longitudinale : Fournir une mesure stable pour suivre les performances des modèles à travers les termes et les cohortes.
3. Tests de Résistance : Exposer les aspects minoritaires (par exemple, l'accessibilité, la transparence de la notation) qui sont souvent sous-représentés dans les archives d'une seule institution.

L'étude conclut que, bien que le corpus synthétique introduise du bruit dans les étiquettes, en particulier concernant la polarité du sentiment, il soutient avec succès l'apprenabilité interne, la comparaison reproductible des modèles et le transfert partiel vers des espaces réels de retours éducatifs. Le travail met l'accent sur la valeur de la combinaison de la formulation de la tâche, de la génération contrôlable et de l'intégration du benchmark par rapport à la génération de texte synthétique isolée.