ArguLens: An Open-Source System for Automated Essay Scoring and Label-Aware Feedback Generation
Cet article présente ArguLens, un système open-source déployable localement qui répond aux limites des outils existants de notation automatisée de dissertations en décomposant le processus en un classificateur de mouvements discursifs, un évaluateur basé sur des caractéristiques et un générateur de rétroaction sensible aux étiquettes, atteignant une performance robuste sur le jeu de données PERSUADE 2.0 tout en garantissant la confidentialité des données et l'interprétabilité.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le bourdonnement feutré d'une salle de classe, un enseignant lit la dissertation argumentative d'un élève, pesant chaque phrase pour en évaluer la clarté, la logique et la force. Depuis des décennies, les ordinateurs tentent d'imiter ce jugement humain, un domaine connu sous le nom de notation automatisée de dissertations. Les premières tentatives reposaient sur de simples comptages de mots ou de longueur de phrases, tandis que les versions modernes utilisent des réseaux de neurones complexes qui agissent comme des boîtes noires, offrant une note mais expliquant rarement pourquoi. Cela crée un dilemme : les systèmes qui sont précis manquent souvent de transparence, tandis que ceux qui sont clairs manquent souvent de précision. De plus, les outils les plus puissants aujourd'hui nécessitent généralement l'envoi des écrits des élèves vers de lointains serveurs d'entreprises, ce qui soulève des préoccupages concernant la confidentialité et les coûts. L'objectif des chercheurs a longtemps été de construire un système qui soit à la fois assez intelligent pour noter avec précision et assez ouvert pour montrer son raisonnement, tout en gardant les données en sécurité au sein des propres ordinateurs de l'école.
Une équipe de chercheurs de l'Université de Fudan a relevé ce défi avec ArguLens, un nouveau système open-source conçu pour être installé localement, gardant ainsi les dissertations des élèves hors d'internet. Au lieu d'essayer de deviner une note en un seul bond géant, le système décompose la tâche en trois étapes distinctes et gérables. Premièrement, il agit comme un détective rhétorique, lisant la dissertation phrase par phrase pour identifier la fonction de chaque partie. Il recherche des mouvements spécifiques dans un argument, tels qu'une affirmation, un élément de preuve, un contre-argument ou une réfutation. Pour ce faire, il utilise une version spécialisée d'un grand modèle de langage qui a été entraînée à reconnaître ces schémas sans avoir besoin de réécrire l'intégralité de la dissertation. Une fois que le système a compris la structure de l'argument, il passe à la deuxième étape : la notation. Ici, il ne repose pas sur le lourd modèle de langage. À la place, il compte trente et un caractéristiques spécifiques, telles que la variété du vocabulaire utilisé, la complexité des structures de phrases et la fréquence des mouvements argumentatifs qu'il vient d'identifier. Ces chiffres sont injectés dans un moteur de notation léger et hautement efficace qui calcule une note finale. La troisième étape consiste à générer des commentaires. En utilisant les scores et les mouvements argumentatifs identifiés, le système rédige un rapport structuré pour l'élève, soulignant les points forts et suggérant des améliorations spécifiques, tout en veillant à ce que les conseils soient constructifs et ancrés dans le texte réel.
Les chercheurs ont testé ce système sur une large collection de dissertations argumentatives de collégiens, un ensemble de données contenant des milliers d'exemples écrits par des élèves à travers les États-Unis. Ils ont constaté que la capacité du système à identifier les différentes parties d'un argument était assez forte, étiquetant correctement la fonction des phrases dans plus de quatre-vingt-deux pour cent des cas. Bien qu'il ait parfois confondu une affirmation principale avec la preuve qui la soutient — une difficulté commune même pour les humains — il a réussi à distinguer les différents types d'arguments la plupart du temps. Lorsqu'il s'agissait d'attribuer une note finale, le système a performé avec un niveau d'accord avec les enseignants humains considéré comme très élevé dans ce domaine. Les chercheurs ont découvert que l'inclusion des informations structurelles sur les mouvements argumentatifs améliorait considérablement la précision de la note finale. Lorsqu'ils ont testé le système sans cette connaissance structurelle, en se basant uniquement sur le vocabulaire et les modèles de phrases, la précision a chuté de manière notable. Cela suggère que comprendre comment un argument est construit est tout aussi important que de savoir quels mots sont utilisés.
L'un des aspects les plus significatifs de ce travail n'est pas seulement les chiffres, mais la conception. Le système est construit pour être transparent et reproductible. Chaque composant, du code qui extrait les caractéristiques aux paramètres spécifiques utilisés pour entraîner les modèles, est disponible pour que quiconque puisse l'inspecter. Les chercheurs ont pris soin de distinguer ce que le système peut faire avec des informations parfaites et ce qu'il peut faire dans le monde réel. Ils ont montré que si le système connaissait la structure exacte de l'argument au préalable, il pourrait noter avec une grande précision, mais ils ont également reconnu que dans une classe réelle, le système doit prédire cette structure lui-même. Ils ont mesuré le temps nécessaire à chaque étape sur du matériel informatique standard, constatant que l'étape de notation était quasi instantanée, tandis que l'analyse de la structure de l'argument prenait juste plus d'une seconde pour une dissertation typique. L'étape de génération de commentaires, qui produit les remarques écrites, a été conçue pour être flexible, capable de fonctionner sur des serveurs locaux ou de se connecter à des services externes si nécessaire, bien que la vitesse spécifique de cette dernière étape n'ait pas été mesurée dans cette version initiale.
L'équipe est claire sur les limites de sa création. Le système a été entraîné exclusivement sur des dissertations écrites par des élèves américains de collège et de lycée, et les chercheurs mettent en garde contre une utilisation pour noter d'autres types d'écrits, comme des récits créatifs ou des rapports scientifiques, sans un entraînement supplémentaire. Ils notent également que le système n'a pas encore été testé sur des brouillons partiels, seulement sur des dissertations terminées, ce qui importe si un enseignant souhaite l'utiliser pour un accompagnement continu durant le processus d'écriture. Peut-être plus important encore, les chercheurs soulignent que, bien que le système soit précis, il n'est pas un remplacement du jugement humain dans les situations à enjeux élevés. Il est destiné à servir d'outil pour assister les enseignants, offrant un second avis et des analyses détaillées qui peuvent aider les élèves à comprendre leur propre écriture. En rendant l'ensemble du système ouvert et gratuit, les chercheurs espèrent encourager d'autres éducateurs et scientifiques à bâtir sur leur travail, en le testant dans différents contextes et langues, et en affinant éventuellement les commentaires qu'il donne pour s'assurer qu'il aide chaque apprenant à progresser.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.