Learning to Grade Efficiently: A Bandit-Driven Prompt-Selection Framework for Low-Cost LLM Essay Scoring

Dans le monde de l'éducation, la correction d'une pile de dissertations est une tâche lourde et chronophage. Depuis des décennies, les ordinateurs tentent d'aider à cette tâche, mais ils peinent souvent à égaler la nuance d'un enseignant humain. Récemment, une nouvelle génération de programmes informatiques puissants, connus sous le nom de grands modèles de langage, a démontré une capacité remarquable à lire et à comprendre l'écriture humaine. Ces systèmes peuvent être instruits pour agir comme des examinateurs, attribuant des notes aux travaux des étudiants en se basant sur des règles spécifiques. Cependant, un problème important subsiste : ces programmes coûtent cher à exploiter. Plus les instructions données à l'ordinateur sont détaillées, plus le coût pour obtenir une réponse est élevé. De plus, la meilleure façon de poser une question à l'ordinateur n'est pas toujours évidente ; elle change selon la dissertation spécifique ou la version du logiciel utilisé. Les éducateurs et les organismes de test sont confrontés à un choix difficile : payer un prix élevé pour faire passer chaque dissertation par chaque ensemble d'instructions possible afin de trouver le meilleur, ou risquer d'utiliser une méthode moins chère et moins précise qui pourrait passer à côté de la plaque.

Une équipe de chercheurs de l'Université Carleton a proposé une nouvelle façon de résoudre ce dilemme. Au lieu d'essayer de deviner l'ensemble d'instructions parfait à l'avance, ils ont construit un système qui apprend la meilleure approche pendant qu'il travaille. Ils ont traité les différentes façons de demander à l'ordinateur de noter une dissertation comme un ensemble de machines à sous, chacune ayant une probabilité différente de distribuer un bon résultat. À mesure que le système corrigeait les dissertations, il suivait les méthodes qui produisaient des scores se rapprochant le plus des enseignants humains et celles qui étaient les plus efficaces. Avec le temps, le système a naturellement cessé de gaspiller des efforts dans les mauvaises méthodes pour se concentrer presque entièrement sur celles qui fonctionnaient le mieux. Cette approche leur a permis de trouver la stratégie de notation la plus efficace tout en utilisant beaucoup moins de ressources informatiques que les méthodes traditionnelles.

Les chercheurs ont testé cette idée en utilisant une collection de 787 essais réels provenant de l'examen d'écriture de l'IELTS, un test majeur de compétence en anglais à l'échelle internationale. Ils ont mis en place quatre façons distinctes pour l'ordinateur de noter les copies. Deux méthodes demandaient à l'ordinateur de donner immédiatement une note globale unique, tandis que les deux autres lui demandaient de décomposer la dissertation en quatre catégories spécifiques — telles que la pertinence de la réponse au sujet et l'organisation des idées — avant de calculer un score final. Pour la moitié de ces méthodes, l'ordinateur se voyait également montrer des exemples de bonnes et de mauvaises dissertations pour l'aider à comprendre ce qu'il devait rechercher ; pour l'autre moitié, il devait compter sur ses propres connaissances. Le système a ensuite commencé à noter les essais, utilisant un algorithme d'apprentissage pour décider quelle méthode utiliser pour chaque nouveau document.

Les résultats ont été clairs et immédiats. Le système a rapidement appris que la stratégie la plus efficace était celle qui décomposait la dissertation en catégories spécifiques et fournissait des exemples de ce qu'était une bonne ou une mauvaise dissertation. Cette méthode produisait systématiquement des scores qui s'alignaient le plus étroitement avec les examinateurs humains. En revanche, les méthodes qui omettaient les exemples ou qui tentaient de donner un score unique sans décomposition performaient nettement moins bien. L'algorithme d'apprentissage était si efficace qu'après une courte période de test, il a cessé de choisir les méthodes les plus faibles presque entièrement, dédiant plus de 70 % de ses efforts à l'approche la plus performante.

La découverte la plus surprenante est venue lorsque les chercheurs ont examiné le coût de ces instructions. La sagesse conventionnelle suggère que donner à un ordinateur des règles et des explications plus détaillées sur la façon de noter devrait conduire à de meilleurs résultats. Cependant, l'étude a trouvé le contraire. Lorsque les chercheurs ont supprimé les descriptions longues et détaillées des règles de notation des instructions, l'ordinateur a en fait mieux performé. Les instructions plus simples, qui s'appuyaient sur la compréhension existante de l'écriture par l'ordinateur plutôt que sur un manuel de règles, ont conduit à des scores plus précis et ont utilisé moins de ressources informatiques. Cela suggère que ces programmes informatiques puissants ont déjà appris les nuances de l'écriture académique lors de leur entraînement et n'ont pas besoin qu'on leur réexplique chaque détail.

Les gains d'efficacité de cette approche adaptative ont été substantiels. En laissant le système choisir la meilleure méthode à la volée, les chercheurs ont réduit le nombre de fois où ils devaient solliciter l'ordinateur de près de 79 % par rapport à une méthode traditionnelle qui tentait d'appliquer chaque option possible sur chaque dissertation. Cette réduction massive des appels informatiques s'est traduite directement par une baisse de 73 % du nombre total de mots que l'ordinateur a dû traiter, et une réduction de 70 % du coût estimé de l'expérience. Le système a atteint le même niveau de précision que la méthode exhaustive et coûteuse, mais avec une fraction de l'effort.

Ce travail représente un changement dans la manière dont la notation automatisée peut être gérée. Au lieu de traiter le choix des instructions comme un paramètre fixe qui doit être décidé avant que le travail ne commence, les chercheurs ont montré qu'il peut s'agir d'un processus dynamique qui s'améliore au fur et à mesure. Bien que l'étude ait été limitée à un ensemble spécifique d'essais et à un seul type de programme informatique, les conclusions offrent une voie prometteuse pour la technologie éducative. En équilibrant le besoin de précision avec la réalité des coûts opérationnels, cette méthode offre un moyen de rendre la notation automatisée de haute qualité accessible et durable pour les programmes d'évaluation à grande échelle. L'étude suggère que l'avenir de l'évaluation automatisée ne réside pas dans la création d'instructions plus complexes, mais dans la construction de systèmes plus intelligents qui savent comment apprendre quelles instructions fonctionnent le mieux sur le moment.