From Prompting to Preference Optimization: A Comparative Study of LLM-based Automated Essay Scoring

Cette étude présente une comparaison unifiée des principales approches d'évaluation automatique des essais par les grands modèles de langage pour l'anglais langue seconde, démontrant que la combinaison du fine-tuning supervisé et de l'optimisation des préférences avec la génération augmentée par récupération (RAG) atteint les meilleurs résultats avec un score F1 de 93 %.

L'essentiel

Voici une explication simple et imagée de cette recherche, comme si nous en discutions autour d'un café.

🎓 Le Grand Défi : Corriger les devoirs sans se tromper

Imaginez que vous êtes un professeur d'anglais qui doit corriger des milliers de copies d'élèves (le test IELTS). C'est épuisant, ça prend du temps, et même les humains ne sont pas toujours d'accord entre eux sur la note à donner.

C'est là qu'interviennent les Intelligences Artificielles (IA). Mais la question est : quelle IA utiliser et comment la former pour qu'elle soit aussi juste qu'un humain ?

Les auteurs de cette étude ont décidé de faire un "Grand Tournoi" pour comparer quatre façons différentes d'entraîner ces IA à corriger des copies.

---

🏆 Les 4 Concurrents du Tournoi

Pour comprendre les résultats, imaginons quatre méthodes différentes pour apprendre à un élève (l'IA) à devenir un correcteur :

1. Le "Moulin à Répétition" (Fine-tuning Discriminatif)

• L'analogie : C'est comme donner à un élève un manuel de mathématiques et lui dire : "Résous ces 1000 exercices, et à la fin, je te donnerai juste la note, sans t'expliquer pourquoi."
• Ce que ça fait : L'IA apprend à associer un texte à un chiffre.
• Le résultat : C'est rapide et pas cher, mais l'IA est un peu "bête". Elle donne une note, mais elle ne sait pas vraiment pourquoi elle l'a donnée. Elle fait des erreurs subtiles.

2. Le "Touriste avec un Guide" (Prompting / In-Context Learning)

• L'analogie : Vous prenez un expert très intelligent (une IA géante comme GPT-4) qui ne connaît pas votre école. Vous lui dites : "Voici la règle, et voici 2 ou 3 exemples de copies corrigées. Maintenant, corrige celle-ci."
• Ce que ça fait : On ne modifie pas l'IA, on lui donne juste des instructions à la volée.
• Le résultat : Ça marche parfois très bien, mais c'est très cher (l'IA est lourde à faire tourner) et très fragile. Si vous changez un mot dans la consigne, la note peut changer du tout au tout. C'est comme si l'expert était distrait.

3. Le "Stagiaire Spécialisé" (Instruction Tuning + RAG)

• L'analogie : C'est la méthode gagnante ! Imaginez que vous prenez un stagiaire intelligent et que vous lui donnez un cours intensif sur les règles exactes de l'IELTS. De plus, vous lui donnez accès à une bibliothèque de copies parfaites et de règles officielles qu'il peut consulter à chaque fois qu'il corrige une copie (c'est le "RAG" ou Retrieval-Augmented Generation).
• Ce que ça fait : L'IA apprend les règles par cœur et vérifie ses réponses avec la "bibliothèque" pour ne pas halluciner.
• Le résultat : C'est le champion ! Elle donne la note exacte (93% de précision) et sait exactement quel critère (grammaire, vocabulaire, etc.) a fait baisser la note. C'est précis, fiable et pas trop cher.

4. Le "Coach de Vie" (SFT + DPO + RAG)

• L'analogie : C'est comme le stagiaire précédent, mais en plus, on lui fait lire les commentaires d'élèves réels pour qu'il apprenne à être plus gentil et plus pédagogique. On lui apprend à donner des conseils qui ressemblent à ceux d'un vrai professeur humain, même si la note n'est pas toujours parfaite.
• Ce que ça fait : L'IA est très douce et ses commentaires sont excellents pour apprendre, mais elle peut parfois se tromper d'un demi-point sur la note finale.
• Le résultat : C'est le meilleur pour donner des conseils aux élèves, mais un peu moins fiable pour donner une note officielle stricte.

---

📊 Le Verdict Final : Que retenir ?

Les chercheurs ont comparé ces méthodes sur un vrai test (l'IELTS) et ont découvert trois choses importantes :

1. La précision a un prix : Les méthodes simples (comme le "Moulin à Répétition") sont peu coûteuses mais font beaucoup d'erreurs. Les méthodes complexes coûtent plus cher en temps de calcul, mais sont beaucoup plus justes.
2. Le gagnant est l'hybride : La meilleure solution pour obtenir une note fiable est le Concurrent 3 (Le Stagiaire Spécialisé). En lui apprenant les règles et en lui donnant accès à une bibliothèque d'exemples, on obtient une précision de 93%. C'est presque aussi bien qu'un humain !
3. Le choix dépend du but :
   • Si vous voulez une note officielle pour un examen (comme le bac ou l'IELTS), utilisez le Concurrent 3.
   • Si vous voulez aider un élève à progresser avec des conseils constructifs, le Concurrent 4 est plus adapté car ses commentaires sont plus humains.

💡 En résumé

Cette étude nous dit qu'on ne peut pas juste "jeter" une IA sur un problème de correction de copies. Il faut la former intelligemment.

La recette secrète pour un correcteur automatique parfait ? Enseigner-lui les règles officielles et lui donner un accès instantané à des exemples parfaits pour qu'il ne se trompe jamais. C'est comme donner à un juge un marteau, une règle d'or et un livre de jurisprudence ouvert devant lui : il ne peut plus se tromper !

Résumé technique

Voici un résumé technique détaillé de l'article « From Prompting to Preference Optimization: A Comparative Study of LLM-based Automated Essay Scoring » en français.

1. Problématique et Contexte

L'Évaluation Automatique des Rédactions (AES - Automated Essay Scoring) vise à attribuer des scores de compétence aux textes écrits de manière cohérente avec les évaluateurs humains. Bien que les modèles de langage (LLM) aient transformé ce domaine, les études précédentes analysent souvent les techniques (comme le prompting, le fine-tuning ou le RAG) de manière isolée. Il existe un manque de comparaison systématique pour évaluer leurs avantages relatifs, en particulier pour l'écriture en anglais langue seconde (L2), où les critères d'évaluation sont complexes (réponse à la tâche, cohérence, ressources lexicales, précision grammaticale).

L'objectif de cette étude est de combler ce vide en présentant une comparaison unifiée et exhaustive des paradigmes majeurs d'adaptation des LLM appliqués à la tâche IELTS Writing Task 2.

2. Méthodologie

Les auteurs ont évalué quatre approches distinctes sur un benchmark unifié (un jeu de données consolidé de 10 328 essais IELTS), en utilisant une protocole expérimental strict pour garantir la comparabilité.

A. Les Quatre Paradigmes Évalués

1. Ajustement Discriminatif (Discriminative Fine-Tuning) :

   • Utilisation de modèles encodeurs (RoBERTa, GPT-2) entraînés comme classificateurs supervisés.
   • L'entrée est une séquence [Prompt; Essai] et la sortie est un score discret (0 à 9).
   • Objectif : Établir une base de référence neuronale forte.

2. Apprentissage en Contexte (In-Context Learning - ICL) :

   • Utilisation de LLM génératifs (GPT-4o, Llama-3-70B, Gemini 2.5 Pro) sans mise à jour des paramètres.
   • Deux sous-configurations : Zero-shot (aucun exemple) et Few-shot (2 ou 4 exemples).
   • Le modèle agit comme un examinateur en suivant des instructions textuelles.

3. Ajustement d'Instruction avec RAG (k-Instruction Tuning + RAG) :

   • Combinaison de l'ajustement d'instruction (Instruction Tuning) et de la Génération Augmentée par Récupération (RAG).
   • Spécificité : Décomposition de la tâche en 4 critères officiels IELTS (TR, CC, LR, GRA). Le modèle utilise des adaptateurs LoRA (Low-Rank Adaptation) distincts pour chaque critère.
   • RAG : Récupération d'exemples d'essais et de descriptions de rubriques pour ancrer la prédiction et réduire les hallucinations.

4. Ajustement Fin Supervisé avec Optimisation des Préférences (SFT + DPO + RAG) :

   • Approche hybride en trois étapes :
     1. SFT : Ajustement fin supervisé pour générer des paires (score, feedback).
     2. DPO (Direct Preference Optimization) : Alignement du modèle sur des préférences humaines (paires de feedbacks préférés vs non préférés) pour améliorer la qualité pédagogique.
     3. RAG : Intégration de contexte récupéré lors de l'inférence.

B. Jeu de Données

• Source : Données consolidées de Hugging Face (10 324 essais) et Kaggle.
• Traitement : Les scores analytiques ont été régénérés via l'API Gemini-2.5-Pro pour assurer une cohérence interne avec les scores globaux.
• Split : 9 833 essais pour l'entraînement, 495 pour le test (distribution des scores équilibrée).

3. Contributions Clés

1. Premier Benchmark Unifié : Première comparaison systématique de quatre paradigmes majeurs (discriminatif, prompting, instruction tuning, optimisation des préférences) pour l'évaluation AES en L2.
2. Cadre Sensible aux Critères : Conception d'un système qui aligne les prédictions du LLM sur les rubriques IELTS spécifiques (Task Response, Coherence, etc.) via une approche modulaire (LoRA par critère).
3. Analyse des Compromis (Trade-offs) : Identification claire des compromis entre précision, coût computationnel et robustesse, offrant des directives pratiques pour le déploiement.

4. Résultats Principaux

Performance Quantitative

Les résultats montrent une hiérarchie de performance claire :

• Discriminatif (A1) : Performance modérée (F1 < 0.31), limité par la capacité à capturer les nuances des rubriques.
• Prompting (A2) : Flexible mais variable. Les modèles fermés (GPT-4o, Gemini) performent bien en zero-shot mais avec un coût élevé et une variance importante.
• Instruction Tuning + RAG (A3) : Meilleure performance globale. La configuration Llama-3.1-8B avec k-Instruction Tuning et RAG atteint :
  • Précision (Accuracy) : 0.9902
  • F1-Score : 0.9350
  • Ce résultat démontre que l'ancrage par récupération (RAG) et la spécialisation par critère sont cruciaux.
• SFT + DPO + RAG (A4) : Offre les meilleures métriques d'erreur (RMSE et MAE les plus faibles), indiquant une calibration supérieure et une meilleure alignement avec les jugements humains, bien que le F1 soit légèrement inférieur à A3.

Analyse des Compromis (Coût vs Précision)

• A1 & A2 : Coût faible, précision limitée.
• A3 (k-Instruction + RAG) : Coût modéré (7,2h d'entraînement), précision maximale. C'est le meilleur rapport efficacité/précision.
• A4 (SFT + DPO) : Coût le plus élevé (9,5h), gains de précision marginaux par rapport à A3, mais amélioration significative de la qualité du feedback.

Analyse Qualitative (Étude de Cas)

• A3+RAG : Excellente précision de score et feedback diagnostique fin (décomposition par critère). Idéal pour les évaluations à haut enjeu.
• A4 : Parfois moins précis sur le score exact (ex: prédire 6.5 au lieu de 7.0), mais génère un feedback plus holistique, cohérent et pédagogique, ressemblant davantage à un résumé d'examinateur humain.

5. Signification et Conclusion

Cette étude démontre que l'évaluation automatique des rédactions en L2 ne bénéficie pas d'une solution unique, mais dépend de l'objectif :

• Pour la précision du score (notation à haut enjeu), l'approche k-Instruction Tuning avec RAG est supérieure.
• Pour la qualité du feedback pédagogique (apprentissage formateur), l'approche SFT avec DPO est plus appropriée, car elle produit des explications plus naturelles et alignées sur les préférences humaines.

L'article conclut que l'intégration de la récupération d'informations (RAG) et de l'optimisation des préférences (DPO) représente l'état de l'art, permettant de surmonter les limites des modèles purement discriminatifs ou basés uniquement sur le prompting. Le code et les données sont publics, favorisant la reproductibilité et les recherches futures.