Résumé Technique : Entraînement à l'Intervention Diagnostiquée par l'Évidence (EDIT) pour le Jugement de LLM Fidèle aux Règles

1. Énoncé du Problème

Le jugement fiable par rubrique des réponses d'examen des étudiants est une tâche complexe d'application de règles qui nécessite plus qu'une simple prédiction précise du score final. Un correcteur doit fonder chaque jugement sur le barème explicite et sur des preuves spécifiques issues de la réponse de l'étudiant. Bien que les modèles de langage de grande taille (LLM) soient de plus en plus déployés comme correcteurs automatiques, les entraîner pour qu'ils corrigent de manière fiable reste un défi.

Les approches existantes présentent des limitations significatives dans ce domaine :

• Apprentissage par Renforcement (RL) basé sur le résultat : Des méthodes comme GRPO attribuent une récompense unique à l'ensemble de la trajectoire de raisonnement. Elles ne parviennent pas à identifier quel pas de raisonnement intermédiaire spécifique a causé une note incorrecte, ce qui rend difficile la correction du processus de décision du modèle.
• Méthodes de Raisonnement Auto-contenues : Les techniques conçues pour des tâches telles que les mathématiques (par exemple, la réallocation de jetons ou l'entraînement de type intervention) peinent ici car le jugement par rubrique nécessite un ancrage externe. Le modèle doit ancrer ses jugements à une politique externe (la rubrique) et au texte de l'étudiant, plutôt que de s'appuyer uniquement sur sa cohérence logique interne.
• Réduction de l'Incertitude : Le raisonnement fondé sur des règles est un processus de réduction de l'incertitude. La croyance du modèle concernant la note finale devrait converger progressivement. Les méthodes actuelles ne contrôlent pas cette trajectoire ; le RL basé uniquement sur le résultat ignore les dérives de croyance préjudiciables survenant en milieu de raisonnement, tandis que les contraintes rigides au niveau du jeton peuvent trop pénaliser une formulation exploratoire bénigne.

2. Méthodologie : Cadre EDIT

Les auteurs proposent le cadre EDIT (Evidence-Diagnosed Intervention Training), un cadre en deux phases conçu pour entraîner des correcteurs LLM fidèles aux rubriques. EDIT utilise les signaux de décision internes du modèle pour localiser les échecs, les réviser localement et calibrer l'évolution de la croyance du modèle pendant le raisonnement.

Phase 1 : EDIT-SFT (Ajustement Supervisé par Fine-Tuning avec Diagnostics d'État Interne)

Cette phase construit un réservoir d'entraînement supervisé en révisant de petites parties locales de trajectoires de raisonnement incorrectes. Elle remplace les auto-audits basés sur des invites (prompts) peu fiables par des Diagnostics d'État Interne.

1. Extraction de Signaux d'État Interne :
   • Sonde de Croyance Postérieure : À chaque limite de l'étape de raisonnement, le modèle estime sa croyance postérieure sur la note entière finale. Le changement de l'erreur absolue attendue ($\Delta \epsilon_k$) entre les étapes identifie si une étape a rapproché ou éloigné la croyance de la note réelle (gold mark).
   • Audit d'Ancrage par Masquage : Le système calcule des scores de support pour mesurer à quel point la probabilité d'une étape de raisonnement dépend des règles de notation, de la réponse de l'étudiant et du préfixe de raisonnement. Les étapes ayant de faibles scores d'ancrage (faiblement ancrées dans les preuves ou les règles) sont signalées.
2. Sélection de Candidats : Le système sélectionne les étapes qui ont le plus fortement éloigné la croyance du modèle de la note réelle ( $\Delta \epsilon_k$ négatif) et qui sont faiblement ancrées.
3. Révision Atomique : Les étapes sélectionnées sont révisées en 1 à 3 nouvelles sous-étapes. Cette révision est guidée par une liste de contrôle de la rubrique (générée en utilisant la note réelle comme contexte privilégié pendant l'entraînement) mais est contrainte par la localité. La révision doit corriger l'erreur locale sans détruire la cohérence de la chaîne de raisonnement originale ou simplement copier la réponse correcte.
4. Entraînement : Les révisions réussies qui mènent à la note correcte sont agrégées avec des déroulements naturellement corrects pour entraîner la politique via SFT.

Phase 2 : EDIT-RL (Apprentissage par Renforcement avec Mise en Forme de Récompense Guidée par la Croyance)

Cette phase calibre la politique entraînée par SFT en utilisant l'Optimisation de Politique Relative au Groupe (GRPO), augmentée d'un mécanisme spécifique de mise en forme de la récompense.

• Récompense de Résultat Sensible à la Distance : Une récompense dense est attribuée en fonction de la distance entre la note prédite et la note réelle.
• Mise en Forme de Récompense Guidée par la Croyance : Pour gérer le processus de réduction de l'incertitude, une pénalité est ajoutée pour les dérives de croyance en milieu de trajectoire importantes. La fonction de récompense pénalise le modèle si sa croyance postérieure à n'importe quelle étape intermédiaire s'écarte trop de la note réelle (au-delà d'un seuil de tolérance $\beta_{drift}$), tout en autorisant de petites fluctuations pour une exploration bénigne.
• Implémentation : La sonde postérieure utilisée pour la mise en forme est exécutée sur un checkpoint gelé de la politique EDIT-SFT afin de maintenir un signal stationnaire et d'éviter le détournement de récompense (reward hacking).

3. Contributions Clés

L'article expose trois contributions principales :

1. Cadre EDIT : Un nouveau cadre d'entraînement en deux phases qui adapte l'attribution de crédit pour le jugement par rubrique ancré à l'extérieur, allant au-delà des tâches de raisonnement en système fermé.
2. Diagnostics d'État Interne : Le remplacement des auto-audits basés sur des invites par des signaux de croyance postérieure et d'ancrage robustes pour localiser les étapes de raisonnement défectueuses. Ceci est couplé à un contexte de liste de contrôle de la rubrique pour soutenir les révisions atomiques locales sans imposer de modèles de sortie rigides.
3. Mise en Forme de Récompense Guidée par la Croyance : Un mécanisme de calibration RL qui pénalise les dérives de croyance sévères en milieu de trajectoire tout en tolérant l'exploration bénigne, améliorant ainsi la précision de la notation et la généralisation hors domaine.

4. Résultats Expérimentaux

Les auteurs ont évalué EDIT sur deux benchmarks du monde réel multi-matières : SAS (un benchmark de notation de réponses courtes chinois comprenant l'Histoire, la Géographie et la Physique) et Private-Science (un ensemble de données propriétaire de niveau GCSE pour la Biologie et la Physique).

• Performance : EDIT a systématiquement surpassé les bases solides, y compris le SFT standard, GRPO, DGPO et InT (Intervention Training), sur les séparations en domaine (ID) et hors domaine (OOD).
  • Sur le benchmark SAS (entièrement OOD), EDIT-RL a obtenu le meilleur macro-QWK moyen (0,794), surpassant de manière significative le modèle de base (0,727) et les autres bases RL.
  • Sur Private-Science, EDIT-SFT a montré des gains constants sur les séparations ID et OOD, alors que d'autres méthodes (comme InT-RL) ont montré des signes de surapprentissage sur des types de questions spécifiques dans le contexte OOD.
• Études d'Ablation :
  • La suppression du localisateur de signal interne a provoqué la chute de performance la plus importante, confirmant que la sélection des étapes correctes pour la révision est critique.
  • La suppression du contexte de liste de contrôle de la rubrique a augmenté la variance du comportement de notation.
  • La suppression des contraintes de localité atomique a entraîné une légère dégradation, suggérant que la préservation de la structure de raisonnement originale est bénéfique.
  • L'application directe d'EDIT-RL au modèle de base n'a pas produit les mêmes améliorations OOD que l'application après EDIT-SFT, indiquant que la phase SFT est un prérequis nécessaire pour une calibration efficace guidée par la croyance.

5. Signification et Revendications

L'article affirme que EDIT répond à un écart spécifique dans la notation automatisée : la nécessité pour les modèles non seulement de prédire un score, mais de le faire via un processus de raisonnement qui est fidèle aux règles externes et ancré dans les preuves de l'étudiant.

• Fidélité aux Règles : Les auteurs démontrent que EDIT améliore le "Ratio de Sensibilité à la Règle" (RSR), montant que les changements de score du modèle reflètent plus précisément les éditions déterministes du barème par rapport aux modèles de base.
• Généralisation : La mise en forme de la récompense guidée par la croyance est revendiquée comme étant particulièrement efficace pour la généralisation hors domaine, car elle empêche le modèle de développer des trajectoires de raisonnement instables lorsqu'il rencontre des questions inédites.
• Changement Méthodologique : Le travail plaide pour un passage d'une optimisation basée uniquement sur le résultat à un entraînement conscient du processus qui surveille et corrige la trajectoire de décision interne du correcteur.

Les auteurs maintiennent une position modeste, notant que bien que EDIT surpasse significativement les bases, la performance varie selon la matière (par exemple, la Géographie a montré des tendances différentes de l'Histoire ou de la Physique), suggérant que différentes matières peuvent bénéficier de différentes formes d'adaptation. Le cadre est présenté comme une solution robuste pour entraîner des correcteurs fidèles aux rubriques dans des contextes éducatifs réels et multi-matières.