🤖 machine learning

Feedback-to-Rubrics: Can We Learn Expert Criteria from Inline Comments?

Cet article propose et évalue une méthode permettant d'inférer automatiquement des grilles d'évaluation en langage naturel réutilisables à partir de commentaires intégrés accumulés, démontrant que ces critères distillés peuvent efficacement soutenir la prédiction de commentaires, la compréhension des grilles d'évaluation et la révision automatique d'artefacts dans des contextes réels et contrôlés.

Auteurs originaux : Kotaro Yoshida, So Kuroki, Yuki Imajuku, Taishi Nakamura, Ryunosuke Iwai, Haruki Goda, Takuya Akiba

Publié 2026-05-29

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kotaro Yoshida, So Kuroki, Yuki Imajuku, Taishi Nakamura, Ryunosuke Iwai, Haruki Goda, Takuya Akiba

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un rédacteur junior dans une maison d'édition. Vous avez une pile de manuscrits, mais vous ne savez pas exactement ce que vos éditeurs seniors recherchent. Vous avez vu leurs marques au stylo rouge (commentaires en ligne) sur d'anciens brouillons, mais on ne vous a jamais expliqué les règles derrière ces marques. Vous savez qu'ils encerclent une phrase et écrivent « Trop vague », mais vous ne savez pas si cela signifie « donner plus de chiffres », « expliquer la logique » ou « citer une source ».

Ce papier, intitulé « Feedback-to-Rubrics », consiste à apprendre à un ordinateur à découvrir ces règles cachées simplement en examinant la pile de marques au stylo rouge.

Voici le détail de ce qu'ils ont fait, en utilisant des analogies simples :

1. Le Problème : Le Secret « Tacite »

Habituellement, lorsque des experts (comme des éditeurs seniors ou des scientifiques) examinent un travail, ils ont une liste de contrôle mentale de ce qui rend quelque chose de bon ou de mauvais. Mais ils écrivent rarement cette liste. C'est une connaissance « tacite » — comme un chef qui sait qu'une soupe a besoin de plus de sel mais ne peut pas expliquer exactement pourquoi ou combien sans la goûter d'abord.

Les grands modèles de langage (LLM) sont excellents pour écrire, mais ils sont terribles pour deviner ces règles cachées et non écrites. Si vous demandez à une IA de « rendre cela meilleur », elle pourrait modifier les mauvaises choses car elle ne connaît pas la « saveur » spécifique des préférences de l'expert.

2. La Solution : Transformer les « Grattages » en « Recette »

Les auteurs proposent une nouvelle façon d'apprendre ces règles. Au lieu de demander aux humains de rédiger un manuel de règles (ce qui est difficile car ils ne savent pas expliquer leurs intuitions), ils examinent les commentaires en ligne que les experts ont déjà laissés sur des milliers de brouillons.

Pensez aux commentaires en ligne comme à des grattages sur une carte.

L'Ancienne Méthode : Essayer de deviner l'emplacement du trésor en regardant l'ensemble de la carte.
La Méthode de ce Papier : Examiner chaque grattage individuellement, déterminer quel genre de trésor le cartographe chassait, puis dessiner une nouvelle « Carte au Trésor » claire (une Grille d'évaluation ou Rubric) qui explique exactement où chercher.

3. Comment la Machine Apprend : La Boucle « Deviner, Vérifier et Corriger »

La méthode fonctionne comme un étudiant qui révise pour un examen en faisant des exercices et en vérifiant la clé des réponses.

La Première Devinette : L'ordinateur examine un tas d'anciens brouillons et les commentaires qui y sont associés. Il tente de rédiger une ébauche de « Manuel de règles » (Grille d'évaluation) basé sur ce qu'il voit.
La Simulation : L'ordinateur fait ensuite semblant d'être un expert. Il prend un nouveau brouillon, lit son propre Manuel de règles, et tente d'écrire des commentaires dessus.
La Vérification de la Réalité : Il compare ses propres commentaires aux vrais commentaires écrits par l'expert humain.
- L'ordinateur a-t-il manqué un point que l'humain a soulevé ?
- L'ordinateur s'est-il plaint de quelque chose que l'humain a ignoré ?
La Correction (L'Étape Magique) : C'est la partie la plus importante. L'ordinateur ne se contente pas de dire « J'ai eu tort ». Il examine exactement quelle règle de son Manuel de règles a causé l'erreur.
- Analogie : Imaginez que vous essayez d'apprendre à faire un gâteau. Vous le goûtez, et il est trop salé. Au lieu de simplement dire « Le gâteau est mauvais », vous réalisez : « Ah, la règle que j'ai écrite disait 'ajouter une pincée de sel', mais j'avais en réalité besoin de 'une pincée de sel par tasse de farine'. »
- L'ordinateur met à jour son Manuel de règles pour le rendre plus spécifique, en ajoutant des limites et des exemples afin qu'il ne refasse pas la même erreur la prochaine fois.

Ils répètent ce processus encore et encore (de manière itérative), affinant le Manuel de règles jusqu'à ce qu'il imite parfaitement le style de l'expert.

4. Ce qu'ils ont Découvert (Les Résultats)

Les auteurs ont testé cela sur neuf types différents d'écriture, allant des propositions de recherche aux logs de discussions médicales. Ils ont trouvé trois choses principales :

Meilleurs Commentaires : Lorsqu'ils ont utilisé le Manuel de règles appris par l'ordinateur pour générer des retours, ceux-ci étaient beaucoup plus précis et utiles que lorsque l'ordinateur n'avait aucun manuel ou se contentait de consulter des commentaires passés similaires.
Un Manuel de règles Plus Clair : Le Manuel de règles final n'était pas juste une liste d'idées vagues comme « soyez clair ». Il est devenu un guide détaillé et spécifique (par exemple : « Si une question de recherche est trop large, indiquez qu'elle nécessite une portée spécifique »). Il a effectivement capturé le « secret » des experts.
Meilleures Révisions : Lorsqu'ils ont donné ce Manuel de règles appris à une IA et lui ont demandé de corriger un mauvais brouillon, l'IA a fait un bien meilleur travail pour améliorer le texte afin qu'il corresponde à ce que les experts humains souhaitaient.

5. La Conclusion

Ce papier montre que vous n'avez pas besoin de demander aux experts de rédiger un manuel sur la façon de réviser les choses. Vous pouvez simplement fournir à un ordinateur leurs anciennes notes (commentaires), lui permettre de jouer à « deviner la règle » et « corriger l'erreur » de manière répétée, et il finira par apprendre un ensemble réutilisable et écrit de critères qui capture leur expertise.

Ce qu'ils n'ont PAS fait :

Ils n'ont pas testé cela sur des diagnostics médicaux ou des traitements cliniques.
Ils n'ont pas affirmé que cela remplacerait entièrement les éditeurs humains.
Ils n'ont pas dit que cela fonctionne pour n'importe quel type de données, seulement pour des ébauches de texte avec des commentaires en ligne.

En bref : Ils ont appris à un ordinateur à lire entre les lignes des retours humains et à transformer ces notes désordonnées en un manuel d'instructions propre et utilisable.

Résumé Technique : Feedback-to-Rubrics

Contexte du Problème

Les grands modèles de langage (LLM) sont de plus en plus déployés pour le soutien à la rédaction et à la révision, mais leur efficacité est souvent limitée par un manque de critères dépendants du contexte, tels que les préférences implicites des experts ou les conventions spécifiques à une organisation. Bien que des rubriques explicites puissent guider les sorties des LLM, ces critères sont fréquemment non documentés et difficiles à faire émerger directement auprès des humains. Les approches existantes pour apprendre des critères à partir du comportement humain reposent généralement sur des signaux de jugement globaux (par exemple, des scores de satisfaction ou des préférences par paires) plutôt que sur le feedback local et spécifique à un segment trouvé dans les commentaires en ligne.

Cet article introduit Feedback-to-Rubrics, un nouveau contexte de problème qui formalise l'apprentissage de rubriques réutilisables en langage naturel à partir de commentaires en ligne accumulés sur des artefacts textuels (par exemple, des brouillons rédigés par des humains ou générés par des LLM). Le défi central consiste à inférer des critères explicites qui expliquent quoi les experts soulèvent comme préoccupations, quand ils les soulèvent, et à quel niveau de granularité, en se basant uniquement sur des observations de critères tacites intégrés dans les commentaires.

Méthodologie

La méthode proposée apprend des rubriques grâce à une boucle itérative composée d'apprentissage basé sur la prédiction de commentaires et de raffinement commentaire par commentaire.

1. Définition de la Rubrique

Une rubrique à l'étape $t$ est définie comme un ensemble de critères en langage naturel $R_t = \{c_k^{(t)}\}$ . Chaque critère comprend :

Conditions d'application : Quand commenter dans un contexte local.
Texte du critère : La préoccupation spécifique et sa granularité.
Limites : Contraintes pour éviter la confusion avec des critères voisins.
Exemples : Citations cibles représentatives et commentaires de référence.

2. Boucle de Raffinement Itératif

La méthode fonctionne par étapes, en commençant par une rubrique initiale $R_0$ inférée à partir des données d'entraînement :

Prédiction et Évaluation des Commentaires : Un LLM de commentaires ( $G$ ) génère des commentaires pour des citations cibles conditionnées par la rubrique actuelle $R_t$ . Crucial, le modèle produit à la fois le commentaire et le sous-ensemble spécifique de critères $C_{ij}^{(t)}$ utilisé pour le générer. Un LLM d'évaluation ( $J$ ) compare ensuite le commentaire généré au commentaire de référence, renvoyant un score de contenu et un raisonnement.
Signal de Raffinement Commentaire par Commentaire : Contrairement aux travaux antérieurs utilisant des signaux agrégés, cette méthode construit un signal de raffinement $h_{ij}^{(t)}$ pour chaque instance, associant le résultat de la prédiction aux critères spécifiques utilisés. Ce signal inclut la citation cible, le commentaire de référence, le commentaire généré, le score, le raisonnement du juge et les critères sélectionnés.
Mise à Jour de la Rubrique : Un LLM de raffinement utilise ces signaux commentaire par commentaire pour mettre à jour la rubrique vers $R_{t+1}$ . Il distingue les critères trop larges, les préoccupations manquantes, les limites floues et les critères redondants. Le processus de raffinement permet au système de diviser les critères larges, d'en ajouter de nouveaux pour les préoccupations manquantes, ou de fusionner les redondants, tout en préservant les critères qui s'alignent bien avec le comportement de référence.

Contributions Clés

Formulation du Problème : L'introduction de Feedback-to-Rubrics, un contexte pour apprendre des rubriques en langage naturel réutilisables à partir de commentaires en ligne accumulés, comblant le fossé entre l'apprentissage des préférences globales et le feedback local au niveau des segments.
Innovation Méthodologique : Une méthode basée sur la prédiction de commentaires qui infère des rubriques initiales et les affine en utilisant des signaux de discordance commentaire par commentaire. Cette approche lie les échecs de prédiction spécifiques aux critères utilisés, permettant des mises à jour granulaires des conditions d'application et des limites de la rubrique.
Évaluation Empirique : Une évaluation complète sur trois applications en aval :
- Prédiction de Commentaires : Tester si les rubriques affinées améliorent la précision de la génération de commentaires pour des artefacts retenus.
- Compréhension de la Rubrique : Inspecter qualitativement les rubriques apprises et évaluer quantitativement leur couverture et leur précision par rapport aux rubriques de référence.
- Révision Guidée par la Rubrique : Évaluer si les rubriques apprises aident les LLM à réviser itérativement les artefacts pour mieux satisfaire les critères experts.

Résultats Expérimentaux

La méthode a été évaluée sur neuf tâches diverses, incluant des ensembles de données de révision réels (propositions de recherche, essais) et des configurations de référence dérivées de HealthBench et ExpertLongBench (Bio, Chimie, Cyber, Édu, Santé, Matériaux).

Prédiction de Commentaires : La méthode complète, utilisant un raffinement commentaire par commentaire, a obtenu un score moyen de contenu de 4,93, surpassant les méthodes de base incluant les méthodes basées sur la récupération (Top-3 RAG : 3,97) et la génération sans rubriques (2,90). L'utilisation de signaux commentaire par commentaire a apporté une amélioration constante par rapport aux rubriques initiales et aux signaux de raffinement agrégés.
Compréhension de la Rubrique : L'évaluation quantitative a montré que les rubriques affinées "Best-val" ont amélioré le rappel (couverture des critères de référence) d'une moyenne de +1,17 points à travers les domaines par rapport aux rubriques initiales, avec un léger compromis sur la précision. L'analyse qualitative a confirmé que le raffinement a élargi la couverture pour inclure des motifs plus granulaires (par exemple, l'organisation structurelle, les retours positifs) absents des hypothèses initiales.
Révision d'Artefacts : Dans les tâches de révision, les artefacts révisés en utilisant la rubrique Best-val ont satisfait significativement plus de critères de référence (amélioration moyenne de +4,30) par rapport à la condition sans rubrique (+3,41) et à la condition de rubrique initiale (+4,03).

Importance et Revendications

L'article revendique que le feedback en ligne peut être distillé en critères réutilisables et dépendants du contexte qui servent de signaux de conditionnement efficaces pour les LLM. L'importance de ce travail réside dans la démonstration que :

Les critères tacites peuvent être externalisés : Les préférences des experts, souvent non documentées, peuvent être inférées à partir de commentaires en ligne accumulés et organisées en rubriques explicites.
Les signaux locaux entraînent une amélioration globale : En utilisant des signaux de discordance commentaire par commentaire plutôt que des jugements globaux, la méthode apprend des rubriques ancrées dans des segments de texte locaux tout en se généralisant à travers les artefacts.
Polyvalence : Les rubriques apprises ne se limitent pas à la génération de commentaires ; elles soutiennent efficacement la compréhension des rubriques et guident la révision automatique des artefacts pour les aligner sur les normes experts.

Les auteurs notent des limitations, notamment la dépendance à une évaluation basée sur les LLM pour le scoring des commentaires, l'hypothèse que les citations cibles sont pré-fournies (plutôt que localisées conjointement), et l'utilisation de données de référence synthétiques pour l'évaluation ancrée sur les rubriques en raison de la rareté des ensembles de données publics contenant à la fois des commentaires en ligne et des rubriques de référence.