💬 NLP

Pair2Score: Pairwise-to-Absolute Transfer for LLM-Based Essay Scoring

L'article présente Pair2Score, un cadre à deux étapes économe en paramètres qui transfère les comparaisons par paires vers le notation absolue de dissertations via l'adaptation de LLaMA, démontrant que des configurations de transfert spécifiques et des étapes d'entraînement par paires limitées améliorent significativement la précision de notation par rapport aux bases de référence utilisant uniquement la notation absolue.

Auteurs originaux : İbrahim Rıza Hallaç, Hasan Oğul

Publié 2026-05-05

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : İbrahim Rıza Hallaç, Hasan Oğul

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un enseignant tentant de noter des centaines de copies d'élèves. Vous devez attribuer à chaque copie un nombre précis, comme un « 7 sur 10 » pour la grammaire ou un « 8 sur 10 » pour le vocabulaire. C'est ce qu'on appelle le notage absolu. C'est difficile car le « 7 » est un concept vague ; différents enseignants pourraient ne pas s'accorder sur ce à quoi correspond réellement un 7.

Cependant, il est beaucoup plus facile pour un enseignant de comparer deux copies côte à côte et de dire : « La copie A est nettement meilleure que la copie B. » C'est ce qu'on appelle la comparaison par paires.

L'article présente une nouvelle méthode appelée Pair2Score. Imaginez-la comme un programme de formation en deux étapes pour une intelligence artificielle (spécifiquement un grand modèle de langage appelé LLaMA) afin qu'elle apprenne à attribuer ces scores délicats de « 7 sur 10 » en pratiquant d'abord le jeu plus simple du « A est meilleur que B ».

Voici comment le processus fonctionne, en utilisant des analogies simples :

Le Camp d'Entraînement en Deux Étapes

Étape 1 : Le « Test de Goût » (Classement par paires)
Imaginez que vous formez un critique gastronomique. Au lieu de lui demander de noter un burger « 7/10 » immédiatement, vous lui montrez deux burgers et lui demandez : « Lequel a le meilleur goût ? »

L'IA examine des paires de copies.
Elle apprend à repérer la différence : « Cette copie a une meilleure grammaire que celle-là. »
Elle ne se soucie pas encore du nombre exact ; elle apprend simplement la direction de la qualité.
La Surprise : L'article a révélé qu'il n'est pas nécessaire de former le critique sur des milliers de comparaisons pendant longtemps. En fait, une session de « test de goût » très courte (une seule passe d'entraînement) était souvent meilleure qu'une session longue et épuisante. C'est comme offrir à l'IA un rapide moment de « eureka ! » sur à quoi ressemble une bonne écriture, plutôt que de la faire répéter pendant des semaines.

Étape 2 : Le « Examen Final » (Notage absolu)
Maintenant, l'IA utilise les connaissances acquises à l'Étape 1 pour tenter d'attribuer les nombres réels (de 1 à 5) aux copies individuelles.

Les chercheurs ont essayé deux méthodes pour transférer les connaissances de l'Étape 1 à l'Étape 2 :
1. Démarrage à chaud (Warm-Start) : Imaginez que l'IA est un élève ayant terminé le cours de « Test de Goût ». Pour l'« Examen Final », elle conserve ses notes et son état mental du premier cours comme point de départ. Elle doit simplement apprendre à traduire « meilleur/pire » en « 7/10 ».
2. Fusion : Imaginez que l'élève apporte une triche (un résumé du test de goût) dans la salle d'examen. Il regarde la copie, consulte sa triche, et combine les deux informations pour attribuer une note.

Qu'ont-ils Découvert ?

Les chercheurs ont testé cela sur trois compétences spécifiques : la Grammaire, le Vocabulaire et la Syntaxe. Ils ont mené l'expérience de nombreuses fois pour s'assurer que les résultats n'étaient pas dus au hasard.

Voici les principales conclusions, traduites en termes courants :

La Raccourci Fonctionne : Utiliser le « Test de Goût » (comparaisons par paires) comme échauffement a généralement aidé l'IA à donner de meilleures notes finales que si elle avait tenté d'apprendre les nombres à partir de zéro.
Moins est Plus (Parfois) : La découverte la plus surprenante concernait le temps. Former l'IA à comparer des copies pendant longtemps n'a pas beaucoup aidé. En fait, arrêter l'entraînement de comparaison après seulement une passe (un epoch) était souvent la méthode la plus fiable pour obtenir de bons résultats. Cela suggère que l'IA avait simplement besoin d'un petit « coup de pouce » dans la bonne direction, et non d'une plongée profonde dans le classement.
Ce n'est Pas Juste d'être Bon en Comparaison : Vous pourriez penser : « Si l'IA est vraiment bonne pour dire que la copie A est meilleure que la copie B, elle sera excellente pour noter. » L'article dit non. Une IA pourrait être une championne de la comparaison de copies et échouer tout de même à donner de bonnes notes absolues. La méthode utilisée pour transférer les connaissances (Démarrage à chaud vs Fusion) importait tout autant que la qualité de l'entraînement de comparaison.
Pas de Solution Miracle : Il n'existait pas un seul paramètre « parfait » qui fonctionnait pour tous les types de copies. Parfois, la méthode « Fusion » fonctionnait le mieux ; parfois, c'était le « Démarrage à chaud ». Cela dépendait du trait spécifique (grammaire vs vocabulaire) et du lot spécifique de copies.

La Conclusion

L'article soutient que pour enseigner à une IA à noter des copies avec un nombre précis, vous ne devriez pas simplement lui jeter les nombres immédiatement. À la place, laissez-la pratiquer la comparaison de copies en premier.

Cependant, ne forcez pas trop la pratique. Une session rapide et ciblée sur la comparaison de copies suffit souvent pour donner à l'IA la bonne « intuition ». Une fois qu'elle a cette intuition, vous pouvez lui apprendre à attribuer les nombres finaux, et elle fera un meilleur travail que si elle n'avait jamais vu de comparaisons.

Note Importante : Les auteurs sont très prudents en précisant qu'il s'agit d'une expérience spécifique sur la notation de copies. Ils ne prétendent pas que cela fonctionne pour les diagnostics médicaux, les jugements juridiques ou d'autres domaines pour l'instant. Ils montrent simplement que, pour la notation de copies, cette méthode spécifique en deux étapes « comparer puis noter » est une voie prometteuse pour obtenir de meilleurs résultats.

Résumé technique : Pair2Score

Énoncé du problème

De nombreuses applications d'évaluation, en particulier l'évaluation automatique des rédactions (AES), nécessitent des prédictions absolues (par exemple, attribuer un score spécifique à une rédaction selon une grille d'évaluation). Cependant, la collecte d'étiquettes absolues est souvent coûteuse en ressources, tandis que les comparaisons par paires (déterminer laquelle de deux rédactions est meilleure) sont plus faciles à obtenir et peuvent porter une information locale plus forte.

La question de recherche centrale abordée par cet article est la suivante : L'apprentissage par paires peut-il servir d'objectif intermédiaire efficace pour l'évaluation absolue des rédactions alignée sur une grille ? Plus précisément, les auteurs examinent comment transférer les connaissances d'un modèle comparatif entraîné sur des paires de documents vers un évaluateur absolu en aval, en utilisant des modèles de langage de grande taille (LLM).

Méthodologie : Cadre Pair2Score

Les auteurs proposent Pair2Score, un cadre d'apprentissage en deux étapes conçu pour transférer les comparaisons par paires vers un score absolu en utilisant une adaptation efficace des paramètres des LLM (LoRA). Le cadre utilise un socle Meta LLaMA-3.2-1B et fonctionne comme suit :

Étape 1 : Classement Siamese directionnel (Objectif relatif)

Architecture : Une configuration Siamese avec un socle LLaMA+LoRA partagé traite deux documents ( $a$ et $b$ ).
Objectif : Le modèle apprend une préférence directionnelle. Il utilise une tête d'utilité linéaire sans biais pour calculer des utilités scalaires $s(h_a)$ et $s(h_b)$ à partir de représentations cachées regroupées. Le logit de comparaison est défini comme $\Delta(a, b) = s(h_a) - s(h_b)$ .
Contrainte : La conception impose une antisymétrie ( $\Delta(b, a) = -\Delta(a, b)$ ), assurant des préférences cohérentes indépendamment de l'ordre d'entrée.
Perte : Le modèle est entraîné à l'aide d'une perte logistique par paires pour maximiser $\Delta(a, b) > 0$ pour les paires où le document $a$ possède une étiquette de trait absolu supérieure à celle de $b$ .
Sortie : L'étape produit un adaptateur LoRA entraîné et, optionnellement, des plongements regroupés.

Étape 2 : Score absolu avec transfert (Objectif absolu)

Objectif : Entraîner un régresseur absolu pour prédire directement les scores de traits (par exemple, grammaire, vocabulaire, syntaxe), en optimisant la perte L1 et en évaluant avec le Kappa pondéré quadratique (QWK).
Mécanismes de transfert : Les auteurs comparent trois configurations :
1. Référence (Absolu uniquement) : Un nouvel adaptateur LoRA est entraîné à partir de zéro sur des étiquettes absolues.
2. Démarrage à chaud : Le score absolu est initialisé avec les poids de l'adaptateur LoRA de l'étape 1 (la tête par paires est rejetée).
3. Fusion de plongements : En plus de l'initialisation par démarrage à chaud, les plongements précalculés de l'étape 1 sont concaténés à la représentation regroupée actuelle avant la tête de régression.
Variables : L'étude fait varier la taille de l'ensemble de paires (petite vs grande) et la durée de l'étape par paires (multi-époches standard vs une seule époque).

Protocole expérimental

Jeu de données : Le jeu de données Feedback Prize English Language Learning (corpus ELLIPSE), se concentrant sur trois traits : grammaire, vocabulaire et syntaxe.
Évaluation : Un protocole de validation croisée à cinq plis où le pli retenu et la graine aléatoire sont co-rotatifs (par exemple, le pli A utilise la graine 42, le pli B utilise la graine 48). Cela garantit que la stochasticité fait partie des preuves mesurées plutôt que d'être moyennée.
Métriques : La métrique principale est le QWK de test.

Contributions clés

Formulation de l'espace de conception : L'article présente le transfert de score relatif vers absolu comme un espace de conception défini par trois axes : objectif intermédiaire, mécanisme de transfert et cible en aval. Il instancie un chemin spécifique (préférence par paires $\to$ démarrage à chaud/fusion $\to$ régression absolue).
Résultats empiriques sur le transfert : Sur 15 évaluations au niveau des plis (3 traits $\times$ 5 plis), les auteurs constatent que la qualité du classement par paires seule ne prédit pas si le transfert améliorera le score absolu. Au contraire, le choix du mécanisme de transfert et la durée de l'étape par paires sont critiques.
Sensibilité à la durée : Un motif clair émerge concernant la durée de l'étape par paires : une seule époque d'entraînement par paires transfère plus fiablement qu'un entraînement prolongé. Cela suggère que l'étape par paires fonctionne principalement comme une initialisation précoce efficace plutôt que comme une phase prolongée d'optimisation du classement.
Absence de corrélation : L'étude démontre une faible corrélation entre la précision par paires de l'étape 1 et la performance de score absolu de l'étape 2, indiquant que le succès en aval dépend davantage de la configuration de transfert et des variations de plis/graines que des gains marginaux dans les métriques de classement de l'étape 1.

Résultats

Performance : La variante de transfert la plus performante a amélioré le QWK par rapport à la référence absolue uniquement pour les trois traits (Grammaire, Vocabulaire, Syntaxe).
Cohérence : Aucune configuration unique n'a dominé sur toutes les exécutions. Cependant, lorsque la meilleure variante de transfert a été sélectionnée pour chaque évaluation trait-pli, le transfert par paires a surpassé la référence dans 11 cas sur 15, avec un $\Delta$ QWK moyen de +0,012.
Impact de la configuration :
- Durée : Le paramétrage par paires « une époque » a constamment surpassé ou égalé le paramétrage « standard » (multi-époches) dans la plupart des configurations.
- Taille de l'ensemble de paires : L'augmentation du nombre de paires (de ~3k à ~6k) n'a pas apporté d'avantage cohérent.
- Mécanisme de transfert : Le démarrage à chaud et la fusion de plongements ont tous deux montré des avantages, mais le « gagnant » spécifique variait selon le trait et le pli.

Importance et affirmations

L'article affirme modestement que Pair2Score démontre que la supervision comparative peut être une étape intermédiaire utile pour l'évaluation absolue alignée sur une grille, mais seulement si le chemin de transfert est soigneusement configuré.

Les auteurs soulignent que le bénéfice n'est pas automatique ; ajouter simplement une étape par paires ne garantit pas une amélioration. L'idée clé est que l'étape par paires contribue principalement par une initialisation précoce (fournissant un meilleur point de départ pour le score absolu) plutôt que par l'accumulation de connaissances de classement sur de nombreuses époques.

Ce travail positionne le transfert relatif-vers-absolu comme une question de modélisation distincte où l'objectif intermédiaire, le chemin de transfert et la cible en aval doivent être considérés ensemble. Les auteurs reconnaissent les limites, notant que leur évaluation ne couvre qu'un seul chemin à travers le vaste espace de conception (spécifiquement, la préférence par paires avec démarrage à chaud/fusion dans un contexte AES) et qu'une validation supplémentaire est nécessaire pour d'autres objectifs intermédiaires, socles et flux de travail d'évaluation.