Résumé technique : Les limites de sélection non compensatoires liées aux preuves bloquent l'échec des juges LLM dans les pipelines de raisonnement

1. Énoncé du problème

Le document traite d'une faille critique dans le déploiement des juges basés sur les grands modèles de langage (LLM) au sein des pipelines de raisonnement. Bien que les juges soient de plus en plus utilisés pour filtrer les candidats, sélectionner des préférences ou fournir des récompenses pour l'apprentissage par renforcement (RL), leur sortie est souvent traitée comme une décision directe plutôt que comme une mesure. Les auteurs soutiennent que le coût de la décision d'un juge dépend moins de l'exactitude intrinsèque du juge que de la règle de décision qui régit son autorité.

Un juge scalaire, qui produit un score unique de « qualité », souffre de conflation : il fusionne des dimensions distinctes du raisonnement (par exemple, la validité logique vs l'ancrage factuel) en un seul nombre. Cela permet à une chaîne de raisonnement fluide mais factuellement incorrecte (par exemple, identifier correctement un pays hôte mais se tromper sur sa capitale) de recevoir un score élevé parce que la structure logique est saine, tandis que l'erreur factuelle reste silencieuse. Le papier postule que sans contraintes, un juge peut unilatéralement écraser un consensus correct par une alternative incorrecte mais bien notée, provoquant une dégradation significative de la précision.

2. Méthodologie

L'étude évalue les règles de décision sur des pools de candidats gelés générés par quatre politiques GRPO. En maintenant les candidats, les prompts et le budget de calcul fixes, les auteurs isolent l'impact de la règle de sélection elle-même.

2.1 Décomposition diagnostique (RA-MSD)

Les auteurs ont d'abord implémenté un modèle de récompense par Décision Multi-Signaux avec Augmentation par Récupération (RA-MSD). Ce dernier décompose l'évaluation du juge en sept canaux explicites calculés au niveau de l'étape :

1. Validité Logique ($R_{logic}$) : Vérifie la connexion inférentielle avec les étapes précédentes.
2. Ancrage Factuel ($R_{fact}$) : Vérifie le support par rapport aux preuves récupérées.
3. Calibration Épistémique ($R_{epist}$) : Mesure la confiance par rapport à la force des preuves.
4. Gain d'Information ($R_{info}$) : Pénalise la verbosité/l'hésitation.
5. Triangulation des Sources ($R_{triang}$) : Exige plusieurs sources corroborantes.
6. Robustesse Adversaire ($R_{adv}$) : Teste la sensibilité aux changements lexicaux vs sémantiques.
7. Suffisance Minimale ($R_{min}$) : Pénalise le remplissage avec des affirmations invérifiables.

Gatage au niveau de l'étape (Variante échouée) : Initialement, ces canaux ont été combinés en une somme pondérée où la logique et la facticité agissaient comme des contraintes de faisabilité (seuil $\tau=0.5$). Cette méthode a été utilisée comme récompense d'entraînement pour GRPO. Cependant, cette approche a échoué à améliorer la précision sur les données de test par rapport au GRPO classique, suggérant que la sommation des canaux en un scalaire pour l'optimiseur réintroduit le problème de la conflation.

2.2 Dérive–Gatage–Réparation Lié aux Preuves (EL-DGR)

L'approche réussie applique la décomposition non pas comme un signal d'entraînement, mais comme une règle de sélection post-entraînement qui subordonne le juge aux certificats de preuve. L'EL-DGR partitionne les candidats en strates de faisabilité :

1. Définition du Certificat :

   • QA par Récupération : Un certificat extractif strict $c(a, E)$ est fixé à 1 uniquement si la réponse $a$ apparaît textuellement dans la preuve récupérée $E$.
   • Arithmétique : Une réponse numérique dérivée doit être vérifiée de manière indépendante pour assurer la cohérence.

2. Logique de Décision (Non-Compensatoire) :
   Le sélecteur choisit la réponse finale $a_{EL-DGR}$ selon une hiérarchie stricte :

   • Par Défaut : La réponse du vote majoritaire ($m$) est retournée, sauf si elle est évincée.
   • Éviction (Override) : La réponse préférée du juge ($s$) est acceptée uniquement si elle est certifiée ($c(s, E)=1$) ET que la majorité n'est pas certifiée.
   • Réparation : Une réparation vérifiée ($r$) est acceptée uniquement si ni $m$ ni $s$ ne sont certifiés, mais que $r$ l'est.

Crucialement, la préférence scalaire du juge ne peut jamais promouvoir un candidat non certifié à travers les strates. Elle ne peut que classer les candidats au sein d'une même strate. Cela limite le « rayon d'action » du juge, empêchant celui-ci de convertir un consensus correct en une réponse incorrecte, à moins que la preuve elle-même ne contienne l'erreur.

3. Contributions Clés

1. Mesure de l'Autorité du Juge : Le papier démontre que sur des pools gelés, un juge scalaire sans contrainte offre une amélioration négligeable par rapport au vote majoritaire (+1,0 pp sur GSM8K, +0,34 EM sur HotpotQA) et performe nettement moins bien (−10,0 pp) sur un split de confirmation de règle gelée par rapport au vote majoritaire.
2. Règle EL-DGR : L'introduction d'une règle de décision non compensatoire et adaptative aux tâches qui subordonne le juge aux certificats de preuve. Cette règle surpasse tous les sélecteurs appariés (premier candidat, vote majoritaire, juge scalaire) sans générer de nouveaux candidats ni augmenter significativement le budget.
3. Audit de Décision et Résultats Négatifs :
   • Audit : Sur un pilote de 30 questions, l'EL-DGR a renversé le consensus sur seulement 8 questions et n'a jamais converti un consensus correct en une réponse incorrecte.
   • Résultat Négatif : La même décomposition en sept canaux utilisée comme récompense d'entraînement (sommée en un scalaire) a produit des résultats nuls, confirmant que le bénéfice provient de la logique de partitionnement et non de la granularité du score lui-même.

4. Résultats

Les expériences ont été menées sur GSM8K (500 questions) et HotpotQA (300 questions) en utilisant un pool gelé de candidats issus d'une politique Qwen2.5-3B.

• GSM8K (Arithmétique) :

  • Premier Candidat : 55,4 %
  • Vote Majoritaire : 55,8 %
  • Juge Scalaire : 56,8 %
  • EL-DGR : 58,2 % (+2,8 pp par rapport au premier candidat, $p=0,0026$).
  • Note : Le gain ici est porté par la branche exécutable « dérive-réparation », car GSM8K ne possède pas de faits externes pour l'extraction.

• HotpotQA (Récupération) :

  • Premier Candidat : 15,33 EM / 22,97 F1
  • Vote Majoritaire : 15,33 EM / 23,19 F1
  • Juge Scalaire : 15,67 EM / 23,49 F1
  • EL-DGR : 17,33 EM / 25,46 F1 (+2,00 EM par rapport au premier candidat, $p=0,0703$ ; +1,67 EM par rapport au vote majoritaire, $p=0,0625$).
  • Note : L'amélioration est portée par la contrainte liée aux preuves qui empêche le juge d'écraser le consensus supporté.

• Confirmation de Règle Gelée (HotpotQA, n=30) :

  • Le juge scalaire non contraint a obtenu 10,0 EM, soit 10 points de moins que le vote majoritaire (20,0) et 3,3 points de moins que le premier candidat (13,3).
  • Sous EL-DGR, ce même juge a atteint 26,7 EM, surpassant tous les autres sélecteurs sur ce split.

5. Signification et Revendications

La revendication principale du papier est de limiter l'autorité du juge plutôt que de chercher à rendre le juge plus précis.

• Admissibilité plutôt qu'Exactitude : L'étude suggère que dans les boucles opérationnelles, la règle de décision (contraintes d'admissibilité) est plus critique pour la fiabilité du système que le taux d'accord par paire du juge. Un juge ayant un taux d'accord de 60 % est inoffensif s'il ne peut que départager des réponses admissibles, mais dangereux s'il peut unilatéralement écraser un consensus correct.
• La Décomposition « Nulle » : Le papier stipule explicitement que décomposer le raisonnement en plusieurs signaux n'aide pas si ces signaux sont recombinés en un scalaire unique pour l'entraînement. La décomposition n'est efficace que lorsqu'elle est utilisée comme une contrainte structurelle (une partition) qui empêche la compensation entre les dimensions.
• Conseils aux Praticiens : Les auteurs conseillent aux praticiens de définir le « défaut » que le juge doit battre, le « certificat » requis pour l'écraser, et de mesurer le taux d'écrasement. Ils soutiennent que contraindre ce qu'un juge peut contester est un mécanisme de sécurité plus simple et plus efficace que le fine-tuning du juge lui-même.

Limites : Les auteurs reconnaissent que leurs résultats sont basés sur une seule graine d'entraînement, une politique 3B et un juge 7B. Les scores absolus ne sont pas comparables à ceux des modèles de pointe en raison du budget contraint et des artefacts hérités dans le pool de candidats. La puissance statistique pour certaines comparaisons (ex: contraste premier candidat sur HotpotQA) est à la limite de la significativité.