🤖 AI

CoRE: Consensus Rewards via Equilibrium for Test-Time Reinforcement Learning

Le document présente CoRE, une méthode d'apprentissage par renforcement au moment de l'inférence qui remplace le vote majoritaire fragile par des récompenses de consensus basées sur des graphes, dérivées de la dynamique du réplicateur, afin de fournir des signaux gradués et auto-supervisés qui améliorent la précision et la vitesse de convergence à travers divers modèles et benchmarks.

Auteurs originaux : Ambuj Mehrish, Sebastiano Vascon

Publié 2026-08-11

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ambuj Mehrish, Sebastiano Vascon

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où un robot super intelligent essaie d'apprendre à résoudre une énigme complexe, mais où personne n'est là pour lui dire s'il a trouvé la bonne réponse. C'est le quotidien des modèles d'IA modernes lorsqu'ils sont confrontés à de nouvelles questions non étiquetées. Pour apprendre, ces modèles ont généralement besoin d'un enseignant pour leur dire : « Bon travail ! » ou « Réessaie ! » en se basant sur un corrigé. Mais que se passe-t-il lorsqu'il n'y a pas de corrigé ? C'est là qu'intervient un domaine appelé l'Apprentissage par Renforcement au Moment du Test (Test-Time Reinforcement Learning). C'est une astuce ingénieuse où l'IA tente de s'auto-enseigner en générant de nombreuses tentatives différentes (appelées « roll-outs ») sur le même problème, puis en examinant son propre travail pour déterminer ce qu'elle doit croire.

La méthode standard consiste en un vote de classe. Si l'IA génère 64 réponses différentes, elle compte simplement les voix. Si 35 disent « 42 » et 29 disent « 17 », l'IA suppose que « 42 » est la vérité car elle a reçu le plus de voix. Elle récompense ensuite chaque tentative qui a dit « 42 » et punit les autres. Cela fonctionne bien la plupart du temps, mais cela présente une faille fatale : cela traite une chance pure de la même manière qu'une solution brillante et bien raisonnée, et cela ignore la possibilité que la « majorité » puisse être avec certitude dans l'erreur. Si un petit groupe d'essais intelligents et confiants dit « 17 » tandis qu'un groupe plus large et confus crie « 42 », le système de vote écrasera la minorité intelligente. Ce papier pose la question suivante : pouvons-nous construire une manière plus intelligente pour l'IA de s'écouter elle-même, une manière qui valorise la façon dont les réponses concordent, et pas seulement combien de réponses concordent ?

Le problème de l'urne électorale

Imaginez un groupe de détectives essayant de résoudre un crime. Dans l'ancienne méthode (la méthode du « Vote à la Majorité »), ils lèvent simplement la main. Si 60 détectives pointent le majordome et 40 pointent le jardinier, le majordome est coupable. Mais que se passe-t-il si les 60 qui pointent le majordome sont tous confus, alors que les 40 qui pointent le jardinier sont en réalité les seuls à avoir lu correctement les indices ? Le système de vote punirait les détectives intelligents et récompenserait les confus, rendant toute l'équipe plus stupide au fil du temps.

C'est exactement ce qui arrive aux modèles d'IA utilisant l'apprentissage par renforcement standard au moment du test. Ils génèrent un ensemble de réponses, comptent les vainqueurs et supposent que le vainqueur a raison. Si l'IA commet une erreur systématique qui s'avère être populaire, elle renforce cette erreur. C'est comme une démocratie défaillante où la voix la plus forte l'emporte, même si elle hurle des absurdités.

Entrée en scène : CoRE, la table ronde des détectives

Les auteurs de ce papier, Ambuj Mehrish et Sebastiano Vascon, proposent une nouvelle méthode appelée CoRE (Consensus Rewards via Equilibrium). Au lieu de simplement compter les têtes, CoRE traite les tentatives de l'IA comme un réseau complexe de relations.

Voici comment cela fonctionne, en utilisant une analogie simple :
Imaginez que les 64 tentatives de l'IA sont des personnes assises dans une pièce.

Le Graphe : Au lieu de simplement crier des réponses, ces personnes forment un vaste réseau de connexions. Deux personnes sont connectées si elles ont donné la même réponse. Mais la connexion n'est pas seulement un « oui/non ». Elle est pondérée par la similitude de leur raisonnement (ont-elles utilisé la même logique ?) et par leur niveau de confiance (parlaient-elles avec certitude ?).
L'Équilibre : Le système exécute ensuite une simulation mathématique appelée « dynamique des réplicateurs ». Voyez cela comme un jeu de chaises musicales où les personnes qui sont le plus soutenues par leurs voisins confiants et logiques commencent à se lever et à former un cercle serré et solide. L'« ensemble dominant » est le groupe qui détient le plus de soutien mutuel.
La Récompense : Au lieu de donner un simple score de « passage » ou d'« échec » à tous ceux qui ont voté pour le vainqueur, CoRE attribue un score gradué. Si votre réponse faisait partie d'un cercle serré, confiant et logique, vous recevez une récompense élevée. Si vous faisiez partie d'un groupe faible et confus, vous recevez une récompense faible. Même si vous étiez dans la minorité, si votre groupe était le plus cohérent et le plus confiant, CoRE pourrait même vous choisir comme vainqueur.

Ce qu'ils ont découvert

Les chercheurs ont testé cette nouvelle méthode « CoRE » contre l'ancienne méthode du « Vote à la Majorité » sur sept modèles d'IA différents et cinq benchmarks de mathématiques et de sciences. Ils ont mené les expériences avec trois graines aléatoires différentes (essentiellement trois conditions de départ différentes) pour s'assurer que les résultats étaient réels.

Les résultats sont très prometteurs :

Meilleurs scores : En moyenne, les modèles utilisant CoRE ont amélioré leur précision de 21,7 points par rapport à leur point de départ sans apprentissage. L'ancienne méthode de vote n'a progressé que de 20,4 points.
Gagner les batailles contestées : La véritable magie s'est produite lorsque les réponses étaient partagées. Dans les situations où l'IA était incertaine et où le « vote » était serré, CoRE a battu la méthode de vote jusqu'à 7,5 points. Il a réussi à sauver la « minorité intelligente » que le système de vote aurait ignorée.
Apprentissage plus rapide : CoRE n'est pas seulement devenu meilleur ; il y est parvenu plus vite. Il a atteint le même niveau de précision finale que la méthode de vote en 54 % à 70 % de étapes en moins. Cela suggère que les récompenses graduées et nuancées de CoRE donnent un signal plus clair et plus utile à l'IA pour apprendre.

La « Zone de Récupération »

Le papier explique également quand cela fonctionne le mieux. Ils ont trouvé une « zone de récupération » spécifique. Si l'IA est tellement mauvaise qu'elle ne peut pas résoudre le problème du tout, ou si elle est si bonne que tout le monde est d'accord, CoRE agit exactement comme l'ancienne méthode de vote (ce qui est parfait). Mais dans le flou intermédiaire — là où un petit groupe de réponses correctes et confiantes combat un groupe plus large de réponses fausses et confiantes — CoRE excelle.

Les auteurs ont démontré mathématiquement que si les bonnes réponses sont ne serait-ce qu'un peu plus confiantes que les mauvaises, CoRE peut inverser la tendance et choisir la bonne réponse, même si elle est minoritaire. C'est comme un juge sage qui réalise que les 40 détectives ayant un alibi solide sont plus dignes de confiance que les 60 détectives qui ont simplement deviné.

L'essentiel

Ce papier suggère que nous n'avons pas besoin de jeter entièrement le système de vote ; CoRE inclut en fait le vote comme un cas particulier. Mais en ajoutant une couche d'« intelligence sociale » — en observant comment les réponses se soutiennent mutuellement et quel est leur degré de confiance — nous pouvons transformer un vote fragile et binaire en un système de récompense intelligent et calibré.

Les auteurs précisent avec prudence que ce n'est pas une baguette magique qui répare tout. Si l'IA est totalement perdue (le « plancher de compétence »), CoRE ne peut pas inventer une réponse correcte à partir de rien. Mais pour les problèmes difficiles où l'IA est presque juste mais se laisse confondre par la foule, CoRE suggère une façon d'écouter la voix calme et confiante de la raison plutôt que le cri le plus fort. Il transforme un simple décompte de voix en une conversation sophistiquée, aidant les modèles d'IA à apprendre plus vite et plus intelligemment de leurs erreurs.

Résumé Technique : CoRE – Consensus Rewards via Equilibrium pour le Reinforcement Learning au Temps de Test

Énoncé du Problème

Le Reinforcement Learning au Temps de Test (TTRL - Test-time Reinforcement Learning) vise à améliorer le raisonnement des modèles de langage sur des données de test non étiquetées en dérivant une supervision à partir des propres déploiements (roll-outs) du modèle. L'approche standard, le Vote Majoritaire, traite l'ensemble des $N$ réponses échantillonnées comme une urne électorale : elle identifie la réponse la plus fréquente comme un pseudo-étiquetage et assigne une récompense binaire (1 ou 0) aux trajectoires correspondant à cette étiquette.

Cette approche souffre de trois limitations critiques :

Agrégation Fragile : Elle rejette les réponses correctes si elles constituent une minorité, même si elles sont cohérentes en interne. Inversement, elle récompense des clusters majoritaires incorrects, ce qui peut amplifier les erreurs systématiques.
Récompenses Binaires : Elle assigne des récompenses identiques à une dérivation bien soutenue et à un coup de chance, échouant ainsi à distinguer la qualité de l'accord.
Pondération Uniforme des Questions : Elle traite chaque question de la même manière, qu'il s'agisse d'un consensus cohérent ou d'un ensemble fragmenté de solutions incompatibles.

Le défi central est de construire un signal de récompense à partir de déploiements non étiquetés qui capture la structure relationnelle et le soutien mutuel entre les chemins de raisonnement, plutôt que de simplement compter les voix.

Méthodologie : CoRE

Les auteurs proposent CoRE (Consensus Rewards via Equilibrium), une méthode qui remplace le vote majoritaire par une approche d'équilibre basée sur les graphes. CoRE opère sur les mêmes $N$ déploiements que le TTRL standard, mais les traite différemment pour générer des signaux raffinés.

1. Construction du Graphe de Déploiement

CoRE construit un graphe pondéré $G=(V, E, \omega)$ où les nœuds représentent les $N$ déploiements. Les arêtes sont définies par une matrice d'affinité $A'$ qui combine trois signaux :

Accord sur la Réponse : Un noyau dur $K_{ans}$ garantit que des arêtes n'existent qu'entre des déploiements ayant la même réponse extraite.
Similitude du Raisonnement : Un noyau doux $K_{rsn}$ basé sur la similitude cosinus de vecteurs $n$ -grammes TF-IDF du texte de raisonnement renforce les liens au sein d'une même classe de réponse.
Calibration de la Confiance : Les poids des nœuds $w_i$ sont dérivés de la confiance de génération (moyenne des log-probabilités des tokens). Les arêtes sont mises à l'échelle par la moyenne géométrique des confiances des extrémités ( $\sqrt{w_i w_j}$ ), garantissant que les trajectoires à haute confiance se renforcent mutuellement plus fortement.

La matrice d'affinité finale $A'$ est bloc-diagonale, où chaque bloc correspond à une classe de réponse unique.

2. Extraction de l'Ensemble Dominant via la Dynamique de Réplicateur

Au lieu de compter les votes, CoRE extrait un Ensemble Dominant (DS - Dominant Set) du graphe en utilisant la Dynamique de Réplicateur (RD - Replicator Dynamics), un processus d'optimisation issu de la théorie des jeux évolutionnaires.

Initialisation : Le système part du barycentre du simplexe, assignant une masse initiale proportionnelle à la taille de chaque classe de réponse (partant ainsi de facto du vote majoritaire).
Dynamique : Le système met à jour de manière itérative la distribution de masse $x$ basée sur la forme quadratique $x^\top A' x$ . Ce processus converge vers un point stable $x^*$ où la masse se concentre sur le sous-ensemble de trajectoires les plus mutuellement soutenues.
Résultat : Le support de $x^*$ (les nœuds ayant une masse supérieure à un seuil) définit le consensus.

3. Génération de Récompense

À partir de l'état d'équilibre $x^*$ , CoRE dérive trois signaux distincts :

Pseudo-étiquette Raffinée ( $y^*$ ) : La classe de réponse ayant la masse d'équilibre la plus élevée. Cela peut différer du vote de pluralité si une minorité plus petite, mais hautement cohérente, émerge comme dominante.
Récompenses Graduées ( $R_i$ ) : Chaque déploiement reçoit une récompense continue proportionnelle à son affinité avec le consensus, plutôt qu'une valeur binaire 0/1.
Porte de Cohésion ( $w_q$ ) : Un scalaire au niveau de la question mesurant la cohérence globale du consensus. Cette porte module la fonction de perte dans la mise à jour de la politique (GRPO), filtrant les questions où aucun consensus fiable n'existe.

Contributions Clés

1. Innovation Méthodologique

CoRE est la première méthode de TTRL utilisant l'extraction d'Ensemble Dominant pour construire des récompenses. Elle transforme le groupe de déploiements d'une "urne électorale" en un "graphe", permettant de récupérer des clusters minoritaires corrects qui sont cohérents et confiants, même s'ils sont en infériorité numérique. Elle s'intègre directement dans GRPO sans nécessiter de modèles auxiliaires ou de déploiements supplémentaires.

2. Analyse Théorique

L'article fournit un cadre théorique rigoureux :

Généralisation : Il est prouvé que le vote majoritaire est un cas particulier de CoRE (lorsque la similitude du raisonnement est ignorée et la confiance uniforme).
Seuil de Récupération : Une analyse de valeur de bloc dérive le seuil exact auquel une minorité correcte peut renverser une pluralité incorrecte. Ce seuil dépend du ratio des tailles de clusters et de leur cohérence interne.
Multiplication de la Confiance : L'analyse prouve que la calibration de la confiance abaisse multiplicativement le seuil de récupération. Plus précisément, si les déploiements corrects sont plus confiants que les incorrects, la cohérence requise pour qu'une minorité l'emporte diminue exponentiellement avec l'écart de confiance.

3. Preuves Empiriques

Évalué sur 7 backbones (Qwen, DeepSeek, Llama, Mistral) et 5 benchmarks (AMC, AIME, MATH-500, MATH-L4/5, GPQA-Diamond) avec 42 configurations modèle-benchmark :

Performance : CoRE améliore la précision de +21,7 points par rapport au modèle de base non entraîné en moyenne sur les 42 cellules modèle-benchmark, surpassant le TTRL par vote majoritaire (+20,4 points). Notamment, les modèles spécialisés en mathématiques montrent à eux seuls une amélioration moyenne de +25,0 points.
Consensus Contesté : CoRE obtient des gains allant jusqu'à +7,5 points par rapport au vote, spécifiquement dans les scénarios où l'accord est contesté (ex: sous-ensembles MATH-L4/L5).
Efficacité d'Échantillonnage : CoRE atteint le plateau de précision finale du baseline de vote en 54 à 70 % d'étapes d'optimisation en moins.
Ablation : Supprimer soit la structure de graphe, soit la calibration de la confiance réduit les performances à des niveaux proches du vote majoritaire, confirmant que la synergie entre cohérence structurelle et confiance est essentielle.

Signification et Revendications

L'article affirme que le consensus n'est pas simplement un comptage. En modélisant le soutien mutuel entre les chemins de raisonnement, CoRE convertit un mécanisme de vote fragile en un signal de récompense calibré et gradué, auto-supervisé.

Mécanisme : La méthode réussit en extrayant la supervision de "groupes corrects plus petits, cohérents et confiants" que les comptes de votes ignorent.
Régimes de Fonctionnement : Les gains se concentrent dans le "régime intermédiaire" où une minorité correcte cohérente existe mais n'est pas la pluralité. Dans les régimes de "saturation" (réponses correctes quasi-unanimes) ou de "seuil de compétence" (tentatives aléatoires), CoRE dégrade naturellement vers ou performe de manière similaire au vote majoritaire, évitant ainsi le surapprentissage du bruit.
Auto-supervision : CoRE démontre que traiter les déploiements comme un graphe plutôt que comme des échantillons indépendants produit un signal d'entraînement plus dense, améliorant à la fois la qualité de la pseudo-étiquette et l'efficacité de la mise à jour de la politique.

Les auteurs concluent que CoRE représente une composante substantielle du RL auto-supervisé, offrant une manière fondée sur des principes de gérer le désaccord lors de l'adaptation au temps de test sans supervision externe.