Résumé Technique : Agon – Apprentissage par Renforcement Compétitif entre Modèles avec Notation Implicite du Rival

1. Énoncé du Problème

L'apprentissage par renforcement à partir de récompenses vérifiables (RLVR) actuel, en particulier les méthodes comme l'optimisation de politique relative de groupe (GRPO), repose uniquement sur des récompenses basées sur le résultat (c'est-à-dire la justesse de la réponse finale). Bien que cette approche soit efficace pour les tâches possédant une vérité terrain claire, elle échoue à évaluer le processus de raisonnement (la « trace ») lui-même. Sur des problèmes difficiles, cela crée une forte incitation pour les modèles à augmenter la quantité de raisonnement (la longueur) plutôt que la qualité. Les modèles apprennent à « écrire plus » en ajoutant des formules d'atténuation, des retours en arrière et des tentatives redondantes pour augmenter la probabilité de tomber sur la bonne réponse, ce qui conduit à une « pathologie de la longueur » où le nombre de tokens augmente de manière significative tandis que la précision ne s'améliore que marginalement.

Évaluer directement le raisonnement est intraitable car il n'existe pas de vérité terrain pour un « bon raisonnement » (pas d'étiquettes pour des étapes de réflexion spécifiques et perspicaces), et les modèles de récompense de processus appris sont coûteux, fragiles et invérifiables. Le papier postule qu'un second modèle peut fournir le signal manquant : si une politique concurrente tente le même problème et est récompensée pour avoir mieux raisonné que la première, la trace du raisonnement est évaluée implicitement sans étiquettes de processus explicites.

2. Méthodologie : Agon

Agon (du grec « combat » ou « contestation ») est un cadre d'entraînement qui optimise conjointement deux politiques distinctes, $A$ et $B$, dans un contexte de confrontation directe.

Mécanisme Central

Le processus d'entraînement fonctionne par alternance de rôles (rédaction et défi) avec une rotation par étape :

1. Rédaction (Drafting) : Un modèle (le rédacteur) génère $N$ déploiements à partir d'un prompt de problème simple. Il reçoit une mise à jour GRPO standard basée uniquement sur la justesse de sa réponse finale.
2. Défi (Challenging) : L'autre modèle (le challenger) lit un résumé de la solution du rédacteur (le récapitulatif post-raisonnement, excluant la trace brute et la réponse finale). Le challenger génère ensuite un nouveau déploiement tentant de résoudre le problème, en corrigeant ou en améliorant potentiellement le travail du rédacteur.
3. Récompense : Le challenger reçoit une récompense compétitive qui dépend à la fois de sa propre justesse et du résultat du rédacteur.
   • Justesse : Récompense binaire standard pour une réponse correcte.
   • Bonus de Conversion : Un bonus supplémentaire est accordé si le challenger résout le problème correctement et que le rédacteur a échoué ($c(b_i) \cdot (1 - c(a_i))$). Cela incite le challenger à identifier et à corriger les erreurs du rédacteur.
   • Égalité de Longueur Optionnelle : Un bonus peut être appliqué si le challenger est correct et utilise moins de tokens qu'un rédacteur correct, encourageant la concision sans pénaliser la justesse.

Architecture et Efficacité

• Instanciation par Double-Adaptateur : Pour maintenir l'efficacité, les deux politiques sont instanciées sous forme d'adaptateurs LoRA (Low-Rank Adaptation) sur un seul modèle de base gelé. Cela permet de garder une surcharge mémoire faible (~2 % du modèle de base) et garantit que les politiques opèrent dans des espaces de représentation compatibles.
• Divergence : Les deux adaptateurs sont initialisés différemment (l'un avec une initialisation à zéro standard, l'autre avec un bruit gaussien de faible intensité) et reçoivent des flux de gradients différents en raison de la rotation des rôles. Cette divergence structurelle garantit qu'ils développent des « angles morts » différents, empêissant le système de s'effondrer dans l'auto-jeu (self-play) ou la simple distillation.
• Inférence : Au déploiement, la paire fonctionne comme une cascade en deux étapes : un modèle rédige une solution, puis le second lit le résumé pour produire la réponse finale.

Justification Théorique

Le papier soutient que l'auto-amélioration par un seul modèle (self-play) plafonne souvent car le modèle ré-audite son propre travail en utilisant les mêmes biais qui ont causé les erreurs. En introduisant un second modèle avec des modes de défaillance différents, Agon brise cette boucle fermée. Le « correcteur » est un agent distinct, et comme les deux modèles sont optimisés, la difficulté du « rival » augmente avec le temps, poussant les deux politiques au-delà du plafond de l'apprentissage par renforcement à modèle unique.

3. Principales Contributions

1. Recadrage de la Qualité du Raisonnement : Le papier recadre la qualité du raisonnement comme une récompense implicite fournie par un pair concurrent, transformant le problème non étiqueté du « bon raisonnement » en un jeu de confrontation directe.
2. La Recette Agon : Une nouvelle recette d'entraînement utilisant un GRPO compétitif avec des déploiements de rédaction et de défi, une rotation de rôle par étape et une structure de récompense compétitive (justesse + bonus de conversion). Elle s'exécute sur des entraîneurs GRPO standards sans changement d'optimisation central.
3. Implémentation Efficace : Une instanciation à double adaptateur sur une base partagée qui rend l'entraînement de deux politiques concurrentes presque aussi peu coûteux que l'entraînement d'un seul modèle.
4. Validation Empirique : Un design expérimental 2x2 (croisant compétition vs coopération et échange d'informations vs absence d'échange) qui isole la valeur de la pression adversaire et de l'échange d'informations inter-modèles.

4. Résultats Expérimentaux

Les expériences ont été menées sur la division DeepMath-hard (utilisant des modèles Qwen3) et sur un sous-ensemble de programmation compétitive de CodeContests.

• Gains de Performance : Sur la division DeepMath-hard avec Qwen3-0.6B :
  • GRPO Vanille : 30 % pass@1.
  • Échange Coopératif (sans compétition) : 46 % pass@1.
  • Agon (Compétition + Échange) : 61 % pass@1.
  • Cela représente un doublement de la performance de GRPO et un gain d'environ 8x par rapport à une ligne de base Mixture-of-Agents (MoA) non entraînée.
• Mise à l'échelle (Scaling) : Les gains persistent à travers les familles de modèles (Qwen3.5, Gemma 4) et les tailles. Notamment, la cascade Agon sur une base de 0.6B (61 %) a surpassé un modèle de base 4B entraîné par GRPO vanille (59 %).
• Longueur de la Trace : Agon réduit considérablement la longueur du raisonnement. La trace de l'étape finale moyenne 3,5k tokens contre 8,1k tokens pour le GRPO vanille, tout en atteignant une précision supérieure. Ce raccourcissement est une propriété émergente de la compétition, et non une pénalité explicite.
• Ablations :
  • Compétition : Supprimer le bonus compétitif (coopération uniquement) fait chuter la performance à 46 %.
  • Échange : Supprimer l'échange d'informations visible (adversaire caché du contexte) fait chuter la performance à 32 % (proche du GRPO vanille), confirmant que le gradient compétitif nécessite une variance de contexte visible pour fonctionner.
  • Rotation de Rôle : Fixer les rôles (pas de rotation) réduit la performance à 52 %, soulignant l'importance pour les deux modèles d'apprendre à la fois la rédaction et le défi.

5. Signification et Revendications

Le papier affirme qu'Agon démontre que l'échange d'informations entre modèles et la pression adversaire peuvent améliorer considérablement les capacités de raisonnement sans nécessiter d'étiquettes de processus ou d'un modèle de récompense distinct.

• Notation Implicite : Il prouve qu'un modèle rival peut évaluer efficacement les traces de raisonnement de manière implicite, résolvant ainsi le problème du « raisonnement non étiqueté ».
• Au-delà du Self-Play : Il établit qu'une paire de politiques divergentes peut co-s'améliorer au-delà du plateau de l'auto-raffinement d'un modèle unique.
• Efficacité : Il montre qu'un raisonnement de haute performance peut être obtenu avec une cascade en deux étapes qui est informatiquement efficace (en utilisant des adaptateurs) et produit des traces de raisonnement plus courtes et plus denses.
• Modestie : Les auteurs notent que l'implémentation actuelle repose sur l'échange de texte, ce qui limite la bande passante. Ils suggèrent que les travaux futurs pourraient passer à un échange dans l'espace latent (par exemple, l'injection de cache KV) pour supprimer les goulots d'étranglement de la sérialisation. Ils reconnaissent également que la méthode nécessite un vérificateur pur et que la divergence entre les modèles est maintenue de manière heuristique plutôt que garantie.

En résumé, Agon déplace le paradigme de « l'évaluation de la réponse » vers « l'évaluation du raisonnement via la compétition », permettant aux modèles d'apprendre à mieux penser, et non simplement à écrire davantage.