🤖 machine learning

G-Zero: Self-Play for Open-Ended Generation from Zero Data

G-Zero est un cadre co-évolutif sans vérificateur qui permet l'amélioration autonome illimitée des LLM en utilisant une récompense intrinsèque « Hint- $\delta$ » pour entraîner un modèle Propositeur à générer des requêtes et des indices exigeants, auxquels un modèle Générateur apprend ensuite par DPO, contournant ainsi les limites des juges externes.

Auteurs originaux : Chengsong Huang, Haolin Liu, Tong Zheng, Runpeng Dai, Langlin Huang, Jinyuan Li, Zongxia Li, Zhepei Wei, Yu Meng, Jiaxin Huang

Publié 2026-05-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Chengsong Huang, Haolin Liu, Tong Zheng, Runpeng Dai, Langlin Huang, Jinyuan Li, Zongxia Li, Zhepei Wei, Yu Meng, Jiaxin Huang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un étudiant brillant (le Générateur) qui essaie de devenir plus intelligent, mais qui est coincé dans une pièce sans professeur, sans manuels et sans corrigé. Habituellement, pour apprendre, un étudiant a besoin d'un professeur pour dire : « C'est faux, essayez plutôt ceci. » Sans professeur, l'étudiant pourrait simplement deviner ou rester bloqué en répétant les mêmes erreurs.

Ce papier présente une nouvelle méthode permettant aux modèles d'IA d'apprendre sans professeur humain ni « juge » externe pour évaluer leur travail. Ils appellent ce système G-Zero.

Voici comment cela fonctionne, en utilisant une analogie simple :

Les Deux Personnages : Le « Coach » et l'« Étudiant »

Au lieu d'un étudiant seul, G-Zero utilise deux modèles d'IA travaillant ensemble dans une boucle :

Le Générateur (L'Étudiant) : C'est le modèle que nous souhaitons améliorer. Il tente de répondre à des questions.
Le Proposeur (Le Coach) : C'est un deuxième modèle dont le rôle est de déterminer où l'Étudiant est faible et comment l'aider.

L'Arme Secrète : « Indice-δ » (L'Étincelle)

Le plus grand problème de l'apprentissage autonome est le suivant : Comment le modèle sait-il qu'il s'améliore s'il n'y a pas de corrigé ?

G-Zero résout ce problème grâce à une astuce ingénieuse appelée Indice-δ. Voici le processus :

Le Défi : Le Coach (Proposeur) imagine une question piège et un Indice.
Le Test : L'Étudiant (Générateur) tente de répondre à la question sans l'indice. Appelons cela la « Réponse de Lutte ».
Le Changement : Ensuite, l'Étudiant réessaie, mais cette fois avec l'Indice. Appelons cela la « Réponse Aha ! ».
La Mesure : Le système mesure le « choc » ou le changement dans le cerveau de l'Étudiant. L'Indice a-t-il permis à l'Étudiant de comprendre soudainement la réponse beaucoup mieux ?
- Si l'Étudiant était déjà bon, l'Indice ne change pas grand-chose. (Score faible).
- Si l'Indice était inutile, l'Étudiant ne change pas grand-chose. (Score faible).
- Le Point Idéal : Si la question était difficile et que l'Indice était exactement ce dont l'Étudiant avait besoin pour débloquer la réponse, le cerveau de l'Étudiant change radicalement. Cela génère un score élevé.

L'Analogie : Imaginez que vous essayez de résoudre un puzzle.

Si vous le résolvez facilement, un indice n'aide pas beaucoup.
Si l'indice est du non-sens, vous ne pouvez toujours pas le résoudre.
Mais si vous êtes bloqué et que quelqu'un chuchote la pièce manquante exacte de la logique, votre cerveau fait « Clic ! ». Ce « Clic » est l'Indice-δ. Il prouve que l'indice était précieux et que la question était difficile.

La Boucle d'Entraînement : Comment Ils S'Améliorent

Le système fonctionne en deux phases, encore et encore :

Phase 1 : Le Coach devient plus intelligent pour trouver les faiblesses.
Le Coach est récompensé lorsqu'il trouve une question qui laisse l'Étudiant perplexe et fournit un indice qui la résout. Le Coach apprend à arrêter de poser des questions faciles et à arrêter de donner de mauvais indices. Il apprend à chasser les « angles morts » de l'Étudiant.

Phase 2 : L'Étudiant apprend à partir des moments « Aha ! ».
L'Étudiant se voit présenter des paires de réponses : la « Réponse de Lutte » (rejetée) et la « Réponse Aha ! » (choisie). L'Étudiant est entraîné à préférer la version qui a utilisé l'indice.

La Magie : Avec le temps, l'Étudiant apprend le style et la logique des indices. Finalement, l'Étudiant peut produire ces réponses de haute qualité sans avoir besoin de l'indice. L'Étudiant a intériorisé les conseils du Coach.

Pourquoi C'est Une Grande Nouvelle

Aucun Juge Externe Nécessaire : Habituellement, l'IA a besoin d'un humain ou d'une IA très intelligente pour dire : « Cette réponse est bonne. » Cela crée un plafond ; l'IA ne peut jamais devenir plus intelligente que le juge. G-Zero élimine complètement le juge. L'IA se juge elle-même en fonction de l'ampleur du changement de sa propre compréhension.
Fonctionne sur des Tâches Créatives : Les méthodes précédentes ne fonctionnaient que sur les mathématiques ou le code (où il y a une réponse claire juste/mauvaise). G-Zero fonctionne sur des tâches ouvertes comme écrire des histoires, donner des conseils ou discuter, où il n'y a pas de seule réponse « correcte ».
Auto-amélioration : Le papier montre qu'après seulement deux tours de cette boucle, les modèles sont devenus nettement meilleurs en mathématiques, en programmation et en écriture, même s'ils ont commencé sans aucune donnée externe.

Le Problème (Limites)

Le papier note que cette « course aux armements » entre le Coach et l'Étudiant peut parfois mal tourner. Si le Coach devient trop astucieux, l'Étudiant pourrait se confondre ou le système pourrait s'effondrer (un « effondrement »). Ils ont également constaté que le système fonctionne mieux lorsqu'il filtre les exemples les plus faciles et les plus difficiles, en se concentrant sur un niveau de difficulté « juste comme il faut ».

Résumé

Pensez à G-Zero comme à une voiture autonome qui apprend à mieux conduire en réalisant : « Wow, quand j'ai regardé la route de cette façon, j'ai compris le virage beaucoup mieux. » Elle n'a pas besoin d'un moniteur de conduite ; elle a juste besoin de remarquer les moments où un petit changement de perspective conduit à une grande amélioration de la compréhension. En poursuivant ces moments de clarté, l'IA s'enseigne à elle-même à devenir plus intelligente.

Résumé Technique : G-Zero

1. Énoncé du Problème

Les modèles de langage de grande taille (LLM) auto-évoluant ont démontré un succès significatif dans des domaines vérifiables (par exemple, les mathématiques, le code) où des oracles programmatiques fournissent une vérité terrain pour l'apprentissage par renforcement à partir de récompenses vérifiables (RLVR). Cependant, ces modèles peinent dans les domaines ouverts (par exemple, l'écriture créative, le dialogue, le suivi d'instructions) où aucun vérificateur objectif n'existe.

Les approches actuelles pour ces tâches non vérifiables reposent fortement sur des mécanismes de type LLM-comme-Juge pour générer des signaux de récompense de substitution. L'article identifie deux limitations critiques dans ce paradigme :

Goulots d'étranglement de capacité : Le plafond de performance du modèle en évolution est fondamentalement limité par les capacités du modèle juge.
Piratage de récompense : Les modèles tendent à exploiter les vulnérabilités stylistiques du juge (par exemple, biais, préférences de formatage, prolixité) plutôt que d'améliorer véritablement la qualité de la réponse.

La question centrale abordée est : Comment l'auto-évolution peut-elle s'étendre dans des domaines non vérifiables sans dépendre de juges externes ni intérioriser les pathologies des signaux de récompense de substitution ?

2. Méthodologie : Le Cadre G-Zero

G-Zero est un cadre co-évolutif sans vérificateur qui dérive la supervision entièrement des dynamiques distributionnelles internes. Il fonctionne par l'interaction de deux modèles : un Proposeur ( $\pi_P$ ) et un Générateur ( $\pi_G$ ).

2.1 Le Signal Intrinsèque : Hint- $\delta$

L'innovation centrale est Hint- $\delta$ , un signal de récompense intrinsèque qui quantifie le décalage prédictif dans la distribution du Générateur lorsqu'il est conditionné par un indice auto-généré.

Mécanisme : Pour une requête $q$ , le Générateur produit une réponse sans aide $a_{hard}$ . Un indice $h$ est ensuite fourni, et le Générateur produit une réponse conditionnée par l'indice $a_{assisted}$ .
Calcul : Hint- $\delta$ est la différence de vraisemblance logarithmique moyenne par token entre les distributions sans aide et conditionnées par l'indice :
$\delta(q, h, a_{hard}) = \frac{1}{T} \sum_{t=1}^{T} \left[ \log \pi_G(a_t | q, a_{<t}) - \log \pi_G(a_t | q, h, a_{<t}) \right]$
Propriétés : Une valeur élevée de $\delta$ se produit uniquement lorsque la requête est véritablement difficile pour le Générateur (la réponse sans aide est défectueuse) ET que l'indice fournit des informations manquantes nécessaires. Ce signal est invariant à la longueur de la réponse et est calculé entièrement à partir des propres log-probabilités du Générateur, éliminant ainsi le biais du juge externe.

2.2 Boucle Co-Évolutive

Le cadre fonctionne par tours itératifs impliquant deux phases :

Phase 1 : Entraînement du Proposeur (GRPO)

Objectif : Entraîner $\pi_P$ à synthétiser des requêtes difficiles ( $q$ ) couplées à des indices informatifs ( $h$ ) qui maximisent le $\delta$ du Générateur.
Optimisation : Utilise l'Optimisation de Politique Relative par Groupes (GRPO).
Fonction de Récompense : $r(q, h) = \delta(q, h, a_{hard}) - P_{length} - P_{BLEU}$ $r (q, h) = δ (q, h, a_{ha r d}) - P_{l e n g t h} - P_{B L E U}$ .
- $P_{length}$ : Pénalise les indices dépassant un budget de caractères (~200 caractères) pour empêcher le piratage de récompense prolixe.
- $P_{BLEU}$ : Pénalise la génération répétitive de requêtes pour assurer une couverture d'exploration.
Résultat : Le Proposeur cible les "angles morts" du Générateur, créant un curriculum de tâches de plus en plus difficiles.

Phase 2 : Entraînement du Générateur (DPO)

Objectif : Entraîner $\pi_G$ à intérioriser les améliorations structurelles et logiques suggérées par les indices.
Curation des Données :
- Le Proposeur génère des paires $(q, h)$ .
- Le Générateur produit $a_{hard}$ (sans indice) et $a_{assisted}$ (avec indice).
- Stratégie de Filtrage : Contrairement au Proposeur qui cherche un $\delta$ $δ$ élevé, l'ensemble de données d'entraînement du Générateur ( $D_{R+1}$ $D_{R + 1}$ ) conserve les paires dans la moitié inférieure de la distribution $\delta$ $δ$ .
  - Raison d'être : Les paires à haut $\delta$ représentent souvent une "fuite de réponse" (les indices dévoilent la solution), violant les contraintes implicites de KL du DPO. Les paires à faible $\delta$ représentent des signaux "difficiles à distinguer" où l'indice induit des raffinements structurels subtils plutôt que des corrections triviales.
Optimisation : Utilise l'Optimisation Directe des Préférences (DPO) avec une perte normalisée par la longueur.
- Choisie ( $y_w$ ) : $a_{assisted}$ (guidée par l'indice).
- Rejetée ( $y_l$ ) : $a_{hard}$ (sans aide).
- Modèle de Référence : Un instantané figé de $\pi_G$ du début du tour.

3. Analyse Théorique

L'article fournit une garantie théorique pour une variante standard-DPO idéalisée de G-Zero.

Hypothèses : Le cadre suppose une structure de récompense linéaire, un modèle de préférence Bradley-Terry, et que le Proposeur induit une couverture d'exploration suffisante (via la récompense BLEU) tandis que le filtre $\delta$ maintient le bruit des pseudo-étiquettes ( $\eta_\delta$ ) faible.
Résultat (Théorème 1) : Sous ces conditions, il existe une itération $t_0$ telle que l'écart de suboptimalité $J(\pi^*) - J(\pi_{t_0})$ est borné par des termes liés à la complexité de l'échantillonnage et au niveau de bruit. Spécifiquement, la borne dépend de la couverture induite par le Proposeur et du bruit du score de pseudo-étiquette certifié par $\delta$ . Cela prouve que la boucle co-évolutrice peut converger vers une politique quasi-optimale sans vérificateurs externes.

4. Résultats Expérimentaux

Les expériences ont été menées sur Qwen3-8B-Base et Llama-3.1-8B-Instruct sur deux tours d'auto-évolution.

Tâches Ouvertes :
- AlpacaEval 2.0 (Chat) : G-Zero a réalisé des gains substantiels. Pour Llama-3.1, le taux de victoire contrôlé par la longueur est passé de 24,12 % (base) à 27,86 % (Tour 2).
- IFEval (Suivi d'Instructions) : Des améliorations ont été observées dans l'adhésion stricte et souple aux instructions pour les deux modèles.
Tâches Vérifiables (Transfert) :
- Mathématiques (AIME24/AIME25) : Bien qu'entraînés principalement sur des données ouvertes non vérifiables, G-Zero a montré des améliorations significatives en raisonnement.
  - Qwen3-8B-Base : Le score AIME25 a bondi de 7,19 % à 12,40 % après le Tour 2.
  - Llama-3.1-8B-Instruct : AIME25 est passé de 0,42 % à 0,63 % (notant que la base était très faible, mais les gains étaient cohérents).
Comparaison avec R-Zero :
- R-Zero (une méthode basée sur un vérificateur) a montré de forts gains en mathématiques mais a souffert d'un effondrement des capacités dans les tâches conversationnelles et de suivi d'instructions (par exemple, Qwen3 Chat est passé de 8,94 % à 8,04 %).
- G-Zero a maintenu ou amélioré les performances sur toutes les métriques (Chat, IFEval, Mathématiques), démontrant une généralisation robuste sans les compromis observés dans les méthodes basées sur des juges.

Principales Conclusions de l'Analyse :

Transfert Structurel : Les données d'entraînement étaient dominées à plus de 70 % par des tâches non vérifiables (conseils, écriture). Les améliorations en raisonnement en mathématiques ont été attribuées à l'intériorisation de la profondeur logique et de la complexité compositionnelle issues de ces tâches ouvertes, plutôt qu'à une mémorisation spécifique au domaine.
Course aux Armements Co-Évolutive : La distribution de Hint- $\delta$ s'est déplacée vers la droite au Tour 2, indiquant que, à mesure que le Générateur s'améliorait, le Proposeur synthétisait avec succès des indices plus complexes et plus impactants pour maintenir le signal d'apprentissage.

5. Importance et Contributions

L'article revendique trois contributions principales :

Un Cadre Co-Évolutif Sans Vérificateur : G-Zero permet une auto-amélioration continue dans les domaines ouverts en remplaçant les juges externes par un signal intrinsèque (Hint- $\delta$ ) dérivé des propres décalages prédictifs du modèle.
Caractérisation Théorique : Les auteurs formalisent la boucle co-évolutrice et prouvent une garantie de suboptimalité pour la meilleure itération, montrant que l'auto-évolution est théoriquement fondée à condition que le Proposeur assure l'exploration et que le filtre maintienne la qualité des données.
Validation Empirique du Transfert Inter-Domaine : Le travail démontre que les modèles peuvent intérioriser des motifs de raisonnement logique à partir de tâches ouvertes non vérifiables et les transférer avec succès vers des domaines rigoureux et vérifiables comme les mathématiques. Cela remet en question l'idée que l'auto-évolution nécessite des oracles vérifiables ou des juges externes pour s'étendre.

Conclusion :
G-Zero offre une voie évolutive et robuste pour l'auto-évolution autonome des LLM. En dérivant la supervision des dynamiques distributionnelles internes, il contourne les plafonds de capacité et les vulnérabilités de piratage de récompense des juges externes, prouvant que les modèles peuvent élever leurs capacités en utilisant uniquement des retours intrinsèques.