Résumé Technique : L'auto-entraînement sans enseignant amplifie mais ne cumule pas

1. Énoncé du problème

La question centrale abordée est de savoir si les boucles d'auto-amélioration pour les modèles de langage (LLM) qui s'entraînent sur leurs propres sorties vérifiées cumulent la capacité (acquisition d'une véritable nouvelle portée au-delà de la distribution du modèle de base) ou se contentent d'amplifier la capacité (faire émerger des solutions rares et atteignables que le modèle de base pouvait déjà générer avec un échantillonnage suffisant).

La littérature existante est divisée :

• Vision de l'élicitation : L'entraînement sur des sorties vérifiées ne fait qu'affiner la capacité du modèle à accéder à des capacités latentes, ce qui se traduit souvent par un modèle de base surpassant le modèle entraîné lors de budgets d'échantillonnage importants (pass@K) [11].
• Vision du cumul : Un apprentissage par renforcement (RL) prolongé peut élever les modèles au-delà de leur distribution de base, résolvant des instances que le modèle de base ne peut atteindre à aucun budget [8].

Une lacune méthodologique critique existe : la plupart des études reposent sur des « enseignants » (modèles plus grands, modèles de récompense ou humains) qui plafonnent par construction le plafond de la nouveauté, ou déclarent une « émergence » basée sur des métriques passant de zéro, ce qui peut être des artefacts d'échantillonnage plutôt que de véritables frontières de capacité.

2. Méthodologie : La constellation « Trapdoor »

Pour rendre la distinction entre amplification et cumul décidable, les auteurs construisent une constellation sans enseignant sur un domaine spécifique :

• Domaine : Un langage spécifique au domaine (DSL) de type « FlashFill » (trapdoor) pour les transformations de chaînes de caractères.
  • Génération directe : Facile de synthétiser des paires (problème, solution) vérifiées.
  • Résolution inverse : Difficile pour le modèle d'inverser le processus.
  • Vérification : Un interprète total, exact et gratuit (sans paramètres appris) qui vérifie l'exactitude de manière absolue.
• Rôles du système :
  1. Vérificateur : L'interprète exact. Il filtre les candidats cohérents avec les exemples visibles mais ne peut pas juger la généralisation sur des entrées non vues.
  2. Générateur : Un modèle Qwen3-4B en 4-bit avec un adaptateur LoRA, cartographiant les exemples visibles vers des programmes candidats.
  3. Critique : Un autre adaptateur LoRA en 4-bit entraîné comme un classificateur binaire génératif (oui/non) pour classer les candidats selon leur probabilité de généraliser aux entrées non vues.
  4. Conducteur : Orchestre la boucle sans recours à un modèle.
• Boucle d'entraînement (STaR) :
  • Le générateur propose $K$ candidats.
  • Le vérificateur filtre ceux qui échouent sur les exemples visibles.
  • Le critique classe les survivants ; le meilleur candidat est sélectionné.
  • Le vérificateur juge le candidat sélectionné sur des exemples non vus (held-out).
  • Seuls les programmes généralisants générés par le modèle et confirmés par le vérificateur sont utilisés comme cibles d'apprentissage supervisé (SFT) pour le tour suivant.
  • Contrainte cruciale : Aucun modèle plus grand ou enseignant externe n'est impliqué ; le plafond n'est pas limité par la compétence d'un enseignant.

Configuration expérimentale :

• Matériel : Un seul GPU de 24 Go (RTX 3090).
• Modèle : Qwen3-4B-Instruct (quantification 4-bit).
• Banques : Deux banques d'évaluation gelées (Facile : max 3 atomes ; Difficile : max 4 atomes, nombre d'atomes hors entraînement).
• Trajectoire : Trois tours (v0 $\to$ v1 $\to$ v2) d'auto-entraînement.

3. Contributions clés

1. Une constellation entièrement sans enseignant : Un système générateur/critique/vérificateur exécutable sur un seul GPU, où le vérificateur est un interprète exact, garantissant qu'aucune « échappatoire par distillation » ne limite la nouveauté.
2. Supériorité de la sélection guidée par le critique : Démontre qu'un critique appris surpasse un « best-of-k » (naïf) filtré par le vérificateur de +9,1 points de pourcentage (sur 6/6 seeds). Le gain est localisé entièrement sur les tâches où les candidats divergent sur les entrées non vues (le sous-ensemble divergent), confirmant que le critique récupère la capacité existante plutôt qu'il ne crée de nouvelles capacités.
3. Amplification cadencée par la marge (Headroom) : L'auto-entraînement augmente le plafond de performance mais ne s'accélère jamais. Le gain par tour décélère à mesure que le modèle approche de la frontière atteignable de la distribution de base.
4. Le croisement Pass@K : Un croisement mesuré où le modèle entraîné l'emporte au budget opérationnel (pass@8) mais où le modèle de base dépasse le modèle entraîné à de grands budgets (pass@64) sur chaque trajectoire. Cela confirme que le modèle concentre la masse de probabilité sur un nombre réduit de solutions plutôt que d'étendre sa portée.
5. Correction méthodologique sur l'« émergence » : Dans ce DSL compositionnel, les cellules de « capacité nulle » apparentes à de faibles nombres d'échantillons sont des artefacts de sous-échantillonnage, et non de véritables frontières. Déclarer l'émergence sur la base d'une montée depuis zéro est invalide sans une vérification à l'échelle de la population.

4. Résultats

Performance de sélection

• Critique vs Naïf : Le critique améliore significativement la précision de la sélection, particulièrement sur le sous-ensemble divergent (où les candidats divergent sur les données non vues).
  • Seed 1234 : Naïf 53,3 % $\to$ Critique 93,3 %.
  • Seed 7 : Naïf 61,9 % $\to$ Critique 92,9 %.
• Cohérence : L'amélioration totale est égale à l'amélioration sur le sous-ensemble divergent, prouvant que le critique n'agit que là où l'ambiguïté structurelle existe.

Trajectoire d'auto-entraînement (STaR)

• Élévation du plafond : Le plafond du vérificateur (pass@8) augmente de v0 à v2 sur les deux banques.
  • Easy Bank : 46,7 % $\to$ 53,1 % $\to$ 55,4 %.
  • Hard Bank : 37,9 % $\to$ 41,1 % $\to$ 45,0 %.
• Décélération : Le gain par tour n'est pas accéléré.
  • Easy : +6,4 % (v0$\to$v1) $\to$ +2,3 % (v1$\to$v2).
  • Hard : +3,2 % (v0$\to$v1) $\to$ +3,9 % (v1$\to$v2) dans un seul seed, mais sur 4 trajectoires d'entraînement indépendantes, la tendance est systématiquement à la décélération (+5,1 % $\to$ +2,8 %).
• Absence d'effondrement : La diversité (cardinalité des programmes généralisants par tâche) a augmenté (2,79 $\to$ 4,05), et aucune classe n'a régressé vers une capacité nulle.

Le diagnostic du croisement (Amplification vs Cumul)

• Budget opérationnel (pass@8) : Le modèle entraîné (v2) surpasse le modèle de base (v0).
  • Easy : v2 (53,0 %) > Base (46,0 %).
  • Hard : v2 (46,0 %) > Base (38,0 %).
• Grand budget (pass@64) : Le modèle de base dépasse le modèle entraîné.
  • Easy : Base (68,0 %) > v2 (61,5 %).
  • Hard : Base (57,5 %) > v2 (52,5 %).
• Interprétation : Le modèle entraîné concentre la masse de probabilité sur des solutions « rares mais atteignables », les rendant communes (victoire à faible $K$), mais réduit la capacité du modèle à explorer toute la queue de la distribution (défaite à haut $K$). Le plafond du modèle entraîné reste strictement inférieur à l'enveloppe du modèle de base à grand $K$.

Frontières de capacité nulle

• Les classes qui semblaient avoir un succès de 0 % à de faibles nombres d'échantillons (ex: structures spécifiques à 4 atomes) présentaient des taux de succès non nuls (25–50 %) lors d'une mesure à l'échelle de la population.
• Le « vrai mur » n'est pas à zéro, mais dans l'écart entre la capacité du modèle de base à trouver un programme adéquat mais faux (pass@64 élevé) et un programme généralisant. Cet écart (~11 pp) est la véritable limite de capacité.

5. Signification et affirmations

L'article affirme fournir un résultat négatif concernant le cumul dans un régime spécifique et rigoureux :

1. Amplification, non cumul : Dans un cadre sans enseignant avec un vérificateur exact et gratuit, l'auto-entraînement (STaR) amplifie la portée existante du modèle de base mais ne cumule pas pour créer une nouvelle portée. Le « plafond » est dicté par la marge restante du modèle de base.
2. Validité méthodologique : L'étude remet en question la validité des tests « 0% $\to$ ascension = émergence » dans les domaines compositionnels, arguant que ces zéros sont souvent des artefacts de sous-échantillonnage.
3. Dissociation de la diversité et de la couverture : L'étude observe que si la diversité des solutions récoltées augmente pendant la génération de données, la couverture pass@K lors de l'évaluation du modèle entraîné se rétrécit. Cela concorde avec les théories de l'effondrement de la diversité lors du SFT, où l'optimisation de la précision concentre la masse de probabilité sur les solutions modales.

Limites et portée :

• Le résultat est interne au domaine du DSL spécifique de type FlashFill et du régime sans enseignant avec vérificateur exact.
• La conclusion de « non-cumul » peut être spécifique à l'absence de bonus d'exploration ou à un vérificateur bruyant ; un RL prolongé avec exploration ou des modèles de récompense appris pourrait se comporter différemment.
• La puissance statistique est modeste (K=4 trajectoires d'entraînement), bien que suffisante pour rejeter l'accélération.
• L'étude ne prétend pas résoudre le débat pour tous les régimes RL/SFT, mais isole spécifiquement le cas « sans enseignant, vérificateur exact » pour montrer que sans guidance externe ou mécanisme d'exploration, la boucle ne peut briser l'enveloppe distributionnelle du modèle de base.

En résumé, l'article soutient que sans un enseignant pour importer de nouveaux schémas de raisonnement ou un mécanisme d'exploration pour pousser au-delà de la frontière atteignable, l'auto-entraînement est un processus d'aiguisage et de mise en surface des capacités existantes, et non de cumul pour en créer de nouvelles.