Résumé Technique : Apprentissage par Renforcement Variationnel Couplé pour le Raisonnement Général des Modèles de Langage

Énoncé du Problème

L'apprentissage par renforcement avec récompenses vérifiables (RLVR) a démontré un succès significatif dans l'amélioration du raisonnement des grands modèles de langage (LLM), en particulier dans les domaines mathématiques où des programmes basés sur des règles peuvent vérifier les réponses finales. Cependant, ce paradigme est contraint par l'exigence de récompenses vérifiables, limitant son applicabilité aux tâches de raisonnement général (par exemple, chimie, questions ouvertes) où la vérification formelle est difficile ou impossible.

Les récentes approches « sans vérificateur » tentent de contourner ce problème en utilisant la propre probabilité du LLM de générer une réponse de référence correcte comme signal de récompense. Bien qu'efficaces, ces méthodes reposent généralement sur une génération basée uniquement sur la question, où le modèle échantillonne des traces de raisonnement conditionnées uniquement par la question d'entrée. Les auteurs identifient deux limitations fondamentales dans cette conception :

1. Faible efficacité d'échantillonnage : Sans guidance, le modèle peine à générer des traces de raisonnement utiles pour des questions difficiles, conduisant à une exploration inefficace de l'espace de raisonnement.
2. Incohérence Trace-Réponse : L'échantillonnage sans accès à la réponse cible peut entraîner des traces de raisonnement logiquement saines mais qui ne s'alignent pas avec le format ou la représentation spécifiques de la vérité terrain, provoquant l'attribution de faibles récompenses à un raisonnement correct.

Méthodologie : Apprentissage par Renforcement Variationnel Couplé (CoVRL)

L'article propose le CoVRL, un cadre qui relie l'inférence variationnelle et l'apprentissage par renforcement pour répondre aux limitations de l'entraînement basé uniquement sur la question. L'innovation centrale est le couplage des distributions a priori et a posteriori via une stratégie d'échantillonnage hybride.

1. Formulation Variationnelle

Le processus de raisonnement est formulé comme un problème de variable latente où les traces de raisonnement ($z$) font le lien entre la question ($x$) et la réponse ($y$). L'objectif est d'optimiser la vraisemblance marginale $p(y|x) = \int p(y|z, x)p(z|x) dz$.

• Distribution A Priori ($p_\phi(z|x)$) : Représente la génération basée uniquement sur la question, reflétant les conditions d'inférence réelles où la réponse est inconnue.
• Distribution A Posteriori ($q_\psi(z|x, y)$) : Représente la génération guidée par la réponse, échantillonnant des traces conditionnées à la fois par la question et la réponse correcte pour assurer la cohérence.

Les approches standards optimisent soit l'a priori (inefficace), soit l'a posteriori (provoquant un décalage entraînement-inférence). Le CoVRL introduit une Distribution Composite $p'(z|x, y)$ qui couple ces deux distributions :
$$p'(z_t|z_{<t}, x, y) = \frac{1}{2}p_\phi(z_t|z_{<t}, x) + \frac{1}{2}q_\psi(z_t|z_{<t}, x, y)$$
Cette distribution composite permet au modèle d'apprendre à partir de signaux guidés par la réponse tout en maintenant un alignement avec les conditions du temps d'inférence.

2. Stratégie d'Échantillonnage Hybride

L'échantillonnage direct à partir de la distribution composite au niveau des tokens est computationnellement complexe. Au lieu de cela, le CoVRL emploie une stratégie d'échantillonnage hybride hors politique :

• Pour chaque exemple d'entraînement, le modèle échantillonne aléatoirement depuis l'a priori avec une probabilité $\alpha$ ou depuis l'a posteriori avec une probabilité $1-\alpha$.
• Pondération par Importance : Pour optimiser la distribution composite cible en utilisant des échantillons de la distribution hybride, la méthode applique une pondération par importance aux mises à jour du gradient de la politique.
• Ingénierie des Prompts : L'a priori et l'a posteriori sont implémentés en utilisant un seul LLM avec différents modèles de prompts :
  • A Priori : Question $\to$ Raisonnement $\to$ Réponse.
  • A Posteriori : Question $\to$ Réponse $\to$ Raisonnement (fournissant la réponse comme contexte pour la génération du raisonnement).

3. Objectif d'Optimisation

L'objectif d'entraînement maximise la borne inférieure de la vraisemblance (ELBO), composée de :

• Terme de Reconstruction : Encourage la génération de traces menant à la réponse correcte. Cela est optimisé à l'aide de l'Optimisation de Politique Relative par Groupes (GRPO) avec des récompenses dérivées de la probabilité de prédiction de réponse du modèle (éliminant les vérificateurs externes).
• Terme de Régularisation : Un terme de divergence KL $D_{KL}(p'(z|x, y) \| p_\phi(z|x))$ contraint la distribution composite à rester proche de l'a priori. Cela garantit que les motifs de raisonnement appris pendant l'entraînement (qui peuvent utiliser une guidance par la réponse) se transfèrent efficacement à l'inférence (où aucune réponse n'est disponible).
• Estimation KL : L'article dérive des estimateurs KL à faible variance et non négatifs en utilisant des variables de contrôle basées sur la divergence de Bregman, gérant le décalage de distribution entre l'échantillonnage hybride et la distribution composite cible.

Contributions Clés

1. Formulation Variationnelle du Raisonnement : Les auteurs formulent l'optimisation du raisonnement comme un problème d'inférence variationnelle, unifiant théoriquement les modes de génération a priori (uniquement question) et a posteriori (guidé par la réponse) dans un cadre traitable.
2. Stratégie d'Échantillonnage Hybride : Ils proposent un mécanisme qui équilibre l'apprentissage guidé par la réponse (pour l'efficacité et la cohérence) avec la transférabilité au temps d'inférence (via l'a priori), répondant au compromis entre l'efficacité d'échantillonnage et l'alignement trace-réponse.
3. Optimisation de Distribution Composite : En construisant et en optimisant une distribution composite, le CoVRL permet une exploration efficace tout en préservant une forte cohérence pensée-réponse, évitant ainsi les problèmes de couverture de l'entraînement basé uniquement sur l'a posteriori.

Résultats Expérimentaux

Les auteurs ont évalué le CoVRL sur une suite complète de benchmarks, incluant le raisonnement général (MMLU-Pro, GPQA, TheoremQA) et le raisonnement mathématique (AIME'24, MATH-500, etc.), en utilisant les modèles Qwen2.5-7B-Base et Qwen3.

• Gains de Performance : Le CoVRL a réalisé une amélioration de 12,4 % par rapport au modèle de base et une amélioration de 2,3 % par rapport aux meilleures bases de RL sans vérificateur (telles que VeriFree, RLPR et LaTRO) en moyenne.
• Généralisation : Bien qu'entraîné principalement sur des questions non mathématiques, le modèle a montré des gains substantiels sur les benchmarks mathématiques, indiquant que les capacités de raisonnement apprises sont généralisables à travers les domaines.
• Dynamiques d'Entraînement : Les expériences ont montré que la distribution a posteriori fournit une guidance efficace pour l'amélioration des récompenses, tandis que la distribution a priori s'améliore de manière constante, confirmant que la guidance se transfère à l'inférence.
• Études d'Ablation :
  • Ratio d'Échantillonnage ($\alpha$) : Un ratio d'échantillonnage équilibré ($\alpha=0,5$) a surpassé les paramètres extrêmes, confirmant la nécessité de coupler les deux distributions.
  • Robustesse : La méthode a démontré des améliorations constantes à travers différentes tailles de modèles (de 7B à 14B) et architectures.
  • Qualité du Raisonnement : Les évaluations humaines et par LLM en tant que juge ont indiqué des améliorations dans la factualité, la validité, la cohérence et l'utilité des traces de raisonnement intermédiaires.

Signification et Revendications

L'article revendique que le CoVRL fournit un cadre principiel pour améliorer les capacités de raisonnement général des modèles de langage sans dépendre de vérificateurs externes. En couplant explicitement les distributions a priori et a posteriori, la méthode surmonte l'inefficacité de l'échantillonnage basé uniquement sur la question et le décalage d'inférence de l'entraînement guidé par la réponse.

Les auteurs soulignent que leur approche démocratise l'accès au raisonnement avancé de l'IA en supprimant la dépendance à des moteurs de vérification robustes et spécifiques à un domaine. Tout en reconnaissant le potentiel de mauvaise utilisation (par exemple, la génération de désinformation sophistiquée), l'œuvre se positionne comme une étape vers un raisonnement plus robuste et généralisable dans les LLM, en particulier dans les domaines où la vérification formelle est actuellement irréalisable. Les résultats suggèrent que le développement de motifs de raisonnement fondamentaux via cette approche variationnelle couplée est plus efficace que l'optimisation pour des solutions spécifiques à un domaine.