Résumé Technique : Amélioration du vérificateur de processus basé sur la valeur via l'injection de prior structuraux

Énoncé du problème

Dans les scénarios de raisonnement des grands modèles de langage (LLM), les vérificateurs de processus sont essentiels pour évaluer la qualité des étapes de raisonnement intermédiaires. Alors que les vérificateurs de résultat se concentrent uniquement sur la justesse finale, les vérificateurs de processus basés sur la valeur estiment la « valeur d'état » (la probabilité d'atteindre un résultat correct) à chaque étape.

Actuellement, les valeurs d'état sont typiquement annotées par échantillonnage de Monte Carlo (MC). Cependant, cette approche fait face à deux limitations significatives dues au coût élevé de la génération de déploiements complets (rollouts) :

1. Granularité de la représentation discrète : Un échantillonnage limité (par exemple, $k$ déploiements) restreint l'estimation de la valeur à un ensemble discret de $k+1$ résultats possibles ($0, 1/k, \dots, 1$). Cela crée un décalage lorsque la valeur réelle de vérité terrain est une probabilité continue.
2. Variance de l'échantillonnage : L'estimation MC est sans biais mais imprécise avec un nombre limité d'échantillons, particulièrement lorsque la probabilité de succès réelle $p$ est proche du milieu (0,5), là où la variance est la plus élevée.

Les solutions existantes utilisent souvent l'erreur quadratique moyenne (MSE) pour mapper les valeurs discrètes vers un espace continu ou des méthodes de différence temporelle (TD) pour réduire la variance. Cependant, les méthodes TD nécessitent de grandes quantités d'échantillonnage, ce qui est coûteux en termes de calcul dans le raisonnement des LLM, et la MSE standard traite la valeur comme un scalaire sans modéliser explicitement la distribution sous-jacente de l'erreur d'échantillonnage.

La méthodologie proposée, l'Injection de Prior Structurel, transforme la valeur d'état scalaire en l'espérance d'une distribution catégorielle prédéfinie. Cette approche recadre l'erreur d'échantillonnage MC comme un problème de décalage de distribution.

1. De la valeur scalaire à la distribution catégorielle

Au lieu de prédire une valeur scalaire unique, le vérificateur prédit une distribution catégorielle $Z$ sur $m$ classes (bins). La valeur d'état $V^\pi(s)$ est définie comme l'espérance de cette distribution :
$$V^\pi(s) = E_p[\delta_i] = \sum_{i=1}^m p_i(s)\delta_i$$
où $\delta_i$ représente la fonction de Dirac à la position $i$.

2. Définition du prior structural

La méthode traite le résultat d'un échantillonnage de Monte Carlo de $k$ fois comme un échantillon unique tiré d'une distribution binomiale de vérité terrain $Bin(k, p)$, où$p$ est la vraie valeur d'état.

• Régression de l'espérance (MSE) : Le modèle optimise l'espérance de la distribution catégorielle pour correspondre à l'estimation MC, injectant ainsi le prior structural que la valeur est la moyenne d'une distribution.
• Classification de l'espérance (Perte d'histogramme) : Le modèle tente de récupérer la distribution binomiale de vérité terrain elle-même. L'objectif est de trouver une distribution postérieure qui minimise la distance par rapport à la distribution binomiale réelle compte tenu des données d'échantillonnage limitées.

3. Métrique de distance basée sur les statistiques

Pour guider la sélection de la distribution postérieure (par exemple, choisir entre One-hot, Gaussienne ou d'autres formes), les auteurs introduisent une métrique de Distance basée sur les statistiques.

• Définie comme $D_T(p, q) = E_{x \sim q}[d(p(\cdot|x), q)]$, où $d$ est une métrique de distance telle que la distance de Wasserstein.
• Cette métrique mesure le décalage entre la distribution postérieure estimée et la distribution cible de vérité terrain au niveau statistique.
• Les auteurs utilisent la distance de Wasserstein plutôt que la divergence KL car les catégories de la distribution possèdent des caractéristiques séquentielles (poids), rendant la distance de Wasserstein plus appropriée pour mesurer la « distance » entre les masses de probabilité.

4. Optimisation

Le vérificateur est optimisé en utilisant soit :

• Perte MSE : Minimisant la différence au carré entre l'espérance prédite et l'estimation MC.
• Perte d'histogramme (Entropie croisée) : Minimisant l'entropie croisée entre la distribution catégorielle prédite et une distribution cible (par exemple, une Gaussienne tronquée approximant la distribution Binomiale).

Contributions clés

1. Injection de Prior Structural : Le papier propose de transférer l'erreur de régression scalaire MC vers un problème de décalage de distribution. En représentant la valeur comme l'espérance d'une distribution catégorielle, la méthode modélise explicitement la difficulté de récupérer la distribution de vérité terrain à partir de données limitées.
2. Distance basée sur les statistiques : Une nouvelle métrique est proposée pour quantifier la distance entre la distribution postérieure et la distribution cible de vérité terrain. Cette métrique sert de guide pour sélectionner des priors structuraux raisonnables (par exemple, formes de distribution et variances) afin de minimiser le décalage.
3. Validation empirique : Les auteurs démontrent qu'une injection de prior structural raisonnable améliore les performances du vérificateur à travers différentes fonctions d'objectif (MSE et Perte d'histogramme) et tâches (Best-of-N et Beam Search) avec peu ou pas de coût computationnel supplémentaire.

Résultats expérimentaux

La méthode a été évaluée sur le jeu de données MATH en utilisant les tâches Best-of-N (BoN) et Beam Search avec des modèles de base tels que Qwen2.5-Math-7B et Deepseek-Math-7B.

• Gains de performance : Comparés aux bases de régression scalaire, les modèles basés sur l'espérance (les variantes MSE et Perte d'histogramme) ont obtenu des améliorations constantes d'environ 1 à 2 points de pourcentage dans les taux de réussite.
• Sensibilité aux tâches :
  • Dans Best-of-N, les vérificateurs supervisés par le résultat ont bien performé, mais les vérificateurs supervisés par le processus (que notre méthode améliore) ont montré une robustesse supérieure.
  • Dans Beam Search, les vérificateurs supervisés par le processus ont nettement surpassé les vérificateurs basés uniquement sur le résultat, soulignant l'importance de valeurs d'état intermédiaires précises pour la recherche multi-étapes.
• Impact de la sélection du prior : Les études d'ablation ont révélé que le choix du prior structural impacte significativement la performance.
  • Forme de la distribution : L'utilisation d'une distribution Gaussienne dynamique (où la variance est dérivée de la valeur échantillonnée) a donné de meilleurs résultats qu'une distribution Gaussienne statique ou One-hot, s'alignant sur la distance basée sur les statistiques plus faible observée dans les expériences.
  • Quantité de catégories : Fixer le nombre de catégories pour correspondre à la taille de l'échantillonnage (par exemple, 9 catégories pour 8 déploiements) s'est avéré bénéfique.

Signification et affirmations

Le papier affirme que l'amélioration des vérificateurs de processus basés sur la valeur provient de l'injection raisonnable de priors structuraux. En déplaçant la perspective de la régression scalaire vers l'estimation de distribution, la méthode traite les problèmes inhérents de bruit et de granularité de l'échantillonnage de Monte Carlo dans le raisonnement des LLM.

Les auteurs soulignent que :

• L'erreur d'estimation MC est fondamentalement une difficulté à récupérer la distribution de vérité terrain à partir d'échantillons limités.
• La Distance basée sur les statistiques fournit un outil théorique et pratique pour évaluer et sélectionner des priors qui minimisent ce décalage.
• Cette approche offre une « direction prometteuse et significative » pour les travaux futurs, suggérant que les priors structuraux peuvent considérablement améliorer les processus d'optimisation pour la vérification basée sur la valeur sans nécessifier d'augmentation coûteuse des quantités d'échantillonnage.

Le travail reste modeste dans sa portée, notant des limites telles que la nature non différentiable de la distance de Wasserstein (nécessitant une modélisation de distribution préalable non différentiable) et la difficulté de combiner linéairement les objectifs MSE et d'entropie croisée.