Résumé technique : Décodage basé sur l'énergie (EBD)

1. Énoncé du problème

L'article aborde une discordance critique dans l'évaluation des grands modèles de langage (LLM) préentraînés. Alors que les benchmarks standards supposent que les modèles interpréteront les invites comme des tâches et produiront des réponses bien formées, les modèles préentraînés figés sont optimisés principalement pour la prédiction du token suivant (continuation). Par conséquent, sous une invitation standard et un décodage direct, ces modèles génèrent souvent du texte de style continuation plutôt que des réponses orientées vers la tâche. Cela conduit à des scores de benchmark peu fiables qui confondent les capacités réelles d'un modèle avec son incapacité à adopter un « mode tâche » sans mises à jour de paramètres.

Les solutions existantes présentent des limitations significatives :

• Post-entraînement (SFT/RLHF): Efficace mais coûteux et obscurcit la distinction entre les connaissances préentraînées et les comportements appris.
• Décodage basé uniquement sur la vraisemblance (par exemple, réduction de la température, recherche en faisceau): Ces méthodes remodelent la distribution de sortie sans signaux d'utilité externes, amplifiant souvent des modes de continuation à forte vraisemblance erronés plutôt que d'activer un comportement de résolution de tâches.
• Recherche intensive en échantillonnage (par exemple, Best-of-N, reranking): Bien qu'elles utilisent des signaux de récompense, elles sont coûteuses en calcul et inefficaces lorsque la distribution de base est fortement biaisée vers des continuations non liées à la tâche.

Le défi central consiste à activer des comportements orientés vers la tâche et à haute utilité à partir de modèles préentraînés figés au moment de l'inférence sans mises à jour de paramètres, tout en maintenant l'efficacité et la fidélité à la distribution originale du modèle.

2. Méthodologie : Décodage basé sur l'énergie (EBD)

Les auteurs proposent le Décodage basé sur l'énergie (EBD), un cadre sans entraînement et guidé par la récompense qui oriente la génération vers des réponses à haute utilité tout en les ancrant à l'a priori préentraîné.

Formulation théorique

L'EBD formule le décodage comme un échantillonnage à partir d'une distribution postérieure inclinée par la récompense :
$$\pi^*_\beta(y | x) \propto p_\theta(y | x) \exp(\beta S_x(y))$$
Où :

• $p_\theta(y | x)$ est l'a priori du modèle préentraîné figé.
• $S_x(y)$ est un score de récompense normalisé par l'invite, dérivé d'un modèle de récompense externe léger.
• $\beta$ est une température inverse contrôlant le compromis entre l'a priori et la récompense.

Cette formulation est équivalente à une distribution basée sur l'énergie où l'énergie $E_x(y) = -\log p_\theta(y | x) - \beta S_x(y)$. L'objectif est de trouver des réponses à faible énergie qui sont à la fois plausibles selon le modèle préentraîné et à haute utilité selon la récompense.

Algorithme : Méta-Hastings par blocs

Pour échantillonner efficacement cette distribution cible, l'EBD implémente un pipeline en deux étapes utilisant un échantillonneur Méta-Hastings (MH) par blocs :

1. Initialisation (Étape I):

   • Échantillonner un petit groupe de candidats ($n_{init}$) à partir de l'a priori figé.
   • Les noter avec le modèle de récompense et calculer les statistiques de normalisation au niveau de l'invite (moyenne $\mu_R$ et écart-type $\sigma_R$).
   • Définir un score d'avantage standardisé : $A_x(y) = (R(y, x) - \mu_R) / \sigma_R$.
   • Sélectionner le meilleur candidat du groupe comme état initial $y^{(0)}$.

2. Raffinement (Étape II):

   • Effectuer $K$ étapes de raffinement. À chaque étape :
     • Sélection de bloc : Partitionner la réponse actuelle en $M$ blocs contigus et échantillonner uniformément une position de coupure $c$.
     • Proposition : Garder le préfixe ($y_{<c}$) fixe et régénérer le suffixe ($y'_{\ge c}$) à partir de l'a priori conditionnel apparié $p_\theta(\cdot | x, y_{<c})$.
     • Acceptation : Calculer le ratio d'acceptation MH. Crucialement, car le suffixe proposé est échantillonné à partir de la même distribution conditionnelle exacte que le terme d'a priori, une annulation proposition-a priori se produit :
       $$\frac{p_\theta(y' | x) Q(c, y | y')}{p_\theta(y | x) Q(c, y' | y)} = 1$$
     • La probabilité d'acceptation se simplifie en une comparaison de récompenses :
       $$\alpha = \min(1, \exp(\beta [A_x(y') - A_x(y)]))$$
   • Si accepté, mettre à jour l'état ; sinon, conserver l'état actuel.

Mécanisme clé d'efficacité

La Annulation Proposition-A Priori est l'innovation centrale. Elle élimine la nécessité de réévaluer la vraisemblance de la séquence complète sous le modèle de base lors de l'étape d'acceptation. Le coût computationnel par étape se réduit à une génération de suffixe autorégressif et à une évaluation du modèle de récompense, évoluant linéairement avec le nombre d'étapes de raffinement.

3. Contributions clés

1. Formulation : L'article formule le décodage guidé par la récompense comme un échantillonnage à partir d'une distribution postérieure inclinée par la récompense, permettant l'activation de comportements orientés vers la tâche sous un a priori figé.
2. Innovation algorithmique : Il introduit l'EBD avec une Annulation Proposition-A Priori, qui permet des mises à jour efficaces basées uniquement sur les différences de récompense sans recalibrage explicite de la vraisemblance de la séquence complète.
3. Changement comportemental : Les auteurs démontrent que l'EBD n'améliore pas seulement les scores agrégés, mais déplace la distribution comportementale des modèles de base pour qu'elle ressemble étroitement à leurs homologues post-entraînés (ajustés pour l'instruction).
4. Validation empirique : Une évaluation extensive sur cinq modèles et six benchmarks montre des améliorations constantes par rapport au décodage direct et aux méthodes antérieures basées sur le décodage (par exemple, Power Sampling).

4. Résultats expérimentaux

Les auteurs ont évalué l'EBD sur cinq modèles open source (Llama-3-8B, Mistral-7B, Qwen2.5-7B, Qwen3-8B-Base, Olmo-7B) à travers des benchmarks objectifs (GPQA, Math500, HumanEval) et subjectifs (AlpacaEval2.0, MT-Bench, WritingBench).

• Gains de performance :
  • AlpacaEval2.0 : Qwen3-8B-Base est passé de 8,8 à 44,5 (+405 %).
  • Tâches objectives : Les scores objectifs moyens ont augmenté de manière significative (par exemple, Qwen2.5-7B de 0,398 à 0,557).
  • Alignement comportemental : La corrélation de Pearson de la justesse binaire avec les modèles d'instruction post-entraînés est passée de 0,256 (Direct) à 0,385 (EBD) en moyenne.
• Efficacité :
  • L'EBD est considérablement plus rapide que les bases lourdes en échantillonnage comme Power Sampling. Sur Mistral-7B Math500, l'EBD a réduit la latence de 18,9 fois par rapport aux travaux antérieurs sur le décodage.
  • Il reste robuste face à différentes tailles de modèles de récompense (de 0,6B à 8B), les modèles plus petits correspondant souvent aux performances des modèles plus grands.
• Robustesse :
  • L'EBD améliore les performances dans les configurations zero-shot et SFT à démarrage froid.
  • Contrairement au SFT, qui supprime certains modes de continuation, l'EBD applique une inclinaison de récompense sans altérer la distribution sous-jacente, ce qui le rend robuste face à différents types de tâches (par exemple, amélioration des mathématiques/du raisonnement tout en maintenant les capacités de génération de code).

5. Importance et affirmations

L'article affirme que le décodage est un composant critique, souvent négligé, de l'évaluation des modèles. Le décodage direct standard sous-estime les capacités des modèles préentraînés figés dans des contextes orientés vers la tâche.

• Évaluation équitable : L'EBD permet une évaluation plus équitable au moment de l'inférence des modèles préentraînés en activant des comportements orientés vers la tâche autrement inaccessibles via l'invitation standard.
• Complémentarité avec le post-entraînement : L'EBD sert d'approche complémentaire aux mises à jour de paramètres. Il peut combler une part substantielle de l'écart de performance entre les modèles préentraînés et post-entraînés sans aucun entraînement, agissant comme un boost efficace au moment de l'inférence ou comme un diagnostic de la sensibilité des points de contrôle.
• Efficacité vs Efficacité : La méthode atteint un compromis qualité-efficacité supérieur par rapport aux approches existantes basées uniquement sur le décodage, prouvant que des signaux de récompense externes combinés à un échantillonnage MCMC efficace peuvent déverrouiller des capacités latentes dans les modèles figés.

Les auteurs concluent que l'inférence guidée par la récompense peut améliorer considérablement les comportements liés à l'alignement sans une seule mise à jour de paramètre, suggérant que la « pièce manquante » dans l'évaluation des modèles préentraînés est souvent la stratégie de décodage plutôt que les poids du modèle eux-mêmes.