Résumé Technique : Optimisation de Politique Hystérétique (HPO) pour l'Entraînement de LLM à Récompenses Éparses

1. Énoncé du Problème

L'article examine un mode de défaillance spécifique de l'Optimisation de Politique Relative par Groupe (GRPO) lorsqu'elle est appliquée aux Grands Modèles de Langage (LLM) dans des régimes de récompenses vérifiables éparces (par exemple, des tâches de raisonnement où seule une petite fraction des réponses échantillonnées est correcte). Les auteurs identifient deux biais interdépendants qui déstabilisent l'entraînement dans ce contexte :

1. Déséquilibre des Signes (Dominance Négative) : Dans les scénarios à récompenses éparces, la politique initiale génère souvent majoritairement des réponses incorrectes. Par conséquent, la majorité des trajectoires échantillonnées se situent en dessous de la moyenne du groupe, entraînant une fréquence élevée d'avantages négatifs ($p_- > p_+$). Le traitement symétrique de ces nombreux échantillons négatifs peut submerger les signaux positifs rares, supprimant ainsi des trajectoires de raisonnement utiles mais bruyantes.
2. Biais de Longueur au Niveau de la Réponse : Le GRPO standard normalise la perte par la longueur de chaque réponse individuelle ($1/|\tau_i|$). Cela crée une relation inverse entre la longueur de la réponse et l'ampleur de la mise à jour :
   • Les courtes réponses correctes reçoivent des gradients positifs disproportionnellement grands, biaisant le modèle vers la brièveté.
   • Les longues réponses incorrectes reçoivent des gradients négatifs disproportionnellement faibles, échouant à pénaliser adéquatement les échecs verbeux.
   • Cette interaction rend la pression d'optimisation dépendante à la fois de la récompense et de la longueur, ce qui est particulièrement problématique pour les tâches de raisonnement où la longueur est corrélée à la profondeur de recherche ou à l'explication.

2. Méthodologie

Les auteurs proposent l'Optimisation de Politique Hystérétique (HPO), une modification minimale de l'objectif GRPO conçue pour corriger ces biais grâce à deux mécanismes :

2.1 HPO Fixe

La HPO introduit deux changements structurels à l'objectif GRPO :

• Normalisation par Longueur Moyenne : Au lieu de normaliser chaque réponse par sa propre longueur ($|\tau_i|$), la HPO normalise l'ensemble du lot par la longueur moyenne des réponses ($|\bar{\tau}|$). Cela élimine la mise à l'échelle inverse de l'ampleur de la mise à jour avec la longueur de la réponse, garantissant que les longues réponses incorrectes sont pénalisées de manière appropriée et que les courtes réponses correctes ne dominent pas le gradient.
• Pondération Hystérétique Asymétrique : Les mises à jour du gradient de politique sont mises à l'échelle de manière asymétrique en fonction du signe de l'avantage ($\hat{A}_i$) :
  • Les avantages positifs ($\hat{A}_i \geq 0$) conservent leur poids complet (facteur = 1).
  • Les avantages négatifs ($\hat{A}_i < 0$) sont pondérés à la baisse par un facteur hystérétique $\alpha \in [0, 1]$.
  • La fonction objectif devient :
    $$J_{HPO}(\theta) = \mathbb{E}_X \left[ \frac{1}{N|\bar{\tau}|} \sum_{i=1}^N \sum_{j=1}^{|\tau_i|} w_i \ell_{i,j}(\theta) \right]$$
    où $w_i = 1$ si $\hat{A}_i \geq 0$, et $w_i = \alpha$ sinon.

2.2 HPO Adaptative (A-HPO)

Reconnaissant que le $\alpha$ optimal dépend du régime d'entraînement (nécessitant moins d'hystérésis à mesure que la politique s'améliore), les auteurs introduisent l'A-HPO. Cette variante ajuste dynamiquement $\alpha$ en fonction des statistiques de signe du lot actuel :

• Elle estime le ratio des fréquences d'avantages positifs sur négatifs ($\hat{p}_+ / \hat{p}_-$).
• Le poids adaptatif est défini comme suit :
  $$\alpha_{adaptive} = \text{clip}\left( \frac{\hat{p}_+}{\hat{p}_- + \epsilon}, \alpha_{min}, 1 \right)$$
• Mécanisme : Lorsque les échantillons négatifs dominent (régime éparse), $\hat{p}_+ / \hat{p}_-$ est faible, ce qui entraîne une diminution de $\alpha$ et un amortissement des mises à jour négatives. À mesure que la politique s'améliore et que la distribution s'équilibre, $\alpha$ tend vers 1, retrouvant une mise à jour symétrique. Cela évite le réglage manuel d'un $\alpha$ fixe.

3. Contributions Clés

1. Identification des Modes de Défaillance : L'article lie explicitement l'instabilité du GRPO dans les régimes à récompenses éparces à la combinaison de la dominance des avantages négatifs et de la normalisation de la longueur au niveau de la réponse.
2. Algorithme HPO : Une interpolation à un paramètre entre l'apprentissage « uniquement positif » (qui rejette les retours négatifs) et les mises à jour entièrement symétriques. Il combine la normalisation par longueur moyenne avec une pondération asymétrique.
3. A-HPO : Une règle légère et adaptative qui ajuste automatiquement le poids hystérétique en fonction des statistiques de signe au niveau du lot, éliminant le besoin de recherche manuelle des hyperparamètres.
4. Validation Empirique : Des études d'ablation démontrent que le comportement optimal se situe entre les extrêmes des mises à jour uniquement positives ($\alpha=0$) et symétriques ($\alpha=1$), validant la nécessité d'une hystérésis intermédiaire.

4. Résultats Expérimentaux

Les auteurs ont évalué la HPO et l'A-HPO sur deux tâches : TeleLogs (analyse des causes racines des réseaux 5G) et Countdown (construction arithmétique), en utilisant des modèles allant de 1,5 à 7 milliards de paramètres.

• TeleLogs (Qwen2.5-1.5B) :
  • L'A-HPO a atteint une récompense finale de 0,84, surpassant le GRPO (0,73, +15 %), le GSPO (0,76, +11 %) et le SAPO (0,80, +5 %).
  • L'A-HPO a atteint des niveaux de récompense élevés significativement plus vite (efficacité des échantillons) tout en maintenant une longueur de réponse comparable aux références, évitant l'« effondrement de la longueur » observé dans les méthodes uniquement positives.
• Countdown (modèles 1,5B–7B) :
  • Les gains ont été les plus prononcés au début de l'entraînement et dans les configurations plus difficiles (Countdown-4 avec 4 nombres) où les récompenses sont éparces.
  • Par exemple, sur Llama3.1-3B avec Countdown-4, l'A-HPO a amélioré la récompense à 200 étapes de 0,40 (GRPO) à 0,54.
  • Dans les régimes saturés (par exemple, modèles 7B sur Countdown-3 plus facile), l'écart de performance s'est réduit, indiquant que l'A-HPO est plus critique lorsque la politique est encore en phase d'apprentissage.
• Études d'Ablation :
  • La HPO fixe avec $\alpha=0$ (uniquement positif) s'est effondrée vers des sorties très courtes (16 tokens) et des récompenses plus faibles (0,71).
  • La HPO fixe avec $\alpha=1$ (symétrique) a sous-performé (0,72) en raison de la dominance négative.
  • La meilleure performance fixe a été obtenue pour $\alpha \approx 0,6$, ce que l'A-HPO a atteint automatiquement sans réglage.
  • L'analyse de l'« équilibre de la contribution de substitution » a confirmé que l'A-HPO équilibre avec succès l'ampleur des contributions des mises à jour positives et négatives, tandis que le GRPO reste bruyant et dominé par le négatif.

5. Signification et Revendications

L'article affirme que la HPO et l'A-HPO offrent une modification pratique et à faible surcharge au GRPO qui améliore considérablement la stabilité et l'efficacité des échantillons dans le RL à récompenses éparces pour les LLM.

• Principe de Base : Les auteurs soutiennent que dans les régimes à récompenses éparces, les mises à jour d'avantages négatifs doivent être utilisées mais ne doivent pas être traitées de manière symétrique lorsqu'elles sont écrasamment fréquentes.
• Équilibre : La méthode empêche avec succès la suppression des trajectoires de raisonnement utiles par les échecs abondants tout en évitant le comportement dégénéré de rejet total des preuves négatives.
• Adaptativité : L'A-HPO est présentée comme une solution robuste qui suit automatiquement le régime intermédiaire entre les mises à jour uniquement positives et symétriques, s'adaptant à mesure que la distribution d'entraînement passe de récompenses éparces à denses.

Ce travail positionne la HPO comme un raffinement nécessaire pour le fine-tuning efficace en calcul des LLM lorsque des récompenses de processus denses ou des retours de critique ne sont pas disponibles.