Résumé technique : L'irrationalité s'ajoutant au désalignement des valeurs dans le raisonnement des LLM

Énoncé du problème

Malgré les progrès significatifs réalisés pour aligner les grands modèles de langage (LLM) sur des fonctions de valeur cibles via des méthodes telles que le réglage fin supervisé (SFT), l'apprentissage par renforcement à partir du feedback humain (RLHF) et l'optimisation de préférence directe (DPO), un écart critique subsiste. Même lorsqu'un LLM est bien aligné lors de l'entraînement, il peut échouer à maximiser la valeur alignée lors de l'inférence. Cet article soutient que le désalignement des valeurs (où la fonction de valeur apprise elle-même est incorrecte) n'est pas la seule source d'échec ; l'irrationalité du raisonnement persiste. Cette irrationalité est définie comme l'incapacité du modèle à sélectionner la meilleure réponse disponible parmi ses candidats échantillonnés, même lorsque ces candidats à haute utilité existent au sein de la distribution de sortie du modèle.

Méthodologie

Formalisation du Risque de Valeur Rationnelle

Les auteurs formalisent mathématiquement ce phénomène en tant que Risque de Valeur Rationnelle (RVR).

• Raisonnement Rationnel : Défini comme la stratégie qui maximise l'utilité attendue dans la direction la plus raide sous une fonction de valeur donnée.
• Risque de Valeur Rationnelle ($R$) : L'écart d'utilité entre la stratégie de raisonnement déployée du modèle ($d_\theta$) et son équivalent rationnel ($d^\circ_\theta$).
  $$R(d_\theta) = \mathbb{E}_{x \sim \rho, o \sim P(\cdot|x,y^\circ)}[U(o)] - \mathbb{E}_{x \sim \rho, y \sim d_\theta, o \sim P(\cdot|x,y)}[U(o)]$$
  Où $y^\circ$ est la réponse rationnelle et $y$ est la réponse générée par la stratégie déployée.

Estimation limitée par le calcul

Puisqu'un raisonnement parfaitement rationnel est impossible à calculer en raison de ressources finies, l'article introduit un cadre de raisonnement rationnel limité par le calcul.

1. Ensemble de Candidats : Pour un prompt donné, $K$ échantillons indépendants sont tirés du modèle.
2. Utilité Empirique : L'utilité de chaque candidat est estimée via $L$ appels de vérificateur (ou des vérifications déterministes).
3. Estimateur : L'Estimation du Risque de Valeur Rationnelle ($\hat{R}_{M,K,L}$) est calculée comme la différence entre l'utilité empirique maximale trouvée dans les $K$ candidats (représentant le meilleur déploiement possible) et l'utilité empirique moyenne de la stratégie déployée.

Décomposition de l'erreur

L'erreur d'estimation du RVR est décomposée en trois composantes distinctes :

1. Erreur d'Approximation des Candidats : Le risque que l'ensemble fini de $K$ échantillons ne contienne pas de réponse à haute utilité.
2. Erreur d'Échantillonnage de Prompt : Erreur statistique découlant de l'évaluation sur un nombre fini de prompts ($M$).
3. Erreur de Vérification : Erreur introduite par des vérificateurs stochastiques ou imparfaits ($L$).
   L'article fournit des bornes théoriques (Théorème 1) montrant que l'erreur totale est bornée par l'erreur d'approximation des candidats plus un terme dépendant du nombre de prompts et de la confiance du vérificateur.

Configuration Expérimentale

L'étude évalue une large gamme de modèles (de 7B à 72B de paramètres et des API propriétaires) à travers diverses références (benchmarks) :

• Tâches Conversationnelles : UltraFeedback, AlpacaEval (utilisant des vérificateurs stochastiques).
• Raisonnement Vérifiable : GSM8K, MATH, HumanEval et MathArena (utilisant des vérificateurs déterministes ou quasi-déterministes).
• Modèles : Familles Llama-3.1, Qwen-2.5, Tülu-3 et modèles propriétaires (GPT-5.2, GPT-5.5, DeepSeek-V4).
• Variables : Les expériences font varier la température d'échantillonnage, les budgets de vote de cohérence de soi (self-consistency) et les longueurs de raisonnement (budgets de tokens).

Résultats Clés

Les expériences valident quatre hypothèses principales :

1. H1 : Le Risque de Valeur Rationnelle est Omniprésent.
   À travers tous les modèles et benchmarks, le RVR est systématiquement positif. Les modèles génèrent fréquemment des candidats à haute utilité (REU - Rational Expected Utility élevée) mais échouent à les déployer de manière cohérente (AEU - Actual Expected Utility plus faible). Par exemple, sur le benchmark MathArena, même des modèles puissants comme GPT-5.2 présentent un RVR de 0,360, représentant 70,6 % de l'écart d'utilité total.

2. H2 : L'Alignement des Valeurs Réduit mais N'Élimine Pas le RVR.
   Les étapes d'alignement post-entraînement (SFT $\to$ DPO $\to$ RLVR) améliorent généralement l'AEU et réduisent le RVR. Cependant, un risque significatif demeure même après le RLVR. Dans certains cas (par exemple, Tülu-3-70B sur MathArena), l'alignement améliore la capacité du modèle à échantillonner des réponses à haute utilité (augmentant la REU), mais le RVR augmente en fait en tant que proportion de l'erreur totale, indiquant que la stratégie déployée échoue toujours à sélectionner les meilleurs candidats.

3. H3 : Le RVR est Hautement Sensible à la Stratégie d'Inférence.

   • Température : Augmenter la température d'échantillonnage améliore souvent la REU (en trouvant de meilleurs candidats) mais augmente le RVR car le modèle ne parvient pas à sélectionner le meilleur de manière cohérente.
   • Cohérence de Soi (Self-Consistency) : Augmenter le budget de vote (self-consistency) réduit considérablement le RVR en améliorant l'AEU alors que la REU reste stable.

4. H4 : Un Raisonnement Plus Long Améliore la Rationalité avec des Rendements Décroissants.
   Étendre la longueur du raisonnement (budget de tokens) peut réduire le RVR, mais les bénéfices sont non monotones et diminuent après un certain seuil (par exemple, $T \ge 256$ ou $1024$). Sur des benchmarks de déploiement difficiles comme MathArena, un raisonnement plus long améliore légèrement la REU mais ne parvient pas à améliorer l'AEU, laissant le RVR élevé.

Signification et Revendications

L'article affirme être le premier à définir et mesurer empiriquement le Risque de Valeur Rationnelle dans le raisonnement des LLM, en séparant explicitement l'irrationalité au moment de l'inférence du désalignement des valeurs.

• Dimension d'Évaluation Distincte : Les auteurs postulent que la rationalité est une dimension distincte et complémentaire de l'alignement des valeurs. Un modèle peut être parfaitement aligné (connaissant ce qui est précieux) tout en étant irrationnel (échouant à agir sur cette connaissance lors de l'inférence).
• Outil de Diagnostic : Le cadre sert d'outil de diagnostic pour identifier si les écarts de performance sont dus à l'incapacité de générer des réponses de haute qualité (échec d'échantillonnage) ou à l'incapacité de les sélectionner (échec de déploiement).
• Limites : Le travail se concentre sur l'utilité définie sur les réponses finales, et non sur les trajectoires de raisonnement. Il ne propose pas de nouveaux algorithmes pour corriger le RVR, mais fournit la base théorique et empirique pour de futurs algorithmes d'inférence (par exemple, la recherche guidée par vérificateur) afin de minimiser l'utilité non réalisée.

En conclusion, l'article démontre que l'« irrationalité sur l'ajout du désalignement des valeurs » est un problème omniprésent dans les LLM actuels, suggérant que les futures améliorations des performances de raisonnement doivent traiter non seulement ce que le modèle apprend, mais aussi comment il raisonne et sélectionne les réponses lors de l'inférence.