Résumé technique : Raisonnement ou fluidité ? Disséquer la confiance probabiliste dans la sélection Best-of-N

Énoncé du problème

Les avancées récentes des grands modèles de langage (LLM) ont exploité les stratégies de sélection Best-of-N pour améliorer les capacités de raisonnement. Cette approche consiste à échantillonner plusieurs traces de raisonnement (souvent via la chaîne de pensée, ou CoT) et à sélectionner la plus optimale en fonction d'une fonction de score. Bien que des modèles de récompense externes existent, les tendances récentes privilégient les métriques de confiance probabiliste dérivées directement de la distribution de jetons (tokens) de sortie du LLM (par exemple, l'auto-certitude, la log-vraisemblance, l'entropie) en raison de leur efficacité computationnelle.

L'hypothèse fondamentale sous-tendant ces métriques est qu'une confiance probabiliste élevée reflète une plus grande fidélité du raisonnement et des dépendances causales inter-étapes valides. Cependant, des travaux antérieurs suggèrent que les traces de CoT peuvent être infidèles, servant de rationalisations post-hoc plutôt que de reflets du processus de décision interne du modèle. Cet article remet en question l'hypothèse fondamentale selon laquelle les métriques probabilistes actuelles capturent réellement la structure logique et les dépendances causales nécessaires à un raisonnement valide, se demandant si elles ne mesurent pas simplement la fluidité de surface ou les priors de distribution.

Méthodologie

Pour enquêter sur la question de savoir si les métriques de confiance probabiliste reposent sur la causalité inter-étapes ou sur la fluidité locale, les auteurs introduisent un cadre de perturbations de causalité. Ces perturbations perturbent systématiquement le flux logique et les dépendances entre les étapes de raisonnement tout en préservant la fluidité syntaxique locale et la plausibilité sémantique.

L'étude évalue trois classes distinctes de perturbations à travers cinq bancs d'essai de raisonnement (MATH-500, GPQA-Diamond, GSM8K, LogiQA, AR-LSAT) et trois familles de LLM (Qwen, Llama, Phi) :

1. Perturbations au niveau de l'attention :

   • Masquage (Masking) : Un masque d'attention dur est appliqué entre les étapes de raisonnement lors du calcul de la métrique. Cela force le modèle à évaluer chaque étape indépendamment ($p(s_k | x, s_{<k})$ devient $p(s_k | x, s_{<k}^{local})$), brisant la chaîne causale autoregressive où l'étape $k$ dépend de l'étape $k-1$.
   • Masquage de la requête (Query Masking) : Un cas extrême où le conditionnement sur la requête d'entrée est également supprimé, évaluant les étapes uniquement sur leur historique de jetons interne.

2. Perturbations au niveau des paramètres :

   • L'évaluation est réalisée à l'aide d'un modèle nettement plus petit (par exemple, Qwen2.5-0.5B) par rapport au générateur (par exemple, Qwen3-8B). Les modèles plus petits conservent des priors forts pour les formats de réponses courants et la fluidité locale, mais manquent de capacité pour modéliser des dépendances causales complexes et à longue portée.

3. Perturbations au niveau des données :

   • Paraphrase : Chaque étape de raisonnement est réécrite indépendamment pour préserver le sens sémantique mais altérer les signaux syntaxiques et lexicaux reliant les étapes.
   • Mélange (Shuffling) : L'ordre des étapes de raisonnement est randomisé, détruisant la progression causale séquentielle tout en conservant la fluidité de chaque étape individuelle.
   • Troncation : Les parties finales de la trace de raisonnement sont supprimées, testant la dépendance à l'égard de chaînes multi-étapes complètes par rapport aux préfixes initiaux.

Les auteurs mesurent la précision de sélection (la fraction de questions où la sortie sélectionnée est correcte) sous ces conditions de perturbation et les comparent aux métriques originales, non altérées.

Contributions clés

1. Preuve empirique d'insensibilité : L'article fournit une preuve solide que les métriques de confiance probabiliste de pointe sont largement insensibles aux perturbations de la structure causale inter-étapes. À travers divers modèles et benchmarks, la précision de sélection ne dégrade que marginalement (souvent <1 %) ou s'améliore même lorsque les dépendances causales sont rompues.
2. Fluidité vs Raisonnement : Les résultats suggèrent que les métriques actuelles capturent principalement la fluidité locale et les priors de format de réponse plutôt que la validité du processus de raisonnement. Les métriques restent robustes même lorsque la cohérence logique de la trace est détruite.
3. Métrique de causalité contrastive : Pour combler cette lacune, les auteurs proposent une nouvelle métrique, $R_{causal}$, définie comme :
   $$R_{causal}(y) = R(y) - \alpha \cdot \hat{R}(y)$$
   Où $R(y)$ est la métrique originale et $\hat{R}(y)$ est la métrique calculée sous masquage de l'attention (représentant la fluidité locale). En soustrayant la composante de fluidité, cette métrique isole explicitement les signaux attribuables aux dépendances causales inter-étapes.

Résultats

• Niveau de l'attention : Le masquage de l'attention inter-étapes a entraîné une perte de précision minimale. Pour Qwen, le masquage a même produit une légère amélioration (0,75 %). Même pour Phi, qui a montré des baisses plus importantes (~6-7 %), la performance est restée bien au-dessus des baselines aléatoires.
• Niveau des paramètres : L'utilisation d'un modèle évaluateur plus petit (0.5B vs 8B) n'a entraîné que des changements négligeables dans la précision de sélection (par exemple, Qwen n'a changé que de 0,7 % en moyenne), indiquant que la capacité de raisonnement fine n'est pas requise pour que ces métriques fonctionnent efficacement.
• Niveau des données :
  • Mélange (Shuffling) : La randomisation de l'ordre des étapes n'a causé aucune dégradation systématique ; dans certains cas, la précision s'est améliorée.
  • Paraphrase : Les variations lexicales préservant le sens de la phrase ont conduit à des baisses de performance négligeables.
  • Troncation : Supprimer jusqu'à 30k jetons à la fin des traces (ne laissant que de courts préfixes) n'a pas substantiellement dégradé la précision, suggérant que la chaîne de raisonnement complète n'est pas nécessaire pour un classement efficace.

Signification et affirmations

L'article affirme que le recours aux métriques de confiance probabiliste pour la sélection Best-of-N peut surestimer la fiabilité de ces métriques en tant que proxys de la justesse du raisonnement. L'absence prononcée de sensibilité aux perturbations causales implique que ces métriques ne capturent pas fidèlement la cohérence du raisonnement multi-étapes.

En conséquence, les auteurs soutiennent que le domaine doit dépasser la simple sélection basée sur la probabilité. La métrique de causalité contrastive proposée démontre qu'isoler explicitement les dépendances causales permet une sélection de sortie plus fidèle. Ce travail souligne un désalignement critique entre les pratiques d'évaluation actuelles et la structure logique réelle du raisonnement, appelant à une réévaluation de la manière dont la « qualité du raisonnement » est mesurée dans l'IA générative.