💬 NLP

Reasoning Error from Known Fact: Step-Level Self-Consistency Group Relative Policy Optimization for LLM

Cet article introduit le Step-level Self-Consistency Group Relative Policy Optimization (SSC-GRPO), une nouvelle méthode qui atténue les hallucinations factuelles sensibles au contexte dans les grands modèles de langage en attribuant des récompenses au niveau de l'étape basées sur des scores d'auto-cohérence à travers plusieurs déroulements de raisonnement, atteignant ainsi des performances de pointe sur les benchmarks de raisonnement mathématique et d'hallucination.

Auteurs originaux : Xiaomeng Hu, Jiaqi Hu, Hao Chen, Qi Zhang, Zhanming Shen, Wentao Ye, Junbo Zhao

Publié 2026-07-22

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xiaomeng Hu, Jiaqi Hu, Hao Chen, Qi Zhang, Zhanming Shen, Wentao Ye, Junbo Zhao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot brillant et hyper-créatif comment résoudre un mystère. Ce robot a lu presque tous les livres de la bibliothèque et peut parler comme un humain, mais il a une habitude bizarre : parfois, lorsqu'il se plonge dans une longue histoire, il commence à inventer des faits. Il pourrait affirmer avec assurance : « Le majordome l'a fait avec un chandelier », même si les indices pointent clairement vers le jardinier. Dans le monde de l'intelligence artificielle, c'est ce qu'on appelle une « hallucination ». Ce n'est pas que le robot ment intentionnellement ; c'est juste que son cerveau s'emmêle tellement dans sa propre longue chaîne de pensée qu'il oublie ce qu'il sait réellement.

Pendant longtemps, les scientifiques ont pensé que ces erreurs se produisaient parce que le robot ne connaissait simplement pas la réponse. Mais et si le robot connaissait la réponse, mais se perdait dans l'histoire qu'il est en train de raconter ? C'est l'énigme que ce document traite. Les chercheurs étudient comment ces modèles d'IA réfléchissent étape par étape, comme un détective prenant des notes sur un carnet. Ils ont découvert que le robot trébuche souvent sur ses propres pieds, non pas par manque de connaissances, mais parce que le contexte de l'histoire qu'il écrit le fait oublier la vérité. Pour corriger cela, ils ont inventé une nouvelle méthode d'entraînement qui agit comme un système d'« auto-vérification », apprenant au robot à faire une pause et à se demander : « Attends, est-ce que cette phrase a du sens par rapport à tout ce que je viens d'écrire ? »

Le Problème : Le « Brouillard Cérébral » du Robot

Rencontrez le Grand Modèle de Langage (LLM). Considérez-le comme un perroquet super intelligent qui a mémorisé l'intégralité d'Internet. Lorsque vous lui posez un problème mathématique difficile, il ne se contente pas de recracher une réponse ; il essaie de « réfléchir » au problème, en rédigeant une longue chaîne de raisonnement, étape par étape. C'est excellent pour résoudre des énigmes complexes, mais cela présente un défaut. À mesure que la chaîne de pensée s'allonge, le robot devient parfois « sensible au contexte ».

Imaginez que vous résolviez un problème de mathématiques dans votre tête. Vous savez que $3 \times 100 = 300$ . Mais ensuite, vous commencez à écrire une histoire sur un sorcier qui lance un sort transformant les nombres en fruits. Soudain, votre cerveau s'embrouille, et vous pourriez écrire : « Donc, $3 \times 100$ est certainement une banane. » Vous savez que c'est 300, mais l'histoire absurde que vous vous racontez vous a fait oublier.

Les chercheurs ont découvert que c'est exactement ce qui arrive à l'IA. Ils appellent cela une Hallucination Factuelle Sensible au Contexte. Le robot possède réellement les faits corrects stockés dans son cerveau, mais le « bruit » du long processus de raisonnement le trompe et l'amène à commettre une erreur. C'est comme un musicien qui sait jouer une chanson parfaitement, mais qui est tellement distrait par le bruit du public qu'il joue une fausse note.

La Découverte : Ce n'est pas un manque de connaissances

Pour comprendre cela, l'équipe a agi comme des détectives. Ils ont pris un robot qui avait commis une erreur dans une longue chaîne de raisonnement et lui ont posé une question simple : « Si je prends juste cette phrase erronée et que je t'interroge dessus isolément, peux-tu répondre correctement ? »

La réponse était presque toujours oui.

Lorsqu'ils isolaient l'erreur, le robot disait : « Oh, bien sûr ! $3 \times 100$ fait 300, pas une banane ! » Cela prouvait que le robot ne manquait pas de connaissances ; il était simplement perturbé par le contexte. En fait, leur analyse a montré que près de 70 % des erreurs commises par ces modèles de raisonnement sont de ce type spécifique de « brouillard cérébral », où le modèle connaît la vérité mais se laisse piéger par sa propre histoire.

La Solution : Le Coach de la « Cohérence Propre »

Alors, comment apprendre à un robot à ne plus se laisser distraire par sa propre histoire ? Les auteurs ont créé une nouvelle méthode d'entraînement appelée SSC-GRPO (Step-Level Self-Consistency Group Relative Policy Optimization). C'est un nom compliqué, alors décomposons-le avec une analogie de jeu.

Imaginez que vous entraînez une équipe de 8 robots à résoudre la même énigme en même temps.

Le Déploiement (Rollout) : Chaque robot rédige sa propre solution étape par étape.
L'Auto-Vérification : Au lieu de simplement vérifier si la réponse finale est correcte, le système demande aux robots de comparer leurs étapes. « Robot A, est-ce que ta deuxième étape correspond à ce que le Robot B et le Robot C ont écrit ? »
La Récompense : Si l'étape d'un robot correspond à ce que les autres disent (haute cohérence), il reçoit un score élevé. S'il déraille et dit quelque chose de bizarre sur lequel personne d'autre n'est d'accord (basse cohérence), il reçoit un score faible.

La magie ici est que le robot agit comme son propre juge. Il n'a pas besoin d'un enseignant humain ou d'une base de données de faits pour lui dire qu'il a tort. Il a juste besoin de regarder ses « pairs » (les autres versions de lui-même) et de réaliser : « Hé, je suis le seul à dire que la réponse est une banane. C'est probablement faux. »

Le système utilise ensuite ces scores pour donner des « récompenses » aux étapes spécifiques qui sont cohérentes et des « punitions » aux étapes qui sont des hallucinations. Avec le temps, le robot apprend à faire confiance aux étapes qui font sens au sein du groupe et cesse d'inventer des faits juste pour s'adapter à l'histoire.

Les Résultats : Des Robots plus Intelligents et plus Honnêtes

L'équipe a testé cette nouvelle méthode sur certains des défis mathématiques et de raisonnement les plus difficiles disponibles. Ils ont utilisé des modèles comme Qwen3 et Llama3. Les résultats sont impressionnants.

Meilleures Mathématiques : Sur les tests mathématiques standards, la nouvelle méthode a permis aux robots d'obtenir des scores plus élevés qu'auparavant. Par exemple, sur un test, la nouvelle méthode a amélioré le score d'environ 1,8 % par rapport aux méthodes d'entraînement standard.
Moins d'Hallucinations : Plus important encore, les robots ont commis beaucoup moins de ces erreurs « sensibles au contexte ». Le nombre de fois où ils étaient confus par leurs propres histoires a chuté de manière significative.
Aucune Aide Extérieure Nécessaire : Contrairement à d'autres méthodes qui nécessitent que le robot consulte des faits dans une encyclopédie géante (ce qui est lent et coûteux), cette méthode utilise simplement le propre cerveau du robot pour se vérifier.

Les chercheurs ont également remarqué quelque chose de fascinant pendant l'entraînement : à mesure que les robots apprenaient, leur « cohérence » augmentait. Ils commençaient à être plus d'accord avec eux-mêmes, et le nombre d'étapes confuses et inventées diminuait. C'était comme regarder un étudiant passer d'un état distrait et confus à un état concentré et confiant.

Pourquoi cela compte

Ce document suggère une nouvelle façon de corriger l'un des plus grands problèmes de l'IA : la tendance à paraître sûr de soi tout en étant dans l'erreur. En réalisant que le robot connaît souvent la réponse mais se perd simplement dans l'histoire, les auteurs ont trouvé un moyen de le maintenir sur la bonne voie.

Ils n'ont pas seulement deviné ; ils ont mesuré. Ils ont montré que lorsqu'on isole l'erreur, la connaissance est présente. Ils ont prouvé que leur nouvelle méthode réduit ces types spécifiques d'erreurs. Bien que le document note que cela demande un peu plus de puissance de calcul (car les robots doivent se vérifier plusieurs fois), le compromis semble valoir la peine pour rendre l'IA plus fiable.

En résumé, les auteurs ont donné à l'IA un nouvel outil : un miroir. Au lieu de simplement regarder l'étape suivante de l'histoire, le robot apprend désormais à regarder en arrière et à se demander : « Est-ce que cela correspond à tout ce que j'ai dit jusqu'à présent ? » Et ce faisant, il arrête d'inventer des faits et commence à dire la vérité.

Résumé technique : Optimisation de la politique par groupe relative à l'auto-cohérence au niveau des étapes (SSC-GRPO) pour les LLM

1. Définition du problème : Hallucinations factuelles sensibles au contexte

Bien que les grands modèles de langage (LLM) aient démontré de fortes capacités de raisonnement en chaîne longue, ils restent sujets à la génération d'énoncés confiants mais incorrects, connus sous le nom d'hallucinations. Les auteurs identifient un mode de défaillance spécifique et prévalent nommé hallucination factuelle sensible au contexte.

Contrairement aux hallucinations de « lacune de connaissances » où le modèle manque de l'information nécessaire, les hallucinations sensibles au contexte se produisent lorsque le modèle possède la connaissance factuelle correcte mais produit une erreur factuelle due à l'interférence du contexte de raisonnement environnant. Le document démontre que si une étape de raisonnement hallucinée est extraite et reformulée sous forme de question indépendante, le modèle peut y répondre correctement. Cependant, au sein d'une trajectoire de raisonnement complexe à étapes multiples, le modèle est induit en erreur par le contexte, ce qui entraîne une cascade d'erreurs et une réponse finale incorrecte. L'analyse empirique révèle que ce type d'hallucination représente près de 70 % des erreurs dans les modèles de raisonnement, une proportion qui persiste même lorsque les capacités des modèles s'améliorent et que les erreurs de lacunes de connaissances diminuent.

2. Méthodologie : SSC-GRPO

Pour atténuer ces hallucinations sans dépendre de bases de connaissances externes, les auteurs proposent l'Optimisation de la politique par groupe relative à l'auto-cohérence au niveau des étapes (SSC-GRPO). Cette méthode intègre la détection de l'auto-cohérence directement dans la boucle d'entraînement par apprentissage par renforcement (RL) de l'Optimisation de la politique par groupe relative (GRPO).

Mécanisme central

L'approche tire parti de l'observation selon laquelle la GRPO génère naturellement plusieurs trajectoires de raisonnement (rollouts) pour un même prompt, ce qui s'aligne avec la détection d'hallucinations basée sur l'auto-cohérence. La méthode procède comme suit :

Rollouts de groupe : Pour une requête donnée, le modèle de politique génère un groupe de $G$ trajectoires de raisonnement (rollouts).
Score d'auto-cohérence au niveau des étapes : Au lieu d'attribuer une récompense uniquement à la fin d'une trajectoire, la SSC-GRPO évalue chaque étape de raisonnement $o_{i,k}$ $o_{i, k}$ au sein d'un rollout $i$ $i$ par rapport aux étapes correspondantes dans d'autres rollouts $j$ $j$ au sein du même groupe.
- Le modèle agit comme son propre juge, utilisant un prompt d'inférence de langage naturel (NLI) pour déterminer si une étape dans le rollout $i$ implique, contredit ou est neutre par rapport à l'étape correspondante dans le rollout $j$ .
- Un score de cohérence est calculé en agrégeant ces jugements NLI, pondérés par la récompense de résultat du rollout de référence $j$ (accordant un poids plus élevé aux étapes des rollouts menant à des réponses finales correctes).
Rescalage de l'avantage par étape : L'avantage standard de la GRPO (dérivé de la récompense de résultat finale) est redistribué à travers les étapes de la trajectoire.
- Les étapes présentant des scores d'auto-cohérence élevés reçoivent une part plus importante de l'avantage si la trajectoire est correcte, ou une pénalité plus faible si la trajectoire est incorrecte.
- Cela est réalisé via un coefficient de rescalage $w_{i,k}$ qui ajuste l'avantage pour chaque étape tout en préservant l'avantage total de la trajectoire.
Optimisation de la politique : Le modèle est mis à jour à l'aide d'un objectif de type PPO qui maximise la somme pondérée de ces avantages au niveau des étapes, encourageant ainsi le modèle à générer des étapes qui sont cohérentes avec la majorité des chemins de raisonnement corrects.

3. Principales contributions

Le document expose trois contributions primaires :

Identification d'un type d'hallucination dominant : Les auteurs fournissent une analyse fine démontrant que les hallucinations factuelles sensibles au contexte sont le mode d'erreur dominant dans les modèles de raisonnement actuels. Ils montrent que ces erreurs proviennent d'une interférence contextuelle plutôt que d'un manque de connaissances, un phénomène que les méthodes de détection traditionnelles manquent souvent.
Algorithme SSC-GRPO : Ils proposent une nouvelle méthode de RL qui utilise des signaux d'auto-cohérence à travers plusieurs rollouts pour générer des récompenses au niveau des étapes. Cela permet au modèle d'apprendre à éviter les erreurs factuelles induites par le contexte sans nécessiter de sources de connaissances externes ou d'outils de vérification des faits.
Validation empirique : Des expériences approfondies sur des benchmarks de raisonnement mathématique et d'hallucination valident que la SSC-GRPO réduit efficacement la proportion d'hallucinations sensibles au contexte et améliore les performances globales de raisonnement.

4. Résultats expérimentaux

Les auteurs ont évalué la SSC-GRPO sur Qwen3-4B-Base, Qwen3-4B-Instruct et Llama3-8B-Instruct, en la comparant à des modèles de référence incluant les modèles Vanilla, la GRPO standard, la FSPO (Optimisation de la politique par étape sensible à la factualité) et la SEED-GRPO.

Raisonnement mathématique : La SSC-GRPO a atteint des performances de pointe sur les benchmarks incluant GSM8K, MATH-500, AIME-24 et AIME-25. Sur Qwen3-4B-Base, elle a surpassé la ligne de base de 1,80 % en moyenne.
Atténuation des hallucinations : Sur les benchmarks d'hallucination (HaluEval, TruthfulQA, HotpotQA), la méthode a démontré des performances supérieures par rapport aux lignes de base, notant particulièrement qu'elle atteint ces résultats en utilisant uniquement les connaissances internes du modèle, contrairement à des méthodes comme la FSPO qui reposent sur la récupération externe.
Analyse des hallucinations : L'analyse post-entraînement a montré une réduction significative de la proportion d'hallucinations factuelles sensibles au contexte (passant de ~22,76 % à ~16,90 % dans une configuration) et une augmentation correspondante des étapes de raisonnement correctes.
Dynamique d'entraînement : Le suivi des ratios de cohérence pendant l'entraînement a révélé une augmentation constante des étapes cohérentes et une diminution des étapes incohérentes, confirmant que le processus de RL améliore avec succès la cohérence du raisonnement.

5. Signification et affirmations

Le document affirme offrir une nouvelle perspective pour la détection et l'atténuation des hallucinations dans le processus de raisonnement des LLM. En déplaçant l'attention de la vérification de la réponse finale vers l'auto-cohérence au niveau des étapes, les auteurs soutiennent qu'il est possible d'entraîner les modèles à reconnaître et à corriger leurs propres erreurs induites par le contexte.

La signification réside dans le constat que les modèles « savent » souvent les faits mais échouent à les appliquer correctement sous des contextes de raisonnement complexes. La SSC-GRPO répond à cela en renforçant la cohérence des étapes de raisonnement intermédiaires, atténuant ainsi le type spécifique d'hallucination qui affecte le raisonnement en chaîne longue. Les auteurs conservent une position modeste, reconnaissant que bien que leur méthode soit efficace, elle introduit une charge de calcul supplémentaire due aux vérifications d'auto-cohérence et est actuellement évaluée sur des familles de modèles spécifiques (Qwen et Llama) à des échelles de 4B et 8B paramètres.