💬 NLP

BALTO: Balanced Token-Level Policy Optimization for Hallucination Mitigation

Le document introduit BALTO, un cadre d'optimisation de politique équilibrée au niveau des jetons qui atténue les hallucinations des LLM en projetant des jugements vérifiés au niveau des affirmations vers des récompenses au niveau des jetons afin d'assurer un entraînement stable et efficace ainsi qu'une fidélité supérieure sans sacrifier l'informativité.

Auteurs originaux : Ning Li, Zixuan Guo, Yan Xu, Wenbo Fei, Yifan Niu, Chang Luo, Yasheng Wang, Weiwen Liu, Yong Yu, Weinan Zhang

Publié 2026-06-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ning Li, Zixuan Guo, Yan Xu, Wenbo Fei, Yifan Niu, Chang Luo, Yasheng Wang, Weiwen Liu, Yong Yu, Weinan Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le gros problème : La punition « taille unique »

Imaginez que vous enseigniez à un élève (l'IA) à rédiger une dissertation d'histoire basée sur un manuel spécifique. L'élève écrit une dissertation de 500 mots. Elle est majoritairement exacte, mais au milieu, il invente une fausse date pour une bataille.

L'ancienne méthode (Récompenses au niveau de la réponse) :
Autrefois, les professeurs (les entraîneurs d'IA) lisaient toute la dissertation et lui attribuaient une note unique. Si la dissertation contenait cette seule fausse date, le professeur pourrait considérer l'intégralité de la dissertation comme « mauvaise ».

Le résultat : L'élève est puni pour toute la dissertation, même pour les parties où il a correctement cité les noms des généraux ou la météo. Pour éviter une mauvaise note, l'élève apprend à écrire des dissertations très courtes et ennuyeuses juste pour être prudent, ou il se retrouve confus quant à ce qu'il a bien fait. Il cesse de prendre des risques, et les dissertations deviennent moins utiles.

La nouvelle solution : BALTO (Le professeur « équilibré »)

Les auteurs de cet article proposent une nouvelle méthode appelée BALTO. Au lieu de noter toute la dissertation avec un seul score, BALTO agit comme un éditeur super précis qui souligne exactement quels mots sont faux et lesquels sont bons.

Voici comment cela fonctionne, étape par étape :

1. Trouver les « mauvais fruits » (Détection fine)

BALTO ne regarde pas seulement l'ensemble de la dissertation. Il décompose la dissertation en petites affirmations (comme « La bataille a eu lieu en 1863 »). Il vérifie chaque affirmation par rapport au manuel.

Si une affirmation est fausse, il marque les mots spécifiques responsables (ex: « 1863 »).
Si une affirmation est vraie, il marque ces mots comme « bons ».
Si un mot est simplement un connecteur (comme « et » ou « le »), il l'ignore.

2. La fiche de score « équilibrée » (Attribution de crédit équilibrée)

C'est la partie magique. Dans l'ancienne méthode, si vous trouviez une fausse date, vous pouviez simplement soustraire des points de toute la dissertation. BALTO fait quelque chose de plus intelligent : Il équilibre le score.

Les mauvais mots : La fausse date reçoit un score négatif (une pénalité).
Les bons mots : Les faits corrects reçoivent un score positif (une récompense).
L'équilibre : Le système s'assure que le total des « mauvais points » est égal au total des « bons points ».

L'analogie : Imaginez une balançoire à bascule.

Si l'élève écrit un fait faux, la balançoire penche de ce côté.
Pour corriger cela, BALTO ne se contente pas de pousser toute la balançoire vers le bas (en punissant toute la dissertation). Au lieu de cela, il pousse les faits corrects vers le haut de l'autre côté.
Le but est de déplacer le poids : Déplacer la probabilité loin des faits faux et vers les faits réels.

Pourquoi est-ce meilleur (La théorie)

L'article utilise les mathématiques pour prouver deux points principaux :

Moins de bruit (Stabilité) : Quand vous punissez toute la dissertation pour une seule erreur, vous confondez l'IA. Elle se dit : « Ai-je raté la date ? Ou la grammaire ? Ou l'orthographe ? » BALTO indique à l'IA exactement où se trouvait l'erreur. Cela rend le processus d'apprentissage beaucoup plus fluide et moins chaotique.
Pas de « blocage » (Efficacité) : Si l'IA est très mauvaise au début, l'ancienne méthode peut lui donner une telle pénalité qu'elle arrête d'apprendre (c'est la « famine de gradient »). Si l'IA est presque parfaite, l'ancienne méthode peut la punir si durement pour un tout petit écart qu'elle brise le modèle. BALTO maintient les récompenses et les pénalités petites et équilibrées, afin que l'IA apprenne régulièrement du début à la fin.

Les résultats : Qu'est-ce qui s'est passé ?

Les chercheurs ont testé cela sur trois différents « examens » (jeux de données) impliquant des données financières, des connaissances générales et de la compréhension de lecture. Ils ont utilisé deux modèles d'IA différents (Qwen3-8B et Qwen3-4B).

Fidélité : BALTO a produit moins de mensonges que toute autre méthode.
Informativité : Contra_irement aux anciennes méthodes qui poussaient l'IA à écrire des réponses courtes et prudentes, BALTO a permis à l'IA de continuer à écrire des réponses longues, détaillées et utiles.
Le compromis : L'article montre que BALTO atteint le meilleur équilibre : il empêche l'IA de mentir sans pour autant l'empêcher de parler.

Résumé

Considérez BALTO comme un professeur qui cesse de noter les dissertations avec un simple tampon « Réussite/Échec ». Au lieu de cela, il utilise un stylo rouge pour entourer le mensonge et un stylo vert pour souligner la vérité, garantissant que l'élève apprenne exactement ce qu'il doit corriger sans perdre confiance dans le reste de son travail. Cela mène à une IA qui est à la fois honnête et utile.

Résumé Technique : BALTO – Optimisation de la Politique au Niveau du Token Équilibrée pour l'Atténuation des Hallucinations

1. Énoncé du Problème

Les grands modèles de langage (LLM) font face à des défis significatifs dans les contextes à forte intensité de connaissances en raison des hallucinations de fidélité — la génération de contenu qui manque de support factuel ou contredit les preuves fournies. Bien que l'apprentissage par renforcement (RL) offre une voie prometteuse pour l'atténuation, les approches actuelles souffrent d'un décalage de granularité.

La plupart des méthodes de RL existantes emploient des récompenses au niveau de la réponse, attribuant un score scalaire unique à l'ensemble d'une sortie. Cette supervision grossière ne parvient pas à distinguer les segments hallucinés du contenu fidèle au sein d'une même réponse. Par conséquent, une erreur localisée (par exemple, une date ou une entité incorrecte) peut déclencher une pénalité négative uniforme sur tous les tokens, supprimant à tort des informations correctes et induisant des comportements de « détournement de récompense » (reward hacking) où les modèles génèrent des réponses plus courtes et excessivement conservatrices pour éviter les pénalités.

Les approches récentes à granularité fine (par exemple, au niveau des affirmations ou des tokens) traitent la détection mais échouent souvent à résoudre le problème de l'attribution de crédit. Les récompenses déséquilibrées au niveau du token peuvent introduire des biais de verbosité ou de longueur, tandis que les méthodes liées à des avantages globaux au niveau de la réponse héritent toujours du bruit du signal global. Le problème central est l'absence d'un mécanisme capable de pénaliser précisément les tokens hallucinés tout en compensant les tokens fidèles au sein de la même réponse, garantissant ainsi que le modèle redistribue la masse de probabilité vers la véracité plutôt que de simplement supprimer la génération.

2. Méthodologie : Cadre BALTO

Les auteurs proposent BALTO (Balanced Token-Level Policy Optimization), un cadre d'apprentissage par renforcement conçu pour localiser les hallucinations et assigner un crédit équilibré au niveau du token. Le cadre opère en deux étapes principales :

A. Détection de Tokens d'Hallucination à Granularité Fine

BALTO utilise un évaluateur de fidélité basé sur un LLM pour traiter les réponses échantillonnées :

Extraction d'Affirmations : Le système extrait les affirmations factuelles vérifiables (ex: entités, nombres, dates, relations) de la réponse.
Vérification : Chaque affirmation est vérifiée par rapport au contexte de référence (documents récupérés). Les affirmations sont partitionnées en ensembles Fidèles ( $C^+$ ) et Hallucinés ( $C^-$ ).
Projection de Tokens :
- Les tokens des affirmations fidèles sont étiquetés comme Fidèles ( $F$ ).
- Pour les affirmations hallucinées, le système tente de localiser le sous-ensemble minimal de tokens erronés ( $e_{i,m}$ ) responsable de l'erreur (ex: seulement le nombre incorrect « 11,4 % » plutôt que toute la phrase). Si l'isolation est impossible, l'ensemble du segment de l'affirmation est pénalisé. Ces tokens sont étiquetés comme Hallucinés ( $H$ ).
- Les tokens en dehors des affirmations vérifiables ou les tokens fidèles au sein d'une affirmation hallucinée (lorsque l'erreur ne peut être isolée) sont étiquetés comme Neutres ( $N$ ).

B. Attribution de Crédit Équilibrée au Niveau du Token

Contra-irement au GRPO standard qui diffuse un avantage unique à tous les tokens, BALTO assigne des avantages spécifiques ( $A^{bal}_{i,t}$ ) basés sur les étiquettes de tokens :

Tokens Hallucinés ( $H$ ) : Reçoivent un avantage négatif de -1.
Tokens Fidèles ( $F$ ) : Reçoivent un avantage de compensation positif de $N^-_i / N^+_i$ , où $N^-$ et $N^+$ sont les comptes respectifs des tokens hallucinés et fidèles.
Tokens Neutres ( $N$ ) : Reçoivent un avantage de 0.

Mécanisme Clé : Cette conception garantit une propriété de somme nulle intra-réponse : $\sum A^{bal}_{i,t} = 0$ . Le signal négatif total provenant des hallucinations est exactement équilibré par le signal positif du contenu fidèle. Cela encourage la politique à redistribuer la masse de probabilité du contenu hallucinés vers le contenu fidèle, plutôt que de supprimer l'ensemble de la réponse.

C. Objectif d'Optimisation

BALTO optimise la politique en utilisant un objectif tronqué similaire au GRPO, mais restreint aux tokens factuels ( $H \cup F$ ). La fonction d'objectif maximise l'avantage équilibré attendu, en normalisant les mises à jour par le nombre de tokens factuels ( $Z_i = \max(1, |H| + |F|)$ ).

3. Analyse Théorique

L'article fournit des preuves théoriques démontrant la supériorité de BALTO par rapport au GRPO au niveau de la réponse :

Réduction de la Variance (Théorème 1) : Le GRPO au niveau de la réponse induit une variance de gradient qui croît linéairement avec la longueur totale de la réponse ( $O(T)$ ). En revanche, BALTO restreint la variance pour qu'elle ne dépende que du nombre de tokens hallucinés ( $O(N^-)$ ). Comme les hallucinations sont rares, cela réduit considérablement le bruit de gradient et stabilise l'entraînement.
Efficacité de l'Optimisation (Théorème 2) :
- Démarrage à froid ( $p \to 0$ ) : Le GRPO au niveau de la réponse souffre de « famine de gradient » car le coefficient de normalisation devient négligeable lorsque les réponses fidèles sont rares. BALTO maintient des signaux locaux forts et bornés ( $O(1)$ ), assurant une exploration efficace lors des premières étapes.
- Convergence ( $p \to 1$ ) : Le GRPO au niveau de la réponse déclenche des pénalités divergentes non bornées ( $A^- \to -\infty$ ) pour les erreurs rares, déstabilisant la convergence en fin de processus. BALTO maintient des avantages strictement bornés ( $[-1, 1]$ ), assurant une convergence stable et progressive.

4. Résultats Expérimentaux

Les expériences ont été menées sur trois benchmarks : ConFiQA (QA contrefactuelle), RAGTruth (corpus d'hallucinations RAG) et FinLLM-Eval (QA dans le domaine financier). Les modèles utilisés incluent Qwen3-8B et Qwen3-4B.

Principales Conclusions :

Fidélité : BALTO a obtenu les scores de fidélité les plus élevés dans les six configurations modèle-benchmark, surpassant les bases de référence au niveau de la réponse (GRPOB, GRPOD) et les bases de référence au niveau du token (FSPO).
Score Q : BALTO a systématiquement obtenu le Score Q le plus élevé (défini comme Fidélité $\times$ $\times$ Informativité), démontrant un meilleur compromis entre correction et rétention d'information.
- Comparé à la base de référence de post-entraînement la plus forte, BALTO a amélioré le Score Q en moyenne de 2,7 points (jusqu'à 4,9) et la Fidélité de 3,1 points (jusqu'à 6,7).
Dynamique d'Entraînement :
- Normes de Gradient : BALTO a présenté des normes de gradient un ordre de grandeur plus petites et plus concentrées que les méthodes au niveau de la réponse, confirmant la réduction de la variance.
- Mises à jour de Paramètres : BALTO a atteint une haute fidélité avec nettement moins de mises à jour de paramètres (~12 % contre ~17 % pour GRPOB), indiquant un apprentissage plus efficace focalisé sur les paramètres pertinents.
Études d'Ablation : Le retrait de l'avantage de compensation positif pour les tokens fidèles (en fixant $PA=0$) a entraîné des chutes substantielles tant de la fidélité que de l'informativité, validant la nécessité du mécanisme de crédit équilibré.

5. Signification et Revendications

L'article affirme que BALTO comble une lacune critique dans l'atténuation des hallucinations : le besoin d'une attribution de crédit équilibrée et fine.

Précision : En localisant les erreurs sur des tokens spécifiques et en équilibrant le signal de récompense, BALTO évite la pénalité « tout ou rien » du RL au niveau de la réponse, préservant ainsi l'informativité de la réponse.
Stabilité : Les preuves théoriques et empiriques suggèrent qu'une attribution équilibrée au niveau du token conduit à des trajectoires d'entraînement plus stables et à une plus grande efficacité d'optimisation, particulièrement lors des premières phases d'entraînement et durant la convergence.
Compromis : Les résultats démontrent qu'il est possible de réduire significativement les hallucinations sans sombrer dans une génération excessivement conservatrice ou verbeuse, atteignant un meilleur compromis fidélité-informativité que les approches de post-entraînement précédentes.

Les auteurs notent des limites, principalement le fait que la méthode repose sur un évaluateur externe basé sur un LLM pour l'extraction et la vérification des affirmations, ce qui signifie que ses performances sont limitées par la précision de l'évaluateur. De plus, le cadre est conçu pour des contextes ancrés dans la récupération (retrieval-grounded) où des documents de référence sont disponibles.