💬 NLP

Reducing Hallucinations in LLMs via Factuality-Aware Preference Learning

Ce papier présente F-DPO, une méthode simple d'optimisation directe des préférences qui utilise des étiquettes de factualité binaires pour corriger les paires de préférences mal ordonnées et réduire significativement les hallucinations des grands modèles de langage sans nécessiter de modèle de récompense auxiliaire.

Auteurs originaux : Sindhuja Chaduvula, Ahmed Y. Radwan, Azib Farooq, Yani Ioannou, Shaina Raza

Publié 2026-04-16

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Sindhuja Chaduvula, Ahmed Y. Radwan, Azib Farooq, Yani Ioannou, Shaina Raza

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧠 Le Problème : Le "Menteur Confiant"

Imaginez que vous avez un assistant très poli, très éloquent et très confiant. Il parle avec un accent parfait et une grammaire irréprochable. Mais il y a un petit problème : il adore inventer des histoires.

Si vous lui demandez : "Qui est le président de l'Australie ?", il pourrait vous répondre avec une assurance totale : "C'est Sydney, la plus grande et la plus belle ville !".
En réalité, la capitale est Canberra. Mais comme la réponse de l'assistant est fluide, bien structurée et semble très sûre d'elle, les humains (et les systèmes qui évaluent l'IA) ont tendance à penser : "Wow, quelle belle réponse !" et à la noter comme "meilleure" que la réponse courte et sèche : "Canberra".

C'est le cœur du problème : les modèles d'IA apprennent à être "jolis" plutôt qu'à être "vrais". Ils préfèrent le style au fond, ce qui crée des "hallucinations" (des mensonges inventés de toutes pièces).

🛠️ La Solution : F-DPO (L'Entraîneur qui vérifie les faits)

Les chercheurs proposent une nouvelle méthode appelée F-DPO. Pour faire simple, c'est comme si on changeait la façon dont on entraîne l'assistant, en ajoutant un "contrôleur de réalité" très strict.

Voici les deux astuces magiques qu'ils utilisent :

1. Le "Retournement de Carte" (Label Flipping)

Imaginez un jeu de cartes où l'on compare deux réponses.

Carte A (Gagnante) : "Sydney est la capitale." (Mensonge, mais très bien écrit).
Carte B (Perdante) : "Canberra est la capitale." (Vérité, mais écrit simplement).

Normalement, l'IA apprend que la Carte A est la meilleure.
F-DPO dit : "Attends une minute ! La Carte A est un mensonge. On ne peut pas dire qu'un mensonge est meilleur qu'une vérité, même si le mensonge est mieux écrit."

Alors, l'algorithme retourne les cartes. Il dit à l'IA : "Non, c'est la Carte B (la vérité) qui doit gagner, et la Carte A (le mensonge) doit perdre." Il corrige l'erreur de jugement avant même que l'IA ne commence à apprendre.

2. La "Pénalité de Vérité" (Factuality Margin)

Imaginez que l'IA joue à un jeu de tir à l'arc.

Si elle tire une flèche qui est vraie, elle gagne des points.
Si elle tire une flèche qui est fausse (une hallucination), elle reçoit une grosse amende (une pénalité).

Dans les méthodes anciennes, l'IA recevait des points juste pour avoir tiré une flèche qui ressemblait à une vraie (fluide et confiante). Avec F-DPO, si l'IA essaie de tricher en inventant des faits, la pénalité est si forte qu'elle préfère se taire ou donner une réponse courte et vraie plutôt que de risquer l'amende.

🚀 Les Résultats : Moins de Mensonges, Plus de Confiance

Les chercheurs ont testé cette méthode sur 7 modèles d'intelligence artificielle différents (de la taille d'un petit smartphone à celle d'un super-ordinateur).

Résultat : L'IA a arrêté d'inventer des faits.
Exemple concret : Sur un modèle appelé Qwen3-8B, le taux d'erreurs (hallucinations) a été divisé par 5 ! C'est comme si un élève qui faisait 5 fautes par page en avait soudainement moins d'une.
Le plus beau : L'IA reste toujours aussi utile et polie. Elle ne devient pas bête ou silencieuse ; elle devient juste plus honnête.

🎯 En Résumé

Imaginez que vous apprenez à un enfant à parler.

L'ancienne méthode : Vous dites "Bravo !" chaque fois qu'il raconte une histoire très drôle et bien racontée, même si c'est faux. Résultat : il devient un grand conteur de mensonges.
La nouvelle méthode (F-DPO) : Vous dites "Bravo !" seulement si l'histoire est vraie. Si l'histoire est fausse, même si elle est drôle, vous lui dites : "Non, ce n'est pas vrai, essaie encore avec la vérité."

Grâce à cette méthode simple mais puissante, les intelligences artificielles deviennent des assistants plus fiables, capables de nous aider dans des domaines sérieux comme la médecine, le droit ou les finances, sans nous raconter n'importe quoi avec un grand sourire.

1. Problématique : L'alignement préférentiel et les hallucinations

Les méthodes d'alignement actuelles, telles que l'optimisation par préférence directe (DPO) et l'apprentissage par renforcement à partir de retours humains (RLHF), visent à améliorer le suivi des instructions et l'utilité des grands modèles de langage (LLM). Cependant, elles présentent une faille critique : les jugements de préférence humains (ou automatisés) privilégient souvent la fluidité et la confiance au détriment de la correction factuelle.

Le paradoxe : Un modèle peut générer une réponse fluide, confiante et bien structurée, mais factuellement fausse (une hallucination). Les annotateurs humains, influencés par le style, peuvent préférer cette réponse à une réponse factuelle mais moins élaborée.
La conséquence : L'optimisation standard (comme le DPO classique) renforce ces comportements, apprenant au modèle à produire des hallucinations convaincantes.
Limites des solutions existantes : Les approches précédentes pour corriger ce problème reposent souvent sur des modèles de récompense auxiliaires, des pipelines multi-étapes complexes ou une supervision au niveau des tokens, ce qui augmente considérablement la complexité computationnelle et le coût.

2. Méthodologie : F-DPO (Factuality-aware Direct Preference Optimization)

Les auteurs proposent F-DPO, une extension simple mais efficace du DPO standard qui utilise uniquement des étiquettes de facticité binaires (factual vs halluciné) pour corriger l'alignement préférentiel.

A. Construction des données

Le pipeline de données enrichit les paires de préférences existantes (par exemple, le corpus Skywork) :

Étiquetage binaire : Chaque réponse est annotée avec $h \in \{0, 1\}$ , où $0$ signifie "factual" et $1$ signifie "halluciné".
Génération synthétique : Pour équilibrer les configurations, des variantes hallucinées sont générées artificiellement à partir de réponses correctes.
Équilibre : Le jeu de données final contient des paires équilibrées selon les combinaisons d'étiquettes $(h_w, h_l)$ .

B. Deux mécanismes clés de F-DPO

Transformation par retournement d'étiquettes (Label Flipping) :
- Problème : Dans les paires de préférence brutes, il arrive que la réponse préférée ( $y_w$ ) soit hallucinée ( $h_w=1$ ) et la réponse rejetée ( $y_l$ ) soit factuelle ( $h_l=0$ ). Le DPO standard apprendrait à privilégier l'erreur.
- Solution : Avant l'entraînement, une règle déterministe vérifie la différence de facticité $\Delta h = h_l - h_w$ . Si $\Delta h < 0$ (la réponse préférée est moins factuelle), la paire est inversée : la réponse factuelle devient la "gagnante" et l'hallucination la "perdante". Cela garantit que la réponse choisie n'est jamais moins factuelle que la réponse rejetée.
Marge consciente de la facticité (Factuality-Aware Margin) :
- L'objectif de perte est modifié pour pénaliser davantage les paires où la réponse choisie est factuelle et la rejetée est hallucinée.
- La nouvelle marge est définie comme : $m_{fact} = m_{DPO} - \lambda \cdot \Delta h$ .
- Où $\lambda$ est un coefficient de pénalité et $\Delta h$ vaut 1 si la réponse choisie est factuelle et la rejetée hallucinée, et 0 sinon.
- Effet : Cela amplifie le signal d'apprentissage pour les paires où la facticité est le facteur discriminant, tout en réduisant l'objectif au DPO standard lorsque les deux réponses ont le même statut de facticité.

C. Avantages techniques

Sans modèle auxiliaire : Pas besoin de modèle de récompense externe.
Niveau de réponse : Pas de supervision au niveau des tokens (contrairement à Mask-DPO).
Single-stage : Entraînement en une seule étape de fine-tuning.

3. Contributions Clés

Proposition de F-DPO : Une extension du DPO intégrant des étiquettes binaires via un retournement d'étiquettes et une fonction objectif à marge conditionnelle.
Améliorations systématiques : Démonstration de gains constants en facticité et de réductions des taux d'hallucination sur 7 LLMs open-weight (de 1B à 14B paramètres) appartenant à différentes familles (Qwen, LLaMA, Gemma).
Généralisation hors distribution : Validation sur le benchmark TruthfulQA, montrant que F-DPO améliore la capacité des modèles à éviter les fausses croyances communes, même sur des données non vues pendant l'entraînement.

4. Résultats Expérimentaux

Les résultats sont significatifs par rapport aux modèles de base et au DPO standard :

Réduction des hallucinations :
- Sur Qwen3-8B, le taux d'hallucination chute de 0,424 à 0,084 (une réduction de 5x).
- Sur Qwen2.5-14B, le taux atteint 0,008, soit une amélioration d'un ordre de grandeur par rapport au modèle de base.
Amélioration des scores de facticité :
- Sur Qwen3-8B, le score de facticité passe de 5,26 à 7,90 (+50%).
Performance sur TruthfulQA (Généralisation) :
- Sur Qwen2.5-14B, la précision MC1 (choix unique) augmente de +17% (0,500 à 0,585).
- La précision MC2 (choix multiples) augmente de +49% (0,357 à 0,531).
Efficacité des données : L'approche fonctionne bien même avec seulement 25% des données d'entraînement, montrant une grande efficacité.
Qualité de réponse : Contrairement à certaines méthodes qui dégradent l'utilité (helpfulness), F-DPO maintient ou améliore la qualité des réponses tout en réduisant les hallucinations.

5. Signification et Impact

Simplicité et Efficacité : F-DPO démontre qu'il n'est pas nécessaire de recourir à des architectures complexes ou coûteuses pour améliorer la facticité. L'utilisation de simples étiquettes binaires combinées à une correction de données (label flipping) suffit à inverser la tendance des modèles à privilégier le style sur la vérité.
Correction du biais d'annotation : La méthode adresse directement le problème fondamental où les préférences humaines sont mal alignées avec la vérité factuelle, en corrigeant proactivement les paires de données erronées avant l'apprentissage.
Sécurité et Fiabilité : En réduisant les hallucinations, F-DPO rend les LLMs plus sûrs pour des domaines à haut risque (médecine, droit, finance) où la précision factuelle est cruciale.
Limites et Perspectives : L'article reconnaît que la facticité binaire est une simplification (elle ne capture pas les nuances partielles) et que le paramètre de pénalité $\lambda$ nécessite un réglage. Cependant, cela ouvre la voie à des méthodes d'alignement plus robustes et moins coûteuses.

En conclusion, F-DPO représente une avancée majeure dans l'alignement des LLMs, prouvant que des ajustements simples dans la formulation de la perte et la préparation des données peuvent radicalement réduire les hallucinations sans sacrifier la performance globale du modèle.