Factuality on Demand: Controlling the Factuality-Informativeness Trade-off in Text Generation

Résumé Technique : Génération Contrôlée par la Factualité (FCG)

1. Énoncé du Problème

Les grands modèles de langage (LLM) possèdent des connaissances internes d'une fiabilité variable, créant un compromis inhérent entre la factualité (exactitude) et l'informativité (détail). Dans les domaines à enjeux élevés (ex. : médical, juridique), les utilisateurs exigent des sorties conservatrices et hautement factuelles, tandis que les tâches créatives ou de remue-méninges privilégient souvent un contenu riche malgré des risques factuels potentiels.

Les modèles de pointe actuels manquent d'un mécanisme intégré pour contrôler ce compromis. Bien que les utilisateurs puissent tenter de guider le comportement via des prompts (ex. : « soyez plus factuel »), des résultats empiriques montrent que ces modèles ne parviennent pas à ajuster de manière fiable leurs sorties pour répondre à des objectifs de factualité spécifiques. Les benchmarks d'évaluation existants comme FactScore révèlent que les modèles prêts à l'emploi échouent souvent à satisfaire des contraintes de factualité même modérées ou strictes, nécessissant une alternative contrôlable permettant aux utilisateurs de spécifier un niveau de factualité souhaité.

2. Méthodologie : Génération Contrôlée par la Factualité (FCG)

Les auteurs proposent la Génération Contrôlée par la Factualité (FCG), un cadre où un LLM prend en entrée une requête et une contrainte de factualité numérique $c \in [0, 1]$, générant une réponse où la proportion d'énoncés factuels étayés atteint ou dépasse $c$, tout en maximisant l'informativité.

A. Pipeline de Génération de Données Synthétiques
Puisqu'il n'existe aucun ensemble de données étiquetées existant pour les triplets (question, contrainte de factualité, réponse de référence), les auteurs introduisent un pipeline synthétique guidé par la confiance pour construire les données d'entraînement :

1. Génération Initiale : Un modèle de base génère une réponse détaillée et non contrainte ($r_0$) pour une question donnée.
2. Segmentation des Faits : La réponse est segmentée en énoncés factuels atomiques.
3. Évaluation de la Confiance : Le modèle est sollicité pour évaluer la confiance de chaque fait atomique (ex. : « Est-ce Vrai ou Faux ? »), dérivant un score de probabilité.
4. Élagage Itératif : Les faits sont classés par confiance. Pour respecter une contrainte cible $c$, le système supprime progressivement les faits ayant la plus faible confiance jusqu'à ce que le sous-ensemble restant satisfasse le seuil de factualité.
5. Reconstruction : Les faits restants à haute confiance sont fusionnés pour former une réponse fluide, en préservant la formulation originale autant que possible.
   Ce processus est répété sur une gamme de valeurs de $c$ (ex. : de 0,1 à 1,0) pour créer des ensembles de réponses alignés pour le réglage fin supervisé (SFT).

B. Entraînement et Inférence
Les auteurs effectuent un réglage fin (fine-tuning) d'un modèle Mistral-7B sur les triplets synthétiques $(question, c, réponse)$. Lors de l'inférence, le modèle est conditionné par le niveau de factualité $c$ spécifié par l'utilisateur, lui permettant d'ajuster dynamiquement sa sortie pour respecter la contrainte sans nécessiter de filtrage itératif ou de re-classement a posteriori.

C. Métriques d'Évaluation
La performance est évaluée sur deux axes à l'aide de FactScore :

• Adhérence à la Factualité : La proportion de générations où le score de factualité $f(o) \ge c$.
• Informativité : Le nombre d'énoncés atomiques validés dans la sortie, normalisé par la longueur.

3. Contributions Clés

• Définition de la Tâche : Introduction de la FCG comme une tâche de génération contrôlée conditionnant les sorties du LLM à un seuil de factualité spécifié par l'utilisateur.
• Cadre d'Entraînement Synthétique : Développement d'un nouveau pipeline pour générer des données d'entraînement en élaguant systématiquement les faits de faible confiance des générations non contraintes, permettant l'apprentissage supervisé du compromis factualité-informativité.
• Validation Empirique : Démonstration que le réglage fin sur ces données synthétiques surpasse de manière significative les bases de comparaison basées sur le prompting pour respecter les contraintes de factualité.

4. Résultats

Les expériences ont été menées sur une tâche de génération de biographie utilisant 500 entités (450 pour l'entraînement, 50 pour la validation, 183 pour le test).

• Adhérence à la Factualité :

  • Baselines de Prompting : Le prompting standard (Inférence Contrôlée par la Factualité, FCI) n'a pas réussi à améliorer l'adhérence ; dans certains cas (ex. : $c=0,9$), l'adhérence a chuté par rapport à la baseline non contrainte (3,8 % contre 5,5 %).
  • Entraînement FCG : Le modèle ajusté présente des améliorations substantielles. L'adhérence augmente de 17,2 % à $c=0,8$ et de 130,0 % à $c=0,9$ par rapport à la baseline.
  • Contraintes Strictes : Au niveau le plus strict ($c=1,0$, exigeant que toute l'information soit correcte), la baseline et les méthodes FCI ont atteint 0 % d'adhérence, tandis que le modèle FCG a atteint 23,6 %.

• Compromis Factualité–Informativité :

  • Le modèle FCG déplace la frontière du compromis vers l'extérieur. Pour tout niveau de factualité donné, le FCG produit des réponses avec une informativité plus élevée (plus de faits étayés) que les baselines.
  • Notamment, à $c=1,0$, le modèle FCG fournit des réponses non vides et entièrement factuelles, alors que la baseline d'inférence devait de fait supprimer tout le contenu pour éviter les hallucinations, ce qui résultait en une informativité nulle.

5. Signification et Revendications

L'article affirme que la FCG fournit un mécanisme fiable permettant aux utilisateurs de personnaliser l'équilibre entre factualité et informativité des sorties de LLM selon les besoins spécifiques des applications. En internalisant le compromis via un entraînement supervisé sur des données synthétiques, le modèle apprend à « abandonner les détails les moins certains mais conserver tout le reste » lorsqu'une haute factualité est demandée.

Les auteurs positionnent ce travail comme une étape vers des LLM plus fiables et flexibles, particulièrement pour les tâches gourmandes en connaissances. Ils soulignent que leur méthode améliore la contrôlabilité sans la surcharge de calcul du filtrage a posteriori ou de l'échantillonnage de rejet utilisé dans d'autres cadres.

Limites Reconnues :

• L'étude est actuellement limitée à l'anglais et aux tâches de génération de biographies.
• Les expériences ont été menées sur un modèle de taille moyenne (Mistral-7B) ; la scalabilité vers des architectures plus grandes et de pointe reste non testée.
• L'applicabilité du cadre à d'autres langues et à des tâches génératives complexes (ex. : compréhension multimodale) nécessite des investigations supplémentaires.