Optimising Factual Consistency in Summarisation via Preference Learning from Multiple Imperfect Metrics

Résumé technique : Optimisation de la cohérence factuelle dans la synthèse via l'apprentissage par préférence à partir de multiples métriques imparfaites

Énoncé du problème
Bien que les grands modèles de langage (LLM) démontrent une fluidité impressionnante, ils éprouvent fréquemment des difficultés avec la cohérence factuelle, générant souvent des résumés contenant des détails hallucinés ou des incohérences par rapport au texte source. L'apprentissage par renforcement (RL) a été proposé pour atténuer ce problème en utilisant des métriques d'évaluation comme signaux de récompense. Cependant, les métriques automatiques de factualité existantes sont individuellement peu fiables et peinent souvent à détecter des erreurs subtiles. De plus, l'utilisation d'une seule métrique comme récompense scalaire peut entraîner un entraînement instable, tandis que la combinaison de métriques nécessite généralement un pondération manuelle (façonnage de la récompense), ce qui est complexe et sujet aux erreurs. Les approches alternatives comme l'apprentissage par renforcement à partir de retours humains (RLHF) échouent souvent à prioriser la factualité, car les annotateurs humains peuvent négliger les erreurs factuelles au profit d'autres qualités telles que la fluidité ou la cohérence. La construction de jeux de données de préférence de haute qualité, axés sur la factualité, via l'annotation humaine est intensive en ressources et difficile à mettre à l'échelle.

Méthodologie
Les auteurs proposent un pipeline d'entraînement entièrement automatisé qui améliore la cohérence factuelle sans dépendre d'annotations humaines ni de résumés de référence. La méthodologie centrale se compose de trois étapes principales :

1. Génération de résumés lexicalement similaires :
   Au lieu d'apparier des échantillons diversifiés, la méthode génère des paires de résumés qui sont lexicalement similaires afin de minimiser les différences stylistiques ou structurelles confondantes. Cela permet au modèle de se concentrer spécifiquement sur les distinctions factuelles.

   • Pour un document source donné, le modèle génère un résumé principal en utilisant la recherche en faisceau (BS#1).
   • Un second résumé est généré soit en sélectionnant la deuxième séquence la plus probable issue de la même recherche en faisceau (BS#2), soit en utilisant un décodage glouton.
   • Cette approche garantit que les différences entre la paire sont subtiles, principalement entraînées par des variations de décodage plutôt que par des changements structurels majeurs.

2. Étiquetage automatique des préférences via des ensembles de métriques :
   Pour éviter la fiabilité limitée des métriques uniques, le pipeline emploie un ensemble de métriques de factualité (spécifiquement SBERTScore et SummaC-Conv dans les expériences) pour scorer les paires générées.

   • Les scores provenant de différentes métriques sont convertis en étiquettes de préférence binaires.
   • Un filtre de conflit est appliqué : une paire de résumés n'est conservée pour l'entraînement que si toutes les métriques sélectionnées s'accordent sur l'étiquette de préférence. Les paires présentant un désaccord élevé entre les métriques sont filtrées pour éliminer les annotations bruitées.
   • Ce processus construit un jeu de données de préférence de haute qualité en utilisant uniquement des documents sources.

3. Optimisation par préférence (DPO) :
   Le jeu de données de préférence filtré est utilisé pour entraîner les modèles de langage via l'Optimisation Directe par Préférence (DPO). Contrairement au RL standard, la DPO optimise directement les paramètres du modèle pour augmenter la probabilité du résumé préféré, sans nécessiter de modèle de récompense séparé et complexe. Cela réduit la complexité de l'entraînement et atténue des problèmes tels que l'oubli catastrophique.

Contributions clés

• Pipeline automatisé : Un pipeline d'apprentissage par préférence entièrement automatisé et novateur qui optimise la factualité de la synthèse sans annotations humaines ni résumés de référence.
• Stratégie d'agrégation de métriques : Une méthode pour adapter plusieurs métriques de factualité existantes et imparfaites en objectifs d'entraînement en convertissant les scores en préférences et en filtrant les cas présentant un fort désaccord inter-métrique, améliorant ainsi la fiabilité des données.
• Focus sur la similarité lexicale : Une analyse démontrant que l'entraînement sur des paires de résumés lexicalement similaires est plus efficace pour améliorer la factualité que l'entraînement sur des paires diversifiées, car cela isole les erreurs factuelles des variations stylistiques.
• Performance sur les modèles plus petits : La méthode élève avec succès les performances de factualité des modèles plus petits (par exemple, BART) à des niveaux comparables à ceux de LLM modernes nettement plus grands.

Résultats expérimentaux
L'approche a été évaluée sur les jeux de données XSUM et TL;DR en utilisant quatre modèles de différentes architectures et échelles : BART-large, GPT-J, LLaMA-3 et DeepSeek-R1.

• Gains de factualité : La méthode proposée a systématiquement surpassé les lignes de base, y compris le réglage fin supervisé (SFT), le RLHF et l'optimisation par préférence basée sur le modèle (MPO) qui repose sur des hypothèses heuristiques concernant les stratégies de décodage.
  • Sur XSUM, BART a obtenu une augmentation de +24,7 points sur AlignScore par rapport au SFT.
  • Sur TL;DR, BART a enregistré une augmentation de +9,3 points.
  • Les modèles plus petits (BART) ont atteint des scores de factualité comparables ou supérieurs à ceux des modèles plus grands (LLaMA, DeepSeek) après l'entraînement.
• Robustesse : La méthode a démontré une stabilité à travers différentes familles de modèles et échelles, évitant l'oubli catastrophique observé dans d'autres approches basées sur le RL.
• Compromis : Bien que la factualité se soit considérablement améliorée, il y a eu un léger compromis sur les scores ROUGE-L et les préférences de qualité globale lorsqu'ils étaient jugés par ChatGPT. Les auteurs notent que les résumés préférés (SFT/RLHF) contenaient souvent des détails excessifs, tandis que les résumés optimisés pour la factualité étaient plus abstraits afin de réduire le risque d'incohérence.

Portée et affirmations
L'article affirme que cette approche fournit une alternative stable et évolutive au RLHF annoté par des humains pour améliorer la factualité. En tirant parti de l'accord de multiples métriques faibles et en se concentrant sur des différences lexicales subtiles, la méthode entraîne efficacement les modèles à éviter de générer des textes plausibles mais factuellement incorrects. Les auteurs soulignent que ce pipeline « revitalise » le potentiel des modèles plus anciens et plus petits pour produire des résumés précis à des coûts de calcul inférieurs, rendant la synthèse à haute fidélité factuelle plus accessible. Ce travail suggère que l'apprentissage par préférence, lorsqu'il est fondé sur l'accord des métriques plutôt que sur des biais humains ou des récompenses basées sur une seule métrique, offre une voie robuste vers des sorties de modèles de langage plus fidèles.