Optimising Factual Consistency in Summarisation via Preference Learning from Multiple Imperfect Metrics

技術概要：複数の不完全な指標からの選好学習による要約の事実一貫性最適化

問題定義
大規模言語モデル（LLM）は驚くべき流暢さを示す一方で、事実の一貫性において頻繁に苦戦しており、ソーステキストと矛盾する幻覚の詳細や不整合を含む要約を生成することが多い。この問題を緩和するため、評価指標を報酬信号として用いる強化学習（RL）が提案されている。しかし、既存の自動事実性指標は個別に信頼性が低く、微妙な誤りに対処するのが困難である。さらに、単一の指標をスカラー報酬として使用すると不安定な学習につながる可能性があり、指標を組み合わせるには通常、手動での重み付け（報酬設計）が必要となるが、これは複雑で誤りを起こしやすい。人間からのフィードバックに基づく強化学習（RLHF）などの代替アプローチは、人間の注釈者が流暢さや一貫性などの他の品質を事実性よりも優先する傾向があるため、事実性を優先できないことが多い。人間による注釈を通じて高品質で事実性に焦点を当てた選好データセットを構築することは、リソース集約的であり、スケーリングが困難である。

手法
著者は、人間の注釈や参照要約に依存することなく事実の一貫性を改善する、完全自動化された学習パイプラインを提案する。中核的な手法は、以下の 3 つの主要な段階から構成される。

1. 語彙的に類似した要約の生成
   多様なサンプルをペアリングする代わりに、この手法は語彙的に類似した要約のペアを生成し、スタイルや構造の混同要因を最小化する。これにより、モデルは事実上の相違点に特化して焦点を当てることができる。

   • 与えられたソース文書に対して、モデルはビームサーチ（BS#1）を用いて主要な要約を生成する。
   • 2 番目の要約は、同じビームサーチから 2 番目に確率の高いシーケンスを選択（BS#2）するか、貪欲デコードを使用することで生成される。
   • このアプローチにより、ペア間の差異は、大きな構造変化ではなく、主にデコードのバリエーションによって引き起こされる、微妙なものに保たれる。

2. 指標アンサンブルによる自動選好ラベリング
   単一の指標の信頼性のなさを回避するため、パイプラインは生成されたペアをスコアリングするために事実性指標のアンサンブル（実験では特にSBERTScoreとSummaC-Conv）を採用する。

   • 異なる指標からのスコアは、二値の選好ラベルに変換される。
   • 競合フィルタが適用される：選択されたすべての指標が選好ラベルで合意する場合にのみ、要約ペアは学習のために保持される。指標間で高い不一致があるペアは、ノイズの多い注釈を除去するために除外される。
   • このプロセスにより、ソース文書のみのみを用いて高品質な選好データセットが構築される。

3. 選好最適化（DPO）
   フィルタリングされた選好データセットは、**直接選好最適化（DPO）**を介して言語モデルを学習するために使用される。標準的な RL とは異なり、DPO はモデルパラメータを直接最適化して、好ましい要約の確率を増加させるため、独立した複雑な報酬モデルを必要としない。これにより学習の複雑さが軽減され、破滅的忘却などの問題が緩和される。

主な貢献

• 自動化パイプライン：人間の注釈や参照要約なしに要約の事実性を最適化する、新規かつ完全自動化された選好学習パイプライン。
• 指標集約戦略：既存の不完全な複数の事実性指標を、スコアを選好に変換し、指標間の高い不一致事例をフィルタリングすることで学習ターゲットに適応させる手法。これによりデータの信頼性が向上する。
• 語彙的類似性への焦点：多様なペアでの学習よりも、語彙的に類似した要約ペアでの学習の方が事実性の向上に効果的であることを示す分析。これにより、事実誤りをスタイルのバリエーションから分離している。
• 小規模モデルにおける性能：この手法は、BART などの小規模モデルの事実性パフォーマンスを、LLaMA や DeepSeek などのはるかに大規模な現代の LLM と同等かそれ以上のレベルまで向上させることに成功した。

実験結果
このアプローチは、XSUMおよびTL;DRデータセットを用いて評価され、異なるアーキテクチャと規模を持つ 4 つのモデル（BART-large、GPT-J、LLaMA-3、DeepSeek-R1）でテストされた。

• 事実性の向上：提案された手法は、SFT（教師あり微調整）、RLHF、およびデコード戦略に関するヒューリスティックな仮定に依存するモデルベースの選好最適化（MPO）を含むベースラインを常に上回った。
  • XSUM において、BART は SFT に対して AlignScore で**+24.7**ポイントの向上を達成した。
  • TL;DR において、BART は**+9.3**ポイントの向上を示した。
  • 学習後、小規模モデル（BART）は、より大規模なモデル（LLaMA、DeepSeek）と同等かそれ以上の事実性スコアを達成した。
• 堅牢性：この手法は、モデルファミリーや規模を超えて安定性を示し、他の RL ベースのアプローチで観察された破滅的忘却を回避した。
• トレードオフ：事実性が大幅に向上した一方で、ChatGPT による判断では ROUGE-L スコアや全体的な品質選好においてわずかなトレードオフが見られた。著者は、SFT/RLHF による好ましい要約には過度な詳細が含まれる傾向があるのに対し、事実性最適化された要約は不整合のリスクを減らすためにより抽象的であったと指摘している。

意義と主張
本論文は、このアプローチが事実性の向上における人間による注釈付き RLHF の安定したスケーラブルな代替手段を提供すると主張している。複数の弱い指標の合意を活用し、微妙な語彙的差異に焦点を当てることで、この手法は、もっともらしいが事実上誤ったテキストの生成を回避するようにモデルを効果的に訓練する。著者は、このパイプラインが「再生」させることで、古い小規模モデルが低い計算コストで正確な要約を生成する可能性を強調し、高事実性の要約をよりアクセスしやすくしている。この研究は、人間のバイアスや単一指標の報酬ではなく、指標の合意に基づいた選好学習が、より忠実な言語モデルの出力に向けた堅牢な道筋を提供することを示唆している。