💬 NLP

Reducing Hallucinations in LLMs via Factuality-Aware Preference Learning

この論文は、単なる二値の事実性ラベルを用いて選好ペアの順序を修正し事実性差に応じたマージンを導入する「F-DPO」という手法を提案し、補助報酬モデルやトークンレベルの注釈なしで、既存の DPO やベースモデルに比べて大規模言語モデルのハルシネーションを大幅に削減し事実性を向上させることを実証しています。

原著者： Sindhuja Chaduvula, Ahmed Y. Radwan, Azib Farooq, Yani Ioannou, Shaina Raza

公開日 2026-04-16

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Sindhuja Chaduvula, Ahmed Y. Radwan, Azib Farooq, Yani Ioannou, Shaina Raza

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

🎭 物語：「上手な嘘つき」vs「正直な素人」

まず、今の AI（大規模言語モデル）が抱えている問題を想像してみてください。

AI は「流暢で自信満々」な答えを出すのが得意です。でも、**「正解はわからないけど、自信を持って嘘をつく」**という癖がついてしまうことがあります。
例えば、「オーストラリアの首都はシドニーです！」と、とても堂々と間違った答えを言われても、AI は「あ、この答えは流暢で自信があるから、人間はこれを好むだろう」と学習してしまいます。

従来の AI のトレーニング方法（DPO など）は、**「人間がどちらの答えを好んだか」**だけを基準に学習します。

A さん（嘘つき）： 自信満々で「シドニーが首都だ！」と話す。
B さん（正直者）： 少しためらって「カンベラだと思います」と話す。

人間は「A さん」の流暢さに惹かれて「A さん」を好むかもしれません。すると、AI は**「嘘をついて自信満々になること」**を褒められたと勘違いし、ますます嘘をつくようになります。これが「ハルシネーション（幻覚）」の正体です。

💡 解決策：「F-DPO（真実を知るためのトレーニング）」

この論文では、「F-DPO（Factuality-aware DPO）」という新しい方法を提案しています。
これは、AI に「流暢さ」だけでなく「事実かどうか」も教えてあげようという仕組みです。

1. 「答えの入れ替え」ルール（ラベル・フリップ）

まず、AI に「嘘つきな答え」と「正直な答え」のペアを見せます。

もし「嘘つきな答え」が選ばれていて、「正直な答え」が選ばれていなかったら、**「あ、これは間違いだ！入れ替えよう！」**と自動的に修正します。
これにより、AI は「嘘をついて選ばれた」という間違った学習をさせられなくなります。

2. 「真実ボーナス」の導入（ファクチュアリティ・マージン）

次に、AI のテストに**「真実ボーナス」**というルールを追加します。

嘘つきな答え vs 正直な答えの場合：正直な答えを選んだら、**「大ご褒美（ボーナス）」**をあげます。
両方とも嘘、あるいは**「両方とも正直」**の場合：いつものルール（流暢さなど）で判断します。

これにより、AI は**「流暢さ」よりも「事実であること」の方が、はるかに大きなポイントになる**と学習します。

🏆 結果：劇的な改善

この方法を実際に 7 つの異なる AI モデルで試したところ、驚くべき結果が出ました。

嘘の減少： 嘘をつく率が5 倍も減ったモデルもありました（例：42% の嘘が 8% に）。
正解率の向上： 事実を正しく答える能力が 50% 向上しました。
コスト削減： 特別な追加の AI や、複雑な手順は不要で、「事実か嘘か」の 2 つのラベル（○か×か）だけで済みます。

まるで、「自信満々の嘘つき」を「少し控えめだが正直な専門家」に生まれ変わらせる魔法のトレーニングのようなものです。

🌟 まとめ：なぜこれが重要なのか？

医療、法律、金融などの分野では、AI が「自信を持って嘘をつく」ことは命取りになります。
この新しい方法（F-DPO）は、「人間が好む流暢さ」よりも「事実の正しさ」を優先して AI を鍛えることで、より安全で信頼できる AI を作れることを示しました。

一言で言うと：

「上手に嘘をつく AI」から、「少し堅苦しいけど、絶対に嘘をつかない AI」へ進化させるための、シンプルで強力なトレーニング方法です。

📝 補足：どんな時に使えるの？

医療相談： 「この薬の副作用は〇〇です」と間違った情報を自信満々に言わないようにする。
ニュース生成： 事実と異なる噂を流さないようにする。
日常の質問： 「オーストラリアの首都」を間違えて教えないようにする。

この研究は、AI が「賢く」なるだけでなく、「正しく」なるための重要な一歩です。

論文「Reducing Hallucinations in LLMs via Factuality-Aware Preference Learning」の技術的サマリー

本論文は、大規模言語モデル（LLM）における「ハルシネーション（事実と異なる嘘の生成）」を削減するための新しい手法F-DPO（Factuality-aware Direct Preference Optimization）を提案しています。従来の嗜好アライメント手法が、流暢さや自信の度合いを事実の正しさに優先してしまうという課題を解決し、バイナリ（二値）の事実性ラベルのみを用いて、単一ステージで効率的にモデルを改善するアプローチを提示しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題定義：嗜好アライメントと事実性の乖離

既存の LLM のアライメント手法（RLHF や DPO など）は、指示に従う能力を向上させますが、以下の問題を抱えています。

流暢さへの過剰な最適化: 人間の評価者や自動評価モデルは、事実誤認を含んでいても「流暢で自信に満ちた」回答を好む傾向があります。
ハルシネーションの強化: 従来の DPO（Direct Preference Optimization）は、人間が選好した回答（Chosen）を最大化しますが、その回答が事実誤認（ハルシネーション）を含んでいても、流暢であるため学習が強化されてしまいます。
既存手法の限界: 事実性を向上させる既存の手法は、補助的な報酬モデルの導入、多段階トレーニング、またはトークンレベルの注釈付けを必要とし、計算コストや複雑性が高くなっています。また、事実性と選好が矛盾するケース（例：事実誤認だが流暢な回答が選ばれている）を直接修正するメカニズムが不足しています。

2. 提案手法：F-DPO (Factuality-aware DPO)

F-DPO は、DPO の単純な拡張であり、バイナリな事実性ラベル（0: 事実に基づく、1: ハルシネーション）のみを使用して、選好データと事実性のミスマッチを修正します。

2.1 データパイプライン

事実性ラベルの付与: 既存の選好データセット（Skywork Reward-Preference など）の各回答に対して、GPT-4o-mini などの自動評価者を用いてバイナリラベル（ $h \in \{0, 1\}$ ）を付与します。
合成ハルシネーションの生成: 事実に基づく回答を意図的に誤った内容に書き換える「合成ハルシネーション生成」を行い、データセットのバランスを調整します。
ラベル反転（Label Flipping）:
- 選好ペア $(y_w, y_l)$ において、選ばれた回答 $y_w$ がハルシネーション（ $h_w=1$ ）で、却下された回答 $y_l$ が事実に基づく（ $h_l=0$ ）場合、このペアは事実性の観点から「誤って順序付け」られています。
- F-DPO は、 $\Delta h = h_l - h_w < 0$ の場合、ラベルを反転させて $(y_l, y_w)$ に交換します。これにより、常に選ばれた回答の方が少なくとも同じ程度（またはより）事実に基づくように保証します。

2.2 学習目的関数（Factuality-Aware Margin）

ラベル反転後のデータに対して、事実性に基づいたマージンペナルティを導入した新しい損失関数を定義します。

事実性差分: $\Delta h = h_l - h_w$ $Δ h = h_{l} - h_{w}$
- 反転後、 $\Delta h$ は $0 $（両方事実、または両方ハルシネーション）または$ 1$（選ばれた方が事実、却下がハルシネーション）の値をとります。
修正されたマージン:
$m_{fact} = m_{\pi, \pi_{ref}} - \lambda \cdot \Delta h$
ここで、 $m_{\pi, \pi_{ref}}$ は標準的な DPO のマージン、 $\lambda$ はペナルティ強度のハイパーパラメータです。
効果:
- $\Delta h = 1$ の場合（選ばれた回答が事実で、却下がハルシネーション）、有効なマージンが減少し、損失が増加します。これにより、モデルは事実的な回答をハルシネーションよりもはるかに高い確率で生成するように強く促されます。
- $\Delta h = 0$ の場合、標準的な DPO と同等の動作になります。

この手法は、追加の報酬モデルやトークンレベルの注釈を必要とせず、単一ステージの微調整で完結します。

3. 主要な貢献

F-DPO の提案: バイナリ事実性ラベルを用いたラベル反転と、事実性条件付きマージンによる DPO の拡張手法を提案。
広範なモデルでの検証: 1B〜14B パラメータの 7 つのオープンウェイト LLM（Qwen, LLaMA, Gemma シリーズ）において、一貫して事実性の向上とハルシネーション率の低下を実証。
分布外（OOD）での一般化: 学習データとは異なるベンチマーク（TruthfulQA）においても、ベースモデルや標準 DPO を上回る性能を示し、汎用性の高さを確認。
効率性の証明: 補助モデルなし、単一ステージ、レスポンスレベルの学習のみで実現可能であり、計算コストと複雑性を大幅に削減。

4. 実験結果

4.1 主要結果（7 モデル比較）

Qwen3-8B: ハルシネーション率が 0.424 から 0.084 に5 倍減少し、事実性スコアが 5.26 から 7.90（+50%）に向上。
Qwen2.5-14B: ハルシネーション率が 0.072 から 0.008 まで劇的に低下（約 9 倍の改善）。
標準 DPO との比較: 多くのモデルにおいて、標準 DPO はベースモデルよりもハルシネーション率が増加する傾向がありましたが、F-DPO はすべてのモデルで改善をもたらしました。

4.2 TruthfulQA での一般化性能

Qwen2.5-14B において、TruthfulQA のマルチプルチョイス精度が大幅に向上しました。
- MC1（単一正解）: 0.500 → 0.585（+17%）
- MC2（複数正解）: 0.357 → 0.531（+49%）
標準 DPO は MC1 精度を低下させたのに対し、F-DPO は事実性を維持・向上させました。

4.3 消融実験（Ablation Study）

ラベル反転の効果: ラベル反転のみ、またはペナルティ項のみでも改善が見られますが、両方を組み合わせることで最大の効果（ハルシネーション率のさらなる低下）が得られました。
ペナルティ強度 $\lambda$ : $\lambda$ を増やすと事実性スコアが向上しますが、過度に大きい値（ $\lambda > 100$ ）では利益が逓減し、有用な選好信号（有用性など）が抑制される可能性があります。
データ効率: 学習データの 25% 使用でも、フルデータと比較して事実性スコアは 5% 程度の低下しか見られず、高いデータ効率を示しました。

5. 意義と結論

F-DPO は、LLM のハルシネーション問題に対するシンプルかつ強力な解決策を提供します。

実用性: 複雑な多段階パイプラインや外部モデルなしで実装可能であり、既存の DPO ワークフローに容易に統合できます。
安全性と事実性の両立: 有害なリクエストに対する拒絶行動も改善され、事実性の向上が安全性アライメントと矛盾しないことを示唆しています。
限界と将来展望: 現時点では「事実 vs 嘘」の二値分類に依存しており、部分的な正しさや文脈依存の曖昧さの扱いには限界があります。また、モデルサイズやドメインに応じた $\lambda$ の調整が必要です。

総じて、本論文は「流暢さ」だけでなく「事実性」を明示的に選好学習に組み込むことの重要性を証明し、より信頼性の高い AI アシスタントの構築に向けた重要なステップとなります。