💬 NLP

Factuality on Demand: Controlling the Factuality-Informativeness Trade-off in Text Generation

本論文は、ユーザーがテキスト生成における事実性の制約を指定することで正確性と情報量の間のトレードオフを調整することを可能にするフレームワークであるFactuality-Controlled Generation (FCG) を導入し、合成データを用いた学習が、これら相反する目的のバランスを取るモデルの能力を大幅に向上させることを実証している。

原著者： Ziwei Gong, Yanda Chen, Julia Hirschberg, Chen Zhao, He He, Zhou Yu, Kathleen Mckeown

公開日 2026-02-03

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ziwei Gong, Yanda Chen, Julia Hirschberg, Chen Zhao, He He, Zhou Yu, Kathleen Mckeown

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢く、博識なロボット・アシスタントを想像してみてください。このロボットは多くの知識を持っていますが、少し厄介な性格をしています。ある時はある事実に対して100%の自信を持っていますが、またある時は、ただ面白そうに話すために推測したり、でっち上げたりすることもあります。

あなたがロボットに質問をすると、ロボットはあるジレンマに直面します。

選択肢A： 非常に短くて退屈な回答を与えることができます。それは100%真実ですが、面白い詳細を逃してしまうかもしれません。
選択肢B： 長くて刺激的で詳細な回答を与えることができます。しかし、その詳細のいくつかが作り物であったり、間違っていたりするリスクがあります。

通常、ロボットはいずれか一方を選んでしまい、あなたから「ねえ、90%正確な答えをちょうだい」とか「どんなに短くなってもいいから、絶対的な100%の事実だけを教えて」と言うことはできません。

問題点：ロボットが言うことを聞かない

研究者たちは、単にロボットに「もっと事実に基づいて！」や「80%正確な答えをちょうだい」と伝えることで、この問題を解決しようと試みました。

残念ながら、ロボットは聞き入れませんでした。それは、話し込んでいる友人に「手短に」と言っているようなもので、彼らは話を続けてしまいます。研究者が非常に厳格に（100%正確に）と頼んだとしても、ロボットは依然としてそれを確実に実行することができませんでした。ロボットは間違った答えを出すか、あるいは、ただ黙り込んでしまうかのどちらかでした。

解決策：「ファクト・フィルター」によるロボットの訓練

チームは、「事実性制御生成（Factuality-Controlled Generation: FCG）」と呼ばれる新しいシステムを作成しました。単にロボットに優しくお願いするのではなく、学生を教えるように訓練することにしたのです。

彼らがどのように行ったかを、簡単な比喩を使って説明します。

1. 「ドラフト作成」フェーズ：
まず、ロボットに、何のルールもなく、ある有名人の長くて詳細な伝記を書くよう指示しました。ロボットは膨大な物語を書き上げました。

2. 「自信のチェック」フェーズ：
次に、ロボットに自分が書いた一文一文を確認させ、その文章が真実であるとどの程度確信しているかを評価させました。

文章：「月はチーズでできている。」 -> ロボット：「これが真実であるという自信は0%です。」
文章：「月は地球の周りを回っている。」 -> ロボット：「これが真実であるという自信は100%です。」

3. 「編集」フェーズ：
ここで、特定のルールを作成しました。彼らはロボットにこう伝えました。「もし、80%正確な答えを出したいのであれば、その80%の目標に達するまで、自信のない文章を削除しなければなりません。」

これを数学的に行いました。もしロボットが80%正確な回答を求められたら、その長いドラフトから「不確かな」事実を削り取り、「確かな」ものだけを残しました。これを異なるレベル（80%、90%、100%）で行いました。

4. 「学習」フェーズ：
彼らは、これら編集された例（質問＋「80%正確であれ」＋編集された回答）を使い、ロボットを再訓練しました。彼らはロボットにこう教えました。「『80』という数字を見たら、目標に到達するために自分の思考をどのように編集すべきか、正確に理解しなさい。」

結果：自らを調整できるようになったロボット
この訓練の後、ロボットは指示に従うことが非常に上手くなりました。

訓練前： 100%の正確さを求めたとき、ロボットはしばしば失敗するか、空白の回答を出していました。
訓練後： 100%の正確さを求められたとき、ロボットは完全に真実な回答を出すことに成功しました。80%の正確さを求められたとき、ロボットはより長く、より興味深く、かつ大部分が正しい回答を提供しました。

「トレードオフ」の比喩：
ロボットの出力は、フルーツサラダのように考えてみてください。

**事実性（Factuality）**は、果物がどれほど新鮮で本物であるかです。
**情報量（Informativeness）**は、フルーツのボウルがいかに大きいかです。

通常、100%新鮮な果物が入ったボウルが欲しいなら、ほとんどすべてを捨てなければならず、結果としてごく小さなボウルしか残りません。大きなボウルが欲しいなら、傷んでいたり疑わしかったりする果物を含めなければなりません。

研究者たちは、この新しい訓練方法によって、以前と同じレベルの「新鮮さ（事実性）」を保ちながら、より「大きなボウル（情報量）」を作ることができるようになったことを発見しました。彼らは限界を押し上げ、悪い果物を入れずに、より美味しいフルーツサラダを作れるようにしたのです。

まとめ

この論文は、スマートなAIに対して単に「もっと事実に基づいて」と言うだけでは期待通りには動かないことを示しています。代わりに、特定の正確性の目標を満たすために、いかに自分の回答を編集すべきか、その例を見せる必要があります。このように訓練されると、ロボットはダイヤルのように機能します。「高精度・低詳細」または「中程度の精度・高詳細」へとつまみを回すことで、求められた通りの回答を確実に提供できるようになります。

注：研究者たちは、これを特に人物の伝記を書くことに対してテストしました。この論文では、医療のアドバイス、法的文書、またはその他の特定の現実世界の応用についてはテストしていません。

技術要約：事実性制御生成 (Factuality-Controlled Generation: FCG)

1. 問題提起

大規模言語モデル（LLM）は、信頼性の程度が異なる内部知識を保持しており、そこには事実性（正確性）と情報量（詳細度）の間の固有のトレードオフが存在する。医療や法律などの高リスクな領域では、ユーザーは保守的で極めて事実に基づいた出力を必要とする一方、クリエイティブなタスクやブレインストーミングでは、事実性のリスクを許容したとしても豊かなコンテンツが優先されることが多い。

現在の最先端のLLMには、このトレードオフを制御するための組み込みメカニメントが欠けている。ユーザーはプロンプト（例：「より事実に基づいた内容にしてください」）を通じて振る舞いを誘導しようと試みることができるが、実証的な知見によれば、これらのモデルは特定の事実性目標を満たすように出力を確実に調整することはできない。FactScoreのような既存の評価ベンチマークは、標準的なモデルが中程度から厳格な事実性の制約を満たすことにしばしば失敗することを示しており、ユーザーが望ましい事実性のレベルを指定できる制御可能な代替手段が必要とされている。

2. 手法：事実性制御生成 (FCG)

著者らは、LLMがクエリと数値的な事実性制約 $c \in [0, 1]$ を入力として受け取り、支持された事実的な記述の割合が $c$ を満たし、かつ情報量を最大化する応答を生成するフレームワークである事実性制御生成 (FCG) を提案する。

A. 合成データ生成パイプライン
（質問、事実性制約、ゴールド・レスポンス）の三つ組に対してラベル付けされた既存のデータセットが存在しないため、著者らは学習データを作成するために、信頼性に基づいた合成パイプラインを導入した：

初期生成: ベースモデルが、与えられた質問に対して制約のない詳細な応答 ( $r_0$ ) を生成する。
事実のセグメンテーション: 応答を原子的な事実の記述に分割する。
信頼度スコアリング: モデルに対し、各原子的事実の信頼性を評価（例：「これは真か偽か？」）するように促し、確率スコアを導出する。
反復的なプルーニング（削減）: 事実は信頼度順にランク付けされる。目標とする制約 $c$ を満たすために、システムはターゲットとなる閾値を満たすまで、最も信頼度の低い事実を段階的に削除していく。
再構成: 残った高信頼度の事実を、可能な限り元の言い回しを維持しながら、流暢な応答へと統合する。
このプロセスを様々な $c$ の値（例：0.1から1.0）にわたって繰り返し、教師あり微調整のための整合した回答セットを作成する。

B. 学習と推論
著者らは、合成された $(question, c, response)$ の三つ組を用いて Mistral-7B モデルを微調整する。推論時、モデルはユーザーが指定した事実性のレベル $c$ に条件付けられるため、反復的なフィルタリングや事後的な再ランキングを必要とせずに、制約を満たすように動的に出力を調整することができる。

C. 評価指標
性能は FactScore を用いて以下の2つの軸で評価される：

事実性の遵守 (Factuality Adherence): 生成された内容のうち、事実性スコア $f(o) \ge c$ を満たす割合。
情報量 (Informativeness): 出力に含まれる検証済みの原子的な記述の数（長さで正規化）。

3. 主な貢献

タスクの定義: LLMの出力をユーザー指定の事実性閾値に条件付ける制御可能な生成タスクとして、FCGを導入した。
合成トレーニングフレームワーク: 制約のない生成物から低信頼度の事実を系統的に削除することで学習データを生成する新しいパイプラインを開発し、事実性と情報量のトレードオフの教師あり学習を可能にした。
実証的検証: この合成データを用いた微調整が、プロンプトベースのベースラインと比較して、事実性の制約を遵守する上で大幅に優れていることを示した。

4. 結果

実験は、500のエンティティ（訓練用450、検証用50、テスト用183）を用いた伝記生成タスクで行われた。

事実性の遵守:
- プロンプトによるベースライン: 標準的なプロンプティング（事実性制御推論、FCI）は、遵守率の向上に失敗した。いくつかのケース（例： $c=0.9$ ）では、制約なしのベースライン（3.8%）よりも遵守率が低下した（5.5%）。
- FCG トレーニング: 微調整されたモデルは大幅な改善を示した。 $c=0.8$ においてはベースラインに対して 17.2%、 $c=0.9$ においては 130.0% の遵守率向上を実現した。
- 厳格な制約: 最も厳格なレベル（ $c=1.0$ 、すべての情報が正しいことが要求される）において、ベースラインおよびFCI手法は遵守率 0% であったが、FCGモデルは 23.6% を達成した。
事実性と情報量のトレードオフ:
- FCGモデルは、トレードオフの境界線を外側へと押し広げる。任意の事実性レベルにおいて、FCGはベースラインよりも高い情報量（より多くの支持された事実）を持つ応答を生成する。
- 特筆すべきは、 $c=1.0$ において、FCGモデルは内容のある事実に基づいた応答を提供できたのに対し、推論ベースラインは幻覚を避けるために実質的にすべてのコンテンツを削除せざるを得ず、結果として情報量がゼロになった点である。

5. 意義と主張

本論文は、FCGが、特定のアプリケーションのニーズに応じてLLMの出力における事実性と情報量のバランスをカスタマイズするための信頼できるメカニズムを提供すると主張している。合成データを用いた教師あり学習を通じてトレードオフを内部化することで、モデルは高い事実性が要求された際に、「最も確信度の低い詳細を落としつつ、それ以外はすべて保持する」ことを学習する。

著者らは、本研究を、特に知識集約型のタスクにおいて、より信頼性が高く柔軟なLLMへの一歩として位置づけている。彼らは、本手法が事後のフィルタリングや拒絶サンプリングといった他のフレームワークで使用される計算オーバーヘッドを増やすことなく、制御性を向上させることを強調している。

認められた限界事項:

本研究は現在、英語および伝記生成タスクに限定されている。
実験は中規模モデル（Mistral-7B）で行われており、より大規模な最先端アーキテクチャへのスケーラビリティは未検証である。
他の言語や複雑な生成タスク（マルチモーダル理解など）への本フレームワークの適用可能性については、さらなる調査が必要である。