💬 NLP

DecomposeRL: Learning to Ask Useful, Informative, and Diverse Questions for Semi-Supervised, Traceable Claim Verification

DecomposeRL は、データキュレーションファネルと GRPO ベースの強化学習を活用してコンパクトな 7B モデルを訓練する半教師ありで追跡可能な主張検証フレームワークであり、より大規模なベースラインと同等の性能を達成しつつ解釈可能な推論トレースを生成します。

原著者： Shubhashis Roy Dipta, Ankur Padia, Francis Ferraro

公開日 2026-05-28

📖 1 分で読めます☕ さくっと読める

CC0 1.0

原著者： Shubhashis Roy Dipta, Ankur Padia, Francis Ferraro

原論文は CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) のもとパブリックドメインに提供されています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、論文DECOMPOSERLの解説を、日常的なアナロジーを用いたシンプルな概念に分解したものです。

大きな問題：「ブラックボックス」対「遅い探偵」

あなたが「『1984』の著者はノーベル賞を受賞した」といった荒唐無稽な噂の真偽を確かめようとしていると想像してください。

現在、コンピュータはこの問題を解決するために 2 つの方法を試みています。

「ブラックボックス」分類器：これは、噂を見て瞬時に「偽りだ！」と叫ぶ超高速の警備員のようなものです。速く、通常は正しいのですが、「なぜ？」と尋ねると、ただ肩をすくめるだけです。証拠は一切示しません。医療や政治のような重大な局面では、証拠を見ずに判決を信頼することはできません。
「遅い探偵」（分解）：これは、噂を小さな質問に分解する探偵のようなものです。「『1984』の著者は誰か？」→「その人はノーベル賞を受賞したか？」といった具合です。すべての手順を書き留めるため、証拠を確認できます。しかし、これらの探偵は往々にして遅く、間違いを犯し、人間の教師が手取り足取り教えない限り、新しい事例から学ぶのに苦労します。

DECOMPOSERLは、両者の長所を兼ね備えた新しいシステムです。それは、すべての答えに対して明確で検証可能な証拠の痕跡を残す、速く正確な探偵を目指しています。

仕組み：「賢い質問者」

DECOMPOSERL は、単に答えを推測するのではなく、真実を突き止めるための完璧な質問セットを問うように訓練された**マスター・インターロゲーター（尋問者）**として機能します。その役割は、主張に直接答えることではなく、真実を解き明かすための「完璧な」質問を投げかけることです。

これは20 の質問ゲームのようですが、コンピュータは真実への最も効率的な経路を見つけるために、自分自身と対戦しています。

1. 「報酬システム」（コーチ）

この AI に良い質問をさせるために、研究者たちは単に「よくやった」や「ダメだ」と言うのではなく、厳格なコーチがチェックリストを持つような多面的な報酬システムを構築しました。AI がポイントを獲得するには、その質問が以下の 3 つの特定の基準を満たす必要があります。

有用性（「ゲームチェンジャー」）：もしこの質問を取り除いたら、最終的な答えは変わりますか？
- アナロジー：陪審員を想像してください。陪審員が「被告は赤い車を持っていたか？」と尋ねて、判決が変わらなければ、その質問は無用でした。しかし、「被告は現場にいたか？」と尋ねて、それが判決を変えたなら、その質問は有用でした。DECOMPOSERL は、実際に結果を変える質問のみを保持します。
情報性（「事実のみ」ルール）：質問は、提供された証拠のみを使って回答可能で、単一の明確な事実でなければなりません。
- アナロジー：「この主張は真実か？」と問うのは、問題を繰り返すだけなので悪い質問です。「この本は何ページあるか？」と問うのも、本の長さが重要でない場合は悪いです。AI は「誰がその本を書いたか？」といった、具体的で根拠のある事実を問うように学習します。
多様性（「反復禁止」ルール）：質問は冗長であってはなりません。
- アナロジー：「誰がその本を書いたか？」と尋ねた後、「その本の著者は誰か？」と尋ねれば、時間を無駄にします。AI は、パズルの異なる部分をカバーする異なる質問を問うように学習します。

2. 「データ漏斗」（フィルター）

賢い AI を訓練するには通常、数百万の例が必要で、これは高価で時間がかかります。研究者たちはデータ漏斗という巧妙なトリックを持ちました。

彼らはインターネットから 15 万 5,000 件のファクトチェックの例という巨大な山から始めました。
それらをコーヒーフィルターのような一連のフィルターに通しました。
- フィルター 1：短すぎる、あるいは長すぎる主張を捨てる。
- フィルター 2：簡単すぎる（単純な AI でも解ける）か、混乱しすぎている主張を捨てる。
- フィルター 3：重複を除去する。
結果：彼らはその巨大な山を、わずか5,000 の主張という小さく高品質な「本質」に蒸留しました。
アナロジー：焼けているか味が薄いものが大半の 15 万 5,000 品の料理を味わって料理を学ぼうとするのを想像してください。その代わりに、DECOMPOSERL の作成者は、それを 5,000 品の完璧なシェフ品質のレシピに絞り込みました。AI は、巨大で散らかった山よりも、この小さく高品質なセットから、はるかに速く、よく学習しました。

3. 「半教師あり」のトリック（教師なし学習）

通常、AI を訓練するには、人間の評価者がすべての答えを採点（ゴールドラベル）する必要があります。しかし、人間は遅く、高価です。

DECOMPOSERL には、90% の答えが採点されていなくても学習できる特別なモードがあります。

どのように？ 自己整合性と呼ばれる手法を使用します。AI は、同じ主張に対して複数の異なる「経路」（質問セット）を生成します。8 つの経路のうち 7 つが最終的な判決で一致すれば、AI はその判決が正しいと仮定し、それを「疑似ラベル」として自分自身に教えるために使用します。
アナロジー：解答がないテストを受ける学生を想像してください。学生が問題を 5 つの異なる方法で解き、毎回同じ答えを得た場合、教師に確認されなくても、自分が正しいという確信を得ます。

結果：小さくても強力

研究者たちは、AI の世界では比較的小さい 70 億パラメータのモデルを、はるかに大きなモデル（320 億パラメータ）や GPT-4 などのトップクラスの独自システムと対比してテストしました。

精度：DECOMPOSERL は、自分自身よりも4 倍大きいモデルの性能に匹敵しました。
効率性：これは、わずか 5,000 の主張からなる小さく厳選されたデータセットのみを使用して達成されました。
半教師ありの成功：ラベル付きデータが10%のみ（残りの 90% は自己採点）で訓練された場合でも、同じサイズの他のすべてのモデルを上回る性能を発揮しました。

「トレース」（証拠の痕跡）

DECOMPOSERL の最も重要な特徴は、単に「真/偽」の答えを与えるだけでなく、トレースを提供することです。

アナロジー：通常の AI が帽子からウサギを取り出すマジシャン（結果は見えますが、手品は見えない）だとすれば、DECOMPOSERL は、空の帽子、ウサギ、そしてウサギを入れた正確な瞬間をステップバイステップで見せるマジシャンです。
出力は会話のように見えます。
1. 質問：「『1984』の著者は誰か？」→ 答え：「ジョージ・オーウェル。」
2. 質問：「ジョージ・オーウェルはノーベル賞を受賞したか？」→ 答え：「いいえ、文書によると受賞していません。」
3. 判決：反証（主張は偽りです）。

これにより、人間は作業を検証できます。AI が間違いを犯した場合、「トレース」を見て、どの質問や答えが誤りにつながったかを正確に確認できます。

まとめ

DECOMPOSERLは、パズルを解くために正しい質問を問うことを学ぶ、賢く効率的な AI ファクトチェックシステムです。これは、「フィルター」を用いて小さく高品質なデータセットから学習し、「自己チェック」システムを用いて教師がいない場合でも学習します。その結果、巨大なスーパーコンピュータと同等の精度を持ちながら、結論に至るまでの明確なステップバイステップの説明を生み出すシステムが実現しました。

技術的概要：DECOMPOSERL

問題定義

自動化された主張検証は、精度と解釈性の間で根本的なトレードオフに直面している。現在の手法は一般的に以下の 2 種類に分類される：

エンドツーエンド分類器：これらはベンチマークにおいて高い精度を達成するが、「ブラックボックス」として動作し、結論に至った経緯を検証可能な痕跡（トレース）を提供することなく、判定を出力する。この不透明性は、生物医学的トリアージ、政治的なファクトチェック、科学的ピアレビューなど、どの主張のどの部分が検証され、なぜそう判断されたのかをユーザーが可視化する必要がある高リスク分野において問題となる。
分解ベースの手法：これらは主張を原子化されたサブ質問に分解して検証可能な痕跡を生成する。しかし、性能の面でエンドツーエンド分類器に劣ることが多い。既存の分解手法は、脆いプロンプト設計や、ゴールド分解データに対する高価な模倣学習（ファインチューニング）に依存しており、分解が検証タスクに対して実際にどの程度「適切（fitness）」であるかを測定する学習シグナルが存在しない。

手法

著者は、主張を有用で情報に富み、多様な質問に分解する方策を学習する強化学習（RL）フレームワークであるDECOMPOSERLを提案する。これにより、高い精度と監査可能なトレースの両立を実現する。

1. データ選別ファネル

大規模でノイズの多いコーパス上で RL 方策を学習する際の莫大なコストに対処するため、著者は多段階のデータ選別ファネルを設計した。14 の異種コーパスにまたがる約 15 万 5 千件の主張から出発し、学習シグナルが高密度なコンパクトな部分集合である5,464 件の主張（元のデータの約 4%）に蒸留した。フィルタリング段階には以下が含まれる：

ルールベースのフィルタリング：証拠の長さが不十分な主張、些細な語彙的重複を持つ主張、または命名実体（named entities）が 2 つ未満の主張を除去。
難易度ベースのフィルタリング：MiniCheck-7B 検証器を用い、モデルが不確実である（信頼度 $0.3 \le p \le 0.8$ ）主張のみを保持し、訓練データに非自明な推論課題が含まれることを保証。
重複除去と汚染除去：MinHash とコサイン類似度を用いてニアダブレットを除去し、データリークを防ぎ多様性を確保。
シルバー分解：残りの主張に対して GPT-5-mini を用いて「シルバー」（疑似ラベル付き）分解を生成。
多様性選択：Facility-Location 目的関数（部分モジュラー最大化）を用いて、埋め込み空間のカバレッジを最大化する最終部分集合を選択し、訓練セットが主張タイプの完全な分布を代表することを保証。
長文証拠の拡張：評価中の分布シフトを防ぐため、長い証拠コンテキストを持つ主張を追加。

2. 強化学習フレームワーク

DECOMSERL は、主張検証を反復的な質問 - 回答（QA）分解問題として定式化する。方策（ $\pi_\theta$ ）はQwen2.5-7B-Instructに基づき、初期分析、 $n$ 回の質問 - 回答サイクル、そして最終判定（SUPPORTED または REFUTED）からなる構造化されたトレースを生成する。

方策は、グループ相対方策最適化（GRPO）を用いて学習され、新規の多面的報酬アンサンブルが採用される。単一の結果報酬に依存する先行研究とは異なり、DECOMPOSERL は 7 つの相補的なシグナルを最適化する：

形式（ $R_{fmt}$ ）：XML ベースの構造化出力スキーマへの準拠を保証。
検証（ $R_{ver}$ ）：方策をゴールドラベルの判定に固定（ラベル付きデータのみ対象）。
質問数（ $R_{qc}$ ）：最適なサブ質問数からの逸脱を罰則化。
多様性（ $R_{div}$ ）：埋め込みに対する最大限界相関係数（MMR）を用いて、冗長な質問を罰則化。
カバレッジ（ $R_{cov}$ ）：LLM-as-a-judge（審査員としての LLM）が、回答のセットのみで正しい判定を再構成できるかを評価。
留め置き法による必要性（ $R_{nec}$ ）：重要なコンポーネントであり、審査員が特定の質問を除去した場合に判定が変化するかどうかを判断する。除去することで判定が反転する（必要な）質問には高い報酬を与え、判定を誤らせる（有害な）質問には負の報酬を与える。
結合乗法的品質（ $R_{joint}$ ）：回答可能性、原子性（単一焦点、接続詞なし）、および正しさを組み合わせた乗法的報酬。これにより、いかなる次元における単一の失敗も、その質問のスコアをゼロに駆り立てる。

3. 半教師あり学習

ゴールドラベル付きデータの不足に対処するため、DECOMPOSERL は半教師あり学習をサポートする。ラベルなし主張については：

カバレッジは自己整合性を通じて近似される： $G$ 回のロールアウトの多数決が疑似ラベルとして機能する。
必要性は、ゴールドラベルではなく、方策自身が再構成した判定に対して相対的に計算される。
検証報酬はラベルなしデータでは除外され、他の報酬はラベル非依存のまま維持される。

主要な貢献

多面的報酬アンサンブル：決定論的ルール、埋め込みベースの指標、LLM-as-a-judge 評価を組み合わせて、分解の品質を必要性、カバレッジ、多様性、原子性など複数の次元にわたって捉える新規報酬システム。
半教師あり能力：プロンプト内での合意を活用してラベルなし主張から学習することを可能にする自己整合性メカニズムにより、高コストな注釈が必要な分野でも手法が実用可能となる。
効率的なデータ選別：約 96%（15 万 5 千件から約 5,500 件へ）の訓練データ要件を削減しつつシグナル密度を向上させる蒸留ファネルにより、限られた計算資源での効果的な RL 学習を実現。
性能とスケーラビリティ：このフレームワークで学習された 7B パラメータモデルが、大幅に大規模なモデル（32B）やプロプライエタリな最先端モデル（GPT-4.1-mini）の性能に匹敵、あるいは上回ることを実証し、かつ検証可能なトレースを提供する。

実験結果

著者は、DECOMPOSERL を生物医学、政治、科学のデータセットを含む11 の主張検証ベンチマーク（9 つのドメイン内、2 つのドメイン外）で評価した。

精度：DECOMPOSERL-7Bモデルは、ドメイン内で**86.3%のバランス精度、ドメイン外で69.8%**の精度を達成した。
ベースラインとの比較：
- すべての分解ベースのベースライン（Decomposed Prompting、HiSS、ClaimDecomp など）を大幅に上回った（ドメイン内で最強のベースラインより +4.4%、ドメイン外で +2.8%）。
- MiniCheck-7B などのエンドツーエンド分類器をも上回った。
- ドメイン内タスクにおいて、32B パラメータモデルや GPT-4.1-mini 最先端モデルの性能に匹敵した。これは、32B ベースラインの 4 分の 1、最先端モデルの 1 桁分小さい規模でありながらである。
半教師あり性能：ラベル付きデータ 10%（ $s=0.1$ ）のみで学習した場合でも、DECOMPOSERL-7B はドメイン内で84.6%、ドメイン外で**69.7%**の精度を維持し、すべての 7B ベースラインを上回った。
アブレーション研究：必要性報酬を除去すると、ドメイン外性能が最も大きく低下（-4.8%）し、汎化におけるその重要な役割が浮き彫りになった。カバレッジと多様性を除去しても堅牢性に大きな影響があり、ドメイン外性能には完全なアンサンブルが必要であることを確認した。

意義と主張

本論文は、DECOMPOSERL が主張検証における精度と解釈性の間のギャップを成功裡に埋めたと主張している。多面的報酬アンサンブルによって導かれる RL 問題として分解を定式化することで、著者は以下を実証する：

追跡可能性は精度の犠牲を伴わない：不透明な分類器と比較して性能を犠牲にすることなく、監査可能なステップバイステップの検証トレースを生成する。
パラメータ効率：モデルサイズの拡大に依存するのではなく、学習シグナル（報酬設計とデータ選別）を最適化すれば、小規模モデル（7B）でも高い性能を達成できる。
低リソース環境へのスケーラビリティ：半教師ありアプローチにより、ゴールドスタンダードの注釈が不足または高価な新しいドメインに適応可能となり、自己整合性を用いて学習をブートストラップする。

著者は、この研究を自動化されたファクトチェックにおける「追跡可能性ギャップ」への解決策として位置づけており、ユーザーが推論プロセスを検査する必要がある高リスクアプリケーションに適した、精度と透明性の両方を備えた手法を提示している。