💻 computer science

DualFact+: A Multimodal Fact Verification Framework for Procedural Video Understanding

DualFact+ は、ビデオキャプションのより解釈可能で人間と整合性の取れた評価を提供するために、手続的ビデオ事実を概念的要素と文脈的要素に分離する新規の二重層マルチモーダルフレームワークを導入し、最先端モデルが標準的な指標では検出できない体系的な事実の欠落や矛盾にしばしば苦しんでいることを明らかにする。

原著者： Cennet Oguz, Yasser Hamidullah, Josef van Genabith, Simon Ostermann

公開日 2026-04-29

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Cennet Oguz, Yasser Hamidullah, Josef van Genabith, Simon Ostermann

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

料理番組や DIY 家具のチュートリアルを視聴している様子を想像してください。スマートなコンピュータが、動画の中で何が見えているかに基づいてレシピや手順書を書こうとしています。しかし、時折、コンピュータは完璧に響き、美しく流れるような文章を書きますが、実際には起きたことについて嘘をついているのです。例えば、動画には明らかに人参を刻んでいる様子が映っているのに、「シェフは玉ねぎを刻んだ」と書いたり、あるいはシェフがスプーンではなく包丁を使ったことを記載し忘れたりすることがあります。

本論文は、これらのコンピュータ生成の手順が実際に真実かどうかを確認する新しい方法を導入します。彼らはそのシステムをDualFactと呼んでいます。

その仕組みを、簡単な概念に分解して以下に示します。

1. 真実の二重層

著者らは、動画の説明を確認することは、単に言葉を読むことではなく、現実の二つの異なる層を理解することだと気づきました。

「概念的」層（計画）: これは、何が起こるべきかという抽象的なアイデアです。例えば、「野菜を切る」といったものです。どの野菜を使うか、あるいはどの道具を使うかはまだ気にせず、単に何らかの動作が発生していることだけを把握しています。これは、絵画のラフスケッチのようなものです。
「文脈的」層（現実）: これは、動画の中で実際に何が起こったかという具体的で根拠のある詳細です。トマトを切ったのか、それとも玉ねぎを切ったのか？包丁を使ったのか、それとも菜切り包丁を使ったのか？これは、完成した詳細な絵画です。

問題点: 現在のほとんどのコンピュータプログラムは、「概念的」層（賢く響く）には優れていますが、「文脈的」層（具体的な詳細を誤る）では失敗することが多いです。「野菜を切る」という記述は（真実ですが）、鈍い包丁を使ったという点を逃したり、実際には存在しなかった道具を捏造したりすることがあります。

2. 「DualFact」探偵

これを修正するために、研究者たちはDualFactと呼ばれる探偵システムを構築しました。これは、コンピュータの作業を二つの方法でチェックする厳格な編集者のように機能します。

テキストチェック: コンピュータの文章を「ゴールドスタンダード」のテキスト（完璧な人間が書いた手順書）と比較します。
動画チェック: コンピュータの文章を実際の動画映像と比較します。

このシステムは、すべての文章を小さな「事実」（例：動作＝切る、対象＝トマト、道具＝包丁）に分解します。そして、「この事実は動画によって裏付けられているか？」と問いかけます。

3. 三種類の間違いを捉える

本論文では、コンピュータが特定の三種類の嘘をつくことを説明しており、DualFact はそれらを捉えるように設計されています。

幻覚（「魔法」の間違い）: コンピュータが存在しないものを捏造します。
- 例: 動画にはボウルが映っているのに、コンピュータは「シェフはブレンダーを使った」と言います。ブレンダーは動画に一度も存在しませんでした。
省略（「欠落」の間違い）: コンピュータは、実際には存在した重要な何かを記載することを忘れます。
- 例: 動画ではシェフが塩を加えている様子が映っていますが、コンピュータは単に「シェフはスープを混ぜた」と言い、塩の存在を完全に忘れ去っています。
顕著性の誤り（「気晴らし」の間違い）: これは最も厄介なものです。コンピュータは動画に存在する何かを言及しますが、それはタスクにとって重要ではありません。
- 例: シェフはトマトを切っていますが、背景のカウンターにはレモンが置かれています。コンピュータは「シェフはレモンを切った」と言います。レモンは確かに存在していました（したがって幻覚ではありませんが）、それは主な出来事ではありませんでした。コンピュータは背景のノイズに気を取られてしまいました。

4. 彼らが発見したこと

研究者たちは、このシステムを料理（YouCook3）と家具製作（CraftBench）の二種類の動画でテストしました。彼らはいくつかの驚くべき発見をしました。

流暢さ $\neq$ 真実: 最も響きが良く、最も流暢な文章は、しばしば事実上の誤りが最も多いものでした。コンピュータは「滑らかな話者」でしたが、詳細については不器用でした。
古い指標は嘘をつく: 成功を測定する標準的な方法（一致する単語数を数えるなど）は、これらの誤りを捉えるのにひどく不向きでした。事実上誤っている文章に高いスコアを与えていました。
動画は真実を語る: システムがテキストだけでなく動画に対してチェックを行ったとき、多くの「嘘」は実際には「気晴らし」（顕著性の誤り）や「省略」に過ぎないことが判明しました。動画は、テキスト単独では不可能な方法で真実を根拠づけていました。

5. 結論

本論文は、料理や建築などの手順動画を真に理解するためには、単に言葉が心地よいかどうかをチェックするだけでなく、具体的な役割（動作、道具、対象）が視覚的証拠と一致しているかを確認するシステムが必要であると結論付けています。

DualFactは、「大きなアイデア」と「具体的な詳細」を分離する厳格な事実確認者のようなものです。コンピュータが動画を説明する際、単に美しいバージョンではなく、真実のすべてを伝えることを保証します。

以下は、論文「DualFact+: A Multimodal Fact Verification Framework for Procedural Video Understanding」の詳細な技術的サマリーです（注：アブストラクトとタイトルは「DualFact」を指していますが、手法セクションでは「MultiFactScore」と呼称されています。本サマリーでは、論文で提示された統合フレームワークとして扱います）。

1. 問題定義

手順付き動画キャプション生成（料理、家具の組み立てなど）では、モデルは流暢であるだけでなく、事実的に正確かつ視覚的に根拠のある記述を生成する必要があります。既存の評価指標は、このドメイン固有の課題に対処できていません。

語彙的指標（BLEU, ROUGE）: 表面レベルの重複に依存しており、意味役割の誤り（例：材料と道具の入れ替え）や引数の欠落を検出できません。
視覚 - 言語指標（CLIPScore, EMScore）: 大域的な意味類似性を測定しますが、述語 - 引数関係に対する構造化された推論が欠如しています。そのため、微細な不一致を見逃すことがよくあります。
現在の事実ベース指標: 事実を平坦で型付けされていない文として表現するのが一般的です。概念的誤り（抽象的な役割の誤り、例：本来「砂糖」であるべきなのに「塩を加える」）と文脈的誤り（視覚的な実現の誤り、例：動画がボウルを示しているのに「鍋に塩を加える」）を区別するのが困難です。
暗黙的引数: 手順付きキャプションでは、視覚的に存在する引数が省略されることがよくあります（例：「かき混ぜる」だけで「スープ」や「スプーン」を特定しない）。これにより曖昧さが生じ、標準的な指標はこれを無視します。

2. 手法：DualFact/MultiFactScore フレームワーク

著者は、概念的事実と文脈的事実を分離し、微細な評価を可能にする二層構造の事実検証フレームワークを提案します。

A. 二層事実表現

概念的事実（ $F_{con}$ ）: 表面の実現に依存しない抽象的なタスク意味を捉えます。意図された動作と核心的な参加者役割を特定します（例：ACTION=STIR, INGREDIENT=SOP, TOOL=SPOON）。
文脈的事実（ $F_{ctx}$ ）: 動画内で視覚的に確認できる述語 - 引数関係を捉えます（例：STIR(soup, bowl, spoon)）。
- 重要性: この分離により、モデルがタスク（概念的）を理解しているが視覚的な実行（文脈的）の記述に失敗している場合、またはその逆の場合を検出できます。

B. データセット構築（YouCook3-Fact & CraftBench-Fact）

著者は、3 つの主要な前処理ステップを伴う 2 つの新しいベンチマークを作成しました。

節分解: 複数の動作を含む文を、特定の動画セグメントに対応する原子節に分割します。
暗黙的引数拡張（VIA）: 欠落しているが視覚的に存在する引数を注釈します（例：「かき混ぜる」を「鍋の中でスプーンを使ってスープをかき混ぜる」に拡張）ことで、役割の一貫性を確保します。
構造化事実注釈: 概念的事実と文脈的事実の両方を抽出するとともに、否定的事実生成（対照学習用の妥当だが偽のバリエーションを作成）を行います。

C. 検証パイプライン

このフレームワークは、自然言語推論（NLI）モデルを使用して、2 つのモードで事実を検証します。

DualFact-T（テキスト）: 生成された事実をゴールドキャプションに対して検証します。
DualFact-V（マルチモーダル）: 生成された事実を直接動画クリップに対して検証します。
スコアリング: MultiFactScoreは、検証者によって「SUPPORTED（支持）」と判断された事実の割合として計算されます。
誤り分解: システムは誤りを以下のカテゴリに分類します。
- ハルシネーション: 動画で支持されていない内容。
- 顕著性誤り（Salience Error）: 視覚的に存在するがタスクと無関係な内容（例：キュウリを切っている際にレモンに言及する）。
- 欠落: タスクに不可欠な実体や役割の欠落。

3. 主要な貢献

二層事実表現: 抽象的な役割意味と視覚的な実現を分離する新規フレームワーク。役割レベルの不一致と欠落の検出を可能にします。
新しいベンチマーク: 節レベルのセグメンテーション、VIA、構造化事実注釈を備えたYouCook3-Fact（料理）とCraftBench-Fact（家具製作）の導入。
経験的知見: 最先端のマルチモーダル LLM（例：Qwen2.5-VL）は流暢なキャプションを生成するものの、体系的に事実が不完全であり、標準的な指標が見逃す高い欠落率と役割レベルの誤りを有することを示しました。
評価プロトコル: 動画に根ざした検証と比較して、キャプションのみの評価がハルシネーションを過大評価し、「顕著性誤り（視覚的に存在するが無関係な詳細）」を見逃すことを示す手法。

4. 実験結果

YouCook3-Fact と CraftBench-Fact において、Qwen2.5-VL と標準的な指標を用いて実験を行いました。

事実抽出: LLM ベースの抽出器は高い精度を達成しました（概念的役割で F1 > 96%、文脈的関係で >95%）。これにより評価ノイズは最小限に抑えられています。
検証器の性能:
- 検証器はゴールド事実に対してほぼ完璧な性能を発揮します（テキスト：約 99%、マルチモーダル：約 88-93%）。
- モデル一貫性バイアス: 予測されたキャプションを検証する場合、精度は大幅に低下します（例：予測キャプションのテキスト検証は約 20-40% まで低下）。これはモデルが真実の実体をエンコードできていないことを示しています。
誤り分析:
- キャプションのみ vs. 動画に根ざした検証: キャプションのみの評価では、誤りの約 50-60% が「ハルシネーション」とラベル付けされました。動画に根ざした検証では、これら多くが顕著性誤りとして再分類されました（例：オブジェクト誤りの 36% はハルシネーションではなく顕著性誤り）。
- 欠落: 主要な失敗モードは、タスクに関連する実体（道具や材料など）の欠落であり、標準的な指標はこれを厳しく罰することができませんでした。
人間の判断との相関:
- 提案されたキャプションベースの概念的事実スコアは、人間の判断との最も強い相関を示しました（スピアマン $\rho$ = 0.429）。BLEU、ROUGE、EMScore を上回りました。
- 動画ベースのスコアは、「天井効果（絶対的な正しさは高いが分散が低い）」により、相関が低くなりました。

5. 意義と結論

流暢さを超えて: 本論文は、手順付きタスクにおいて流暢さが事実の正確性とイコールではないと主張します。文法的に完璧なキャプションでも、重要なステップを見逃したり、役割を誤って割り当てたりする可能性があります。
解釈可能性: このフレームワークは、モデルが何を欠落させたか（欠落）、何を捏造したか（ハルシネーション）、そして何を正しく捉えたが無関係か（顕著性）を区別するための診断ツールを提供します。
将来の方向性: この研究は、将来のモデルが表面レベルの意味類似性を超えて、役割の一貫性と視覚的な根拠に焦点を当てた生成を行う必要性を浮き彫りにしています。より堅牢な指示動画理解システムの基盤を確立します。

限界: 現在の範囲は料理と工作に限定されています。事実抽出は基盤となる LLM の精度に依存しており、フレームワークは現在、属性指向の事実（サイズ、色など）をモデル化したり、ハルシネーションの深刻度のレベルを区別したりしていません。