技術的サマリー：MMVIAD

問題提起

産業分野における異常検出は製造品質管理において不可欠であるが、既存のベンチマークは主に静止画または疎な多視点観測に依存している。これらのデータセットは、カメラが部品を移動したり、部品が治具上で回転したりする、実際の産業現場で見られる連続的な検査プロセスを捉えきれていない。その結果、構造的欠陥（亀裂、穴、膨らみなど）は視点依存の可視性を示す傾向がある。つまり、ある角度からは見えず、別の角度からは弱く見えるが、検査軌道の特定の時間間隔でのみ明確に診断可能となる場合がある。現在のモデルは、証拠が存在する特定の視点間隔に欠陥の意味を結びつけることに苦慮しており、診断動画に時間的に根拠を持たせずに正しいラベルを予測してしまうことが多い。

手法

1. MMVIAD データセットとベンチマーク

著者は、産業異常検出における最初の連続的な多視点動画データセットであるMMVIAD（Multi-view Multi-task Video Industrial Anomaly Detection：多視点多タスク動画産業異常検出）を導入する。

• 構築: このデータセットは、Anomaly-ShapeNet の 3D アセットに基づき、Blender を用いた制御可能なオブジェクト中心のレンダリング軌跡によって構築されている。このアプローチにより、現実世界の動画から得ることが困難な、欠陥の可視性に関する正確で検証可能なアノテーションを可能にする。
• 規模と範囲: 約 120 度のカメラ運動をカバーする 2 秒間の検査クリップが 4,000 以上含まれており、48 種類のオブジェクトカテゴリ、14 の環境、6 種類の構造的異常タイプ（亀裂、傷、凹み、膨らみ、破損、穴）にまたがる。
• アノテーション戦略: 各異常オブジェクトに対して、2 つの整列した動画が生成される。1 つは異常未表示動画、もう 1 つは異常表示動画（欠陥領域が赤色で強調されたもの）である。これらをフレーム単位で比較し、手動で検証することで、著者は正確な「可視時間」間隔（$[t_{start}, t_{end}]$）を導き出す。
• タスクの結合: ベンチマークは、質問応答（QA）を通じて 4 つの結合されたタスクを評価する。
  1. 異常検出: 欠陥の有無の二値分類。
  2. 欠陥分類: 欠陥タイプの分類（検出を条件とする）。
  3. オブジェクト分類: オブジェクトカテゴリの特定。
  4. 異常可視時間局所化: 欠陥の視覚的証拠が存在する時間間隔の特定。

2. VISTA: 2 段階のポストトレーニングパイプライン

結合タスクと疎な報酬の課題に対処するため、著者は 2 段階のパイプラインでトレーニングされた参照モデルVISTAを提案する。

• 段階 1: PS-SFT（知覚構造化教師あり微調整）: 強化学習の「コールドスタート」問題を緩和するため、モデルはまず教師モデルによって合成されたデータセットで微調整される。教師モデル（Gemini 3.1 Pro）は、応答をグローバル知覚、局所セグメント知覚、推論、構造化された回答に分解する推論トレースを生成する。これにより、モデルは知覚構造化された推論行動で初期化される。
• 段階 2: VISTA-GRPO（可視性根拠産業構造化時系列異常グループ相対方策最適化）: この段階では、特殊な報酬関数を用いたグループ相対方策最適化（GRPO）によってモデルを洗練させる。
  • フォーマットおよび回答報酬: 構造化された出力形式への準拠と、異常検出およびオブジェクト分類の正確性を保証する。
  • 意味ゲート付き欠陥報酬: 異常検出が正しい場合にのみ欠陥分類が報酬されるという依存関係を強制し、モデルが異常を検出せずに欠陥の事前知識を利用することを防ぐ。
  • 可視性認識時系列報酬: 可視証拠の存在と境界の精度を分離する。正常サンプルに対する正しい空予測を報酬し、見逃された可視欠陥や幻覚的な間隔を罰則とし、正しい間隔予測に対しては発見ボーナスを付与した修正 IoU を使用する。

主要な貢献

1. データセットとベンチマーク: MMVIAD は、視点依存の構造的欠陥に対する可視時間アノテーションと、多タスク QA 評価フレームワークを備えた、産業異常検出における最初の連続的多視点動画データセットとして提示される。
2. 診断的評価: 本論文は、人間の注釈者、商用動画 MLLM（GPT-5.4、Gemini 3.1 Pro など）、オープンソースモデルの包括的な評価を提供する。結果は、特に微細な欠陥分類と時間的根拠付けにおいて、現在のモデルと人間の性能の間に持続的なギャップがあることを浮き彫りにする。
3. 参照ポストトレーニング: 著者は、PS-SFT 初期化と VISTA-GRPO 洗練を組み合わせた 2 段階のベースラインである VISTA を提案し、未見のオブジェクトカテゴリにおける一般化性能の向上を実証する。

実験結果

• MMVIAD-Standard（ゼロショット）: 最強の商用モデル（GPT-5.4 など）でさえ、人間の専門家よりも大幅に遅れをとる（平均スコアで約 20 点以上）。モデルは粗い異常検出やオブジェクト分類では比較的良好なパフォーマンスを示すが、微細な欠陥認識と時間的局所化では苦戦する。
• MMVIAD-Unseen（一般化）: 未見のオブジェクトカテゴリを含む分割において、ベースモデル（Qwen3-VL-8B）は平均スコア 45.0 を達成する。VISTA モデルはこれを57.5まで向上させ、異常検出、時間的局所化、オブジェクト分類において顕著な改善が見られる。
• 合成から実世界への転移: 合成 MMVIAD データでトレーニングされた VISTA は、実世界の静止画データセット（MVTec AD および VisA）においても性能が向上しており、合成多視点動画から学習された異常理解が実世界の検査画像へ転移可能であることを示唆している。
• アブレーション研究: 2 段階パイプラインは不可欠であり、SFT 初期化なしの直接 RL では限定的な改善しか得られない。意味ゲート付き欠陥報酬と可視性認識時系列報酬は、タスクパフォーマンスのバランスを取るために不可欠であることが示された。

意義と主張

本論文は、MMVIAD が現在の動画 MLLM における特定の失敗モードを露呈していると主張する。すなわち、粗いオブジェクトや異常の手がかりを認識することはできても、証拠が存在する特定の視点間隔に欠陥の意味を結びつけることが困難であるという点である。検証可能な時間的アノテーションを備えたデータセットと構造化されたトレーニングパイプラインを導入することで、著者は産業異常理解を、静止画認識から、連続的で証拠に基づく動画推論へとシフトさせることを目指している。この研究は、将来のモデルが実世界の産業検査ワークフローで効果的であるためには、オブジェクトレベルの知覚、欠陥の意味、および時間的根拠付けを統合する必要があることを示唆している。著者は謙虚さを保ち、データセットは現在合成のもので規模も中程度であり、実世界への展開にはセンサーノイズや生産ラインの制約に対するさらなる検証が必要であると述べている。