Colon-Bench: 内視鏡検査動画における密な病変注釈のためのエージェントワークフロー

本論文は、大腸がんの早期発見に不可欠な大腸内視鏡検査（コロノスコピー）動画の解析において、既存のデータセットが抱える課題を解決し、マルチモーダル大規模言語モデル（MLLM）の性能評価を可能にする新たなベンチマーク「Colon-Bench」と、それを構築するための革新的なアノテーションパイプラインを提案しています。

以下に、論文の技術的要点を問題定義、手法、主要な貢献、結果、意義の観点から詳細にまとめます。

---

1. 問題定義 (Problem)

大腸がんは世界で 2 番目に多い癌死因ですが、早期スクリーニングによる予防が可能です。しかし、内視鏡検査は侵襲的でコストがかかり、専門医の負担も大きいです。AI による自動化が期待されていますが、以下の理由から開発は困難です。

• データ不足: 既存のデータセットは、単一の「ポリープ検出」や「解剖学的セグメンテーション」に特化しており、長尺の動画（全手順）を対象とした密な注釈（Dense Annotation）が不足しています。
• 複雑な視覚環境: 病変は希少で、モーションブラー、遮蔽、便や体液、カメラと腸壁の接触などにより視認が困難です。
• MLLM 評価の欠如: 最新のマルチモーダル大規模言語モデル（MLLM）を評価するための、空間的・時間的・言語的なrichなアノテーション（バウンディングボックス、セグメンテーションマスク、臨床記述）を含むデータセットが存在しませんでした。

2. 手法 (Methodology)

著者らは、人手による密なアノテーションの非効率性を克服するため、**「マルチステージ・エージェントワークフロー」**を開発し、これを用いて Colon-Bench を構築しました。

2.1 エージェント駆動のアノテーションパイプライン

REAL-COLON データセット（60 動画）を基に、以下の多段階フィルタリングプロセスを適用しました（図 1, 表 2 参照）：

1. VLM による提案生成: 視覚言語モデル（VLM）が病変候補となる時間的ウィンドウ（1,325 件）を自動抽出。
2. 検証エージェントによるフィルタリング: 別の AI エージェントが候補ウィンドウを検証し、偽陽性を除去（422 件削除）。
3. トラッキングと空間注釈: EdgeTAM（SAM ベースのトラッキングモデル）を用いて、病変のバウンディングボックスとセグメンテーションマスクをフレーム単位で追跡・生成。
4. Cued AI 確認: 生成されたボックスをオーバーレイ表示し、AI が病変の存在を再確認（306 件削除）。
5. 人間による最終レビュー: 専門医（外科医）が AI 選別後のウィンドウ（597 件）を最終確認し、69 件を除外。

このプロセスにより、**528 動画（約 12.9 時間、46 万フレーム以上）**が最終的に採用されました。

2.2 データセットの特性 (Colon-Bench)

• 規模: 528 動画、464,035 フレーム。
• 注釈量: 300,132 個のバウンディングボックス、213,067 枚のセグメンテーションマスク、133,000 語以上の臨床記述。
• 病変カテゴリー: ポリープだけでなく、出血、潰瘍、赤斑、憩室など14 種類の病変を網羅（長尾分布）。
• タスク: 二値分類、検出、インスタンスセグメンテーション、VQA（視覚的質問応答）に対応。

3. 主要な貢献 (Key Contributions)

1. スケーラブルなアノテーションパイプラインの提案:
   時間的提案、トラッキング、AI による視覚的確認、人間によるループレビューを組み合わせることで、大規模な内視鏡動画に対して高品質な密な注釈を低コストで生成する手法を確立しました。
2. 包括的なマルチタスクベンチマーク (Colon-Bench) の公開:
   14 種類の病変を網羅し、Open-Vocabulary Video Object Segmentation (OV-VOS) や Video VQA などの高度なタスクを評価可能な、内視鏡領域初の包括的ベンチマークを提供しました。
3. MLLM の医療領域における性能評価と「Colon-Skill」の導入:
   最先端の MLLM（Gemini 3, Qwen, GPT-5 など）を評価し、エラーパターンを分析。これに基づいて構造化されたドメイン知識（Colon-Skill）をプロンプトに追加する手法を提案しました。

4. 結果 (Results)

4.1 MLLM の性能評価

• VQA 精度: Gemini 3 Pro (78.6%) や Gemini 3 Flash (76.6%) が最高精度を記録しました。
• セグメンテーション: 従来のセグメンテーションモデル（SAM-3 など）と比較して、MLLM（特に Gemini 3 シリーズや GPT-5.4）が、ボックスプロンプトと EdgeTAM を組み合わせることで、より優れた性能（mIoU 48.3%、Dice 54.7% など）を示しました。
• 分類タスク: Seed 1.6 や Gemini 3.1 Flash Lite が高い F1 スコアを達成しましたが、一部の巨大モデル（Qwen3.5 397B など）は「病変なし」と判断するバイアスにより、病変検出性能が低下する傾向が見られました。

4.2 Colon-Skill の効果

モデルのエラーパターン（例：無茎ポリープを有茎と誤認する、憩室を病変と誤認するなど）を分析し、構造化されたテキストガイド（Colon-Skill）をプロンプトに追加しました。

• 結果: 追加学習なし（ゼロショット）で、多くの MLLM の VQA 精度が最大 9.7% 向上しました（例：Qwen3.5 397B は +9.7%、Qwen3-VL 8B は +5.9% 向上）。
• 意義: 専門的な医療知識を構造化して提示するだけで、モデルの推論能力を大幅に向上できることを示しました。

4.3 消融実験 (Ablation Study)

• フレーム数: 入力フレーム数を増やす（1 フレーム→7 フレーム）ことで、セグメンテーション精度は向上しましたが、計算コストとのトレードオフから 3 フレームが最適と判断されました。
• 文脈: 動画全体を入力した方が、単一フレーム入力よりも VQA 精度が高い傾向にありました。

5. 意義と将来展望 (Significance)

• 医療 AI の基盤整備: 内視鏡動画の理解における「長尺・密注釈・多モーダル」なデータ不足というボトルネックを解消し、MLLM の医療応用研究を加速させます。
• 臨床応用への道筋: 提案されたエージェントワークフローは、将来的なリアルタイム臨床支援システムや、低コストなスクリーニングツールの開発に不可欠な基盤技術となります。
• MLLM の限界と可能性: 医療領域においても MLLM が高い局所化能力を持つことを実証し、適切なプロンプトエンジニアリング（Colon-Skill）によって、専門知識の欠如を補えることを示しました。

本論文は、大腸内視鏡検査の AI 解析において、単なる検出から「文脈理解」や「詳細な記述」へとパラダイムをシフトさせる重要なマイルストーンとなっています。データセットとコードは公開されています。