論文要約：Can Unsupervised Segmentation Reduce Annotation Costs for Video Semantic Segmentation?

概要
本論文は、ビデオセマンティックセグメンテーション（Video Semantic Segmentation）における手動アノテーションのコスト削減を目的とした研究です。著者らは、大規模な基礎モデル（Foundation Models）である「Segment Anything Model (SAM)」および「SAM 2」を活用し、未アノテーションのフレームや粗いアノテーション（Coarse Annotations）を自動生成・洗練させることで、手動アノテーションの必要量を大幅に削減できることを示しました。実験の結果、アノテーション量を約 3 分の 1 に減らしても、性能をほぼ維持できることが確認されました。

1. 背景と問題提起

• 課題: ビデオセマンティックセグメンテーションの高性能な深層学習モデルを訓練するには、フレームごとのピクセルレベルの微細な手動アノテーション（Fine-grained annotations）が不可欠です。しかし、このアノテーション作業は非常に時間とコストがかかります（例：Cityscapes データセットでは、1 枚あたりのアノテーションに平均 90 分を要します）。
• 利用可能なリソース:
  • 未アノテーションフレーム: 生データとして無料で入手可能ですが、通常は訓練に利用されていません。
  • 粗いアノテーション（Coarse Annotations）: 物体の正確な境界線ではなく、大まかな領域を示すもので、1 枚あたり 7 分程度と安価に作成可能です（Cityscapes などには多数存在します）。
• 既存手法の限界: 従来の半教師あり学習や自己学習の手法は、主に画像セグメンテーションに焦点を当てており、ビデオの時間的連続性を活かした効率的なデータ利用や、基礎モデルを活用したコスト削減の体系的研究は不足していました。

2. 提案手法

著者らは、SAM と SAM 2 を「ブラックボックス」として利用し、以下の 2 つのアプローチでアノテーションコストを削減する手法を提案しました。

2.1 未アノテーションフレームからの疑似ラベル生成 (Pseudo-labeling)

• 手法: 手動でアノテーションされたフレーム（例：Cityscapes の 30 フレーム中 20 番目）を初期マスクとして SAM 2 に入力します。
• プロセス:
  1. SAM 2 を使用して、未来のフレーム（10 番目、30 番目など）への追跡とマスク生成を行います。
  2. フレーム順序を逆転させ、過去のフレームに対しても同様にマスクを生成します。
  3. 生成されたマスクを「疑似ラベル」として、手動アノテーションデータと混合してモデルを訓練します。
• 戦略: 単に連続するフレームを生成するのではなく、時間的に離れた多様なフレーム（例：10 番目と 30 番目）を選択して生成ラベルを補完することで、データの多様性を確保します。

2.2 粗いアノテーションの洗練 (Refinement of Coarse Annotations)

• 手法: 既存の粗いアノテーションを、SAM を用いて微細化します。
• プロセス:
  1. 粗いマスク内のランダムな 2 点を選択し、SAM にその点からのセグメンテーションを要求します。
  2. 出力されたマスクを 2 回反復して洗練させます。
  3. 対象クラス: 「ポール」「信号機」「人物」「車」「バイク」など、インスタンスレベルで明確な境界を持つ 8 クラスのみを洗練対象とし、道路や空など境界が曖昧なクラスはそのまま使用します。

3. 実験設定

• データセット:
  • Cityscapes: 微細アノテーション（2,975 フレーム）と粗いアノテーション（20,000 フレーム）の両方を持つ。
  • IDD: 未アノテーションフレームの汎用性を検証するために使用。
• ベースラインモデル:
  • TMANet: 時間的メモリ注意機構（Temporal Memory Attention）を用いたビデオセグメンテーションモデル。
  • TDNet: 時間的に分散したサブネットワークとアテンション伝播を用いたモデル。
• 評価指標: 平均交差結合率（mIoU）と平均精度（mAcc）。

4. 主要な結果と知見

4.1 未アノテーションフレームの利用結果

• アノテーション量削減: 手動アノテーションを33%（3 分の 1）に減らし、残りを SAM 2 で生成した 10 番目と 30 番目のフレームの疑似ラベルで補った場合（B3 設定）、全手動アノテーション使用時（N1）と比べて mIoU の低下はわずかでした（Cityscapes/TMANet で 75.65 → 74.48）。
• 失敗要因: 生成されたフレームを連続して（例：10〜20 フレーム）使用すると性能が低下しました。これは、生成されたフレーム同士が類似しており、訓練データの「多様性（Variety）」がフレーム数よりも重要であることを示唆しています。
• 一般化: IDD データセットでも同様の傾向が確認されました。

4.2 粗いアノテーションの洗練結果

• 洗練の有効性: SAM による洗練を行った粗いアノテーションは、洗練を行わない場合よりも高い性能を示しました（特に TMANet において）。
• 混合比率: 微細アノテーションと粗いアノテーションを 50:50 で混合した場合でも、ある程度の性能を維持できましたが、粗いアノテーションの比率が増えると性能は低下しました。
• 失敗要因: 境界が曖昧なクラス（植生など）や、インスタンスレベルではないクラス（建物など）を SAM で無理に洗練すると、ノイズが増え性能が低下する傾向がありました。

4.3 比較実験のまとめ

• 推奨アプローチ: 粗いアノテーションを洗練して利用するよりも、未アノテーションフレームから SAM 2 で疑似ラベルを生成し、手動アノテーションを 3 分の 1 に削減するアプローチが最も効果的でした。

5. 貢献と意義

1. コスト削減の実証: 基礎モデル（SAM/SAM 2）を活用することで、ビデオセグメンテーションにおける手動アノテーションの必要量を 3 分の 1 に減らしつつ、同等の性能を達成できることを実証しました。
2. 多様性の重要性の発見: 単にデータ量を増やすだけでなく、時間的に多様なフレームを訓練データとして選択することが、モデルの性能向上に不可欠であることを示しました。
3. 実用的なガイドライン: 粗いアノテーションの活用よりも、未アノテーションフレームの自動ラベリングに注力すべきという、実践的な指針を提供しました。

6. 結論と将来展望

本論文は、大規模な基礎モデルを「ブラックボックス」として利用するだけで、データ効率のよいビデオセグメンテーションが可能であることを示しました。将来的には、他のセグメンテーションモデルの比較や、オプティカルフロー以外のより高度な多様性指標を用いたフレーム選択手法の研究が期待されます。

この研究は、高コストなデータアノテーションに依存しない、低データ量での学習（Low-data training）を実現する重要な一歩となります。