Train, Test, Re-evaluate: Schedule-Sensitive Evaluation of Generative Data for Hand Detection

技術要約：手検出のための生成データのスケジュール依存性評価

問題提起
労働安全モニタリングにおいて、頑健な手検出は安全プロトコルの遵守を確保するために極めて重要である。しかし、手検出用の公開データセットは主に素手で構成されており、手袋、包帯、タトゥー、ジュエリーといった個人用保護具（PPE）によって導入される視覚的なバリエーションを表現できていない。これにより、トレーニングデータと実世界の展開シナリオ（特に、アクセサリーを装着した手を検出することが不可лоな安全重視の文脈）との間に重大な分布シフトが生じている。このギャップを埋めるための有望な解決策として合成データの生成が挙げられるが、既存の手法は「シミュレーションからリアルへの（simulation-to-real）」ギャップに苦慮することが多く、オブジェクト中心のタスクにおける合成データの有用性は未解決の科学的問いである。

手法
著者らは、ジェネレーティブ・インペインティング（生成的な塗りつぶし）——背景を保持したまま、実写の画像内の手領域を編集してアクセサリーを追加する手法——が、この分布シフトを効果的に解消できるかどうかを評価するためのフレームワークを提案している。

1. データセット構築:

   • 実データ: YOLO形式のアノテーションが付与された、6,507枚のトレーニング用、2,085枚の検証用、および3,591枚のテスト用RGB画像からなるデータセット。
   • 合成データ: オープンソースツールである Semepad を使用して、ペアとなる合成画像を生成した。パイプラインは、手領域を（GroundingDINOおよびSAM2を介して）セグメンテーションし、テキストプロンプトに基づいてアクセサリー（手袋、ジュエリー、タトゥー）をインペイントする（rectified-flow transformerである FLUX.2 を使用）。背景は元の画像とピクセル単位で同一である。
   • 品質評価: 合成データの妥当性を検証するために、5つのペア画像指標を算出した：
     • ピクセル/構造的指標: PSNR、SSIM、およびLPIPS（フル画像および手のクロップ領域の両方で算出）。
     • 解剖学的指標: MediaPipe Handsの検出率、信頼度、およびランドマークの偏差。
     • 境界指標: インペイントされた手と元の背景との間の目に見える継ぎ目を検出するための境界勾配比。

2. 実験設計:
   本研究では、統計的分析のために3つのランダムシードを用いて繰り返された6つのレジーム（実験A–F）の下で、YOLOv8n 検出器を訓練した：

   • Exp A (ベースライン): 実データで訓練し、実データでテストする。
   • Exp B (頑健性プローブ): 実験Aのモデルを、合成手袋および実手袋のテストセットに対して評価する（再学習なし）。
   • Exp C (二段階拡張): 「実データ $\cup$ 合成データ」で訓練し、その後、より低い学習率で実データのみを用いてファインチューニングを行う。
   • Exp D (合成データのみ): 合成データのみで訓練する。
   • Exp E (三段階カリキュラム): 「実データ $\to$ 実データ $\cup$ 合成データ $\to$ 実手袋」の順で、学習率を段階的に下げながら訓練する。
   • Exp F (メタ分析): 結果を集計し、符号付きギャップ指標を算出する。

主な結果

• 画像品質: フル画像の指標（PSNR/SSIM）は高い類似性を示唆したが、手領域の指標は顕著な差異を示しており、インペインティングが対象領域を正常に変更したことを裏付けた。境界勾配分析は平均比率1.088を示し、大部分の継ぎ目は目立たないものの、一部に可視的なアーティファクトが存在することを示した。
• 検出性能 (mAP@0.5):
  • Exp C (二段階) は、標準的な実テストセット（0.954）および実手袋の分布外（OOD）セット（0.921）の両方で最高の mAP@0.5 を達成した。これは実データのみのベースライン（0.867）を、実データセットで+8.7ポイント、OODギャップにおいて+18.1ポイント上回る結果となった。
  • Exp E (三段階) は、最高の mAP@0.5:0.95（実データで0.628、手袋で0.374）を達成し、優れたボックスのタイトネス（適合度）を示したが、Exp Cと比較して mAP@0.5 においてはわずかなトレードオフが見られた。
  • Exp D (合成データのみ) は、ベースライン mAP@0.5 の71.5%に達し、合成データ単体では不十分であるが、補完としては実行可能であることを証明した。
• 統計的有意性: ペアt検定（n=3）およびCohen's d分析により、mAP@0.5 における Exp C のベースラインに対する改善は大きな効果（d=2.06）であったが、サンプルサイズが小さいため、p値（0.071）は厳密な0.05の閾値を満たさなかった。Exp E は mAP@0.5:0.95 において Exp C を有意に上回った（p=0.012, d=5.29）。

意義と主張
本論文は、合成データの有用性はデータそのものよりも、訓練プロセスによって決定されると主張している。

• スケジュール感応性: 単純なマルチステージ訓練スケジュール（具体的には「拡張後のファインチューニング」および「カリキュラム学習」）を用いることで、インペイントされたアクセサリーデータから実用上の大幅なメリットを引き出すことができる。
• ギャップの解消: これらの手法は、素手の訓練データとアクセサリーを装着した手の展開シナリオとの間の分布シフトを大幅に減少させる。
• 限界: 改善は見られるものの、実物の手袋に対する厳格なIoU性能（mAP@0.5:0.95）には「頑固な」ギャップが残っている。著者らはこれを、アクセサリーを装着した手に対するボックスのタイトネスを維持することの難しさによるものとしており、将来的な改善には、単なる訓練スケジュールの調整ではなく、合成生成パイプライン自体の洗練が必要であることを示唆している。

本研究は、ジェネレーティブ・インペインティングは機械的に検出可能なシグネチャを導入するものの、注意深く設計されたマルチステージ訓練レジームを通じて統合されるならば、労働安全におけるデータ拡張の実行可能な戦略であると結論付けている。