技術的概要：SeamCam – 多様な手がかりに基づく視覚的検出可能性によるシームレスな擬態の定量化

問題定義

動物の擬態は伝統的に環境と「シームレスに」溶け込む能力として記述されてきたが、このシームレスさを測定する標準化された定量的指標は存在しない。既存の計算アプローチは、しばしば擬態の効果を静的な単一手がかりの類似度測定（例えば、グローバルな特徴分布の距離やピクセル単位の相関）に還元する。これらの手法は、擬態が多様な手がかりに基づく局在化問題であるという知覚的現実を捉えきれていない。効果的な擬態は、単に前景と背景の差異を最小化するだけでなく、対象の分類が既知であっても、観察者が対象を局在化するために必要な視覚的証拠の蓄積を妨げるものである。さらに、擬態生成のための既存のデータセットには、遮蔽されたり部分的にしか見えない動物が含まれることが多く、生成モデルの評価を混乱させるバイアスを導入している。

手法

1. SeamCam：多様な手がかりに基づく局在化指標

著者らは、擬態の評価を分類条件付き視覚的局在化問題として再定義する。核心的な仮説は、よく擬態された動物とは、観察者が種を知っていても検出が困難なものであるという点にある。SeamCam は、利用可能な視覚的手がかりから回復可能な最大局在化信号を測定することでこれを定量化する。

このフレームワークは 2 段階で動作する：

• 段階 I：セマンティック提案生成：画像 $I$ と対象の種カテゴリ $c$ が与えられ、オープンボキャブラリー検出器（Grounding DINO）が候補のバウンディングボックスを生成する。擬態された物体が信頼度が抑制されるという非対称性に対処するため、この手法は二重ゲートリングを適用する。セマンティックな関連性を確保するためのテキスト整合しきい値（$\alpha$）と、弱いが潜在的に情報を含む手がかりを保持するための低い信頼度しきい値（$\beta$）である。上位 $K$ 個の提案を保持する。
• 段階 II：擬態手がかりの統合：各提案に対して、セグメンテーションマスクが生成される（SAM-2 を使用）。この手法は、これら $K$ 個の提案のすべての空でない部分集合を評価する。各部分集合について、マスクの和集合を計算し、グランドトゥルースマスクとの交並比（IoU）を算出する。
• スコアリング：**検出可能性スコア（$D$）**は、提案の任意の部分集合によって達成可能な最大 IoU として定義される。**SeamCam スコア（$\zeta$）**は $1 - D$ として計算される。
  • 高い SeamCam スコア（低い $D$）は、利用可能な手がかりの最適な集約であっても物体を回復できないことを示し、強力な擬態を意味する。
  • 低い SeamCam スコア（高い $D$）は、物体が容易に局在化可能であることを示す。

この定式化は、単一のグローバル類似度指標に依存するのではなく、分散した弱い手がかりの統合を明示的にモデル化する。

2. SeamCam 誘導直接選好最適化（DPO）

擬態生成を改善するため、著者らは SeamCam を**直接選好最適化（DPO）**のための選好信号として利用する。

• パイプライン：ビジョン・ランゲージモデル（InternVL3-14B）が前景の動物に基づいて多様な環境プロンプトを生成する。参照拡散インペインティングモデルが、これらのプロンプトを条件として候補画像を生成する。
• 選好ペアの構築：実画像（訓練データから）が「勝者」として機能する。生成された候補の中で、最も高い SeamCam スコアを持つもの（つまり、検出が最も困難なもの）が「ハードネガティブ（敗者）」として選択される。
• 訓練：対象の拡散モデルは、自然画像を高スコアの合成代替案よりも好むようにファインチューニングされる。これにより、モデルは自然な擬態と合成の試みを区別する微妙な知覚的手がかりを学習し、他の指標で見られる「報酬ハッキング」を回避する。

3. CamFG-1.5K データセット

バイアスのないベンチマーキングを可能にするため、著者らは 1,521 枚の高解像度画像からなる厳選されたデータセットCamFG-1.5Kを導入する。既存のデータセットとは異なり、CamFG-1.5K は擬態生成前に動物が完全に視認可能で、最小限の遮蔽であることを保証し、遮蔽アーティファクトに関連する交絡因子を排除する。

主要な貢献

1. SeamCam 指標：擬態を多様な手がかりに基づく局在化の困難さ問題として捉える新しい定量的指標。2 択強制選択（2AFC）研究において人間の判断と78.82% の一致率を達成し（参加者 94 名、比較 2,390 回）、最先端の CamOT を約 25% 上回る。
2. 擬態生成のための DPO：SeamCam が拡散ベースのインペインティングモデルのファインチューニングのための効果的な選好信号として機能することを示す。その結果得られたモデルは、標準的な目的関数や代替指標で訓練されたベースラインよりも、高い視覚的忠実度と強力な擬態を持つ画像を生成する。
3. CamFG-1.5K：遮蔽アーティファクトから擬態合成の品質を分離するように設計された新しいベンチマークデータセット。厳密な評価を容易にする。

実験結果

• 人間との整合性：2 択強制選択（2AFC）研究において、SeamCam は人間の難易度判断を予測する精度で**78.82%**を達成し、ほぼランダムな確率に近い性能（54.07%）だった CamOT を大幅に上回った。この差は 20 種にわたる多様な種カテゴリで一貫していた。
• 生成性能：DPO を通じて Stable Diffusion v2 インペインティングモデルをファインチューニングする際に SeamCam を使用すると、すべての指標においてベースライン（LCG-Net、TFill、RePaint、LAKE-RED）を上回る画像が生成された：
  • 生成品質：最良の KID（0.0139）および FID（71.25）。
  • 人間の選好：最高 HPS-v2 スコア（0.195）。
  • 擬態品質：最高 SeamCam スコア（0.3811）。
  • 特筆すべきは、CamOT で訓練された DPO は高い CamOT スコアを達成したが、独立した指標（KID/FID）では一般化できず、報酬ハッキングを示唆した点である。SeamCam 誘導 DPO はこれを回避し、スコアラー非依存指標において優れた性能を達成した。
• 頑健性：この指標は、異なる検出器/セグメンターバックボーン（例：SAM-3、Rex-Omni、OWLv2）間で安定しており、基盤アーキテクチャに関わらず CamOT に対して約 24% のマージンを維持する。
• 破壊的色彩：SeamCam は、輪郭を破る高コントラストのパターンを用いる破壊的色彩を持つ動物を正しく評価するが、CamOT などの類似度ベースの指標は、内部特徴のばらつきによりしばしばそれらを罰する。

意義と主張

本論文は、SeamCamが擬態の評価と最適化のための原理的かつ知覚的に根拠のある枠組みを提供すると主張する。静的な外観の類似性から視覚的局在化の困難さへと焦点を移すことで、この指標は人間が擬態を全体的な現象として知覚する方法と整合する。

著者らは以下を主張する：

1. 知覚的整合性：SeamCam は、複数の弱い手がかりの統合をモデル化することで、既存の指標よりも擬態の「シームレスさ」をよりよく捉える。これは、人間の判断との強い相関によって実証されている。
2. 訓練の有用性：SeamCam は単なる評価者ではなく、 viable な訓練信号である。これを DPO に使用することで、生成モデルは視覚的に現実的かつ知覚的に欺瞞的な擬態を合成できるようになり、標準的な再構成損失の限界を克服する。
3. ベンチマーキングの厳密性：CamFG-1.5K の導入は、遮蔽を制御するデータセットを提供することで分野の重要なギャップを埋め、擬態生成モデルの公平かつバイアスのない比較を可能にする。

この研究は、単純なピクセルレベルの比較から知覚的推論のモデルへと移行し、コンピュータビジョンにおける擬態のより厳密で生物学的に妥当な理解への一歩として位置づけられている。