Recov-Vision: Linking Street View Imagery and Vision-Language Models for Post-Disaster Recovery

技術要約：Recov-Vision

問題提起
災害後の復旧には、トリアージ、ユーティリティの復旧、およびリソース配分を導くための、迅速な建物レベルの居住判定が必要である。オーバーヘッド（天底）画像は広範なカバー範囲を提供する一方で、居住可能性を判断するために不可欠な、建物の正面レベルの手がかり（遮断された入り口、仮設の覆い、局所的な瓦礫など）を捉えられないことが多い。対照的に、ストリートビュー画像（SVI）はこれらの必要な詳細を提供するが、本質的に希薄であり、視点に依存し、大規模な区画インベントリとの整合性をとることが困難である。既存の手法は、意思決定を監査したり曖昧な視覚的証拠を処理したりするために必要な、構造化された透明性のある推論を欠いた「ブラックボックス」型の分類器に依存することが多い。

手法
本論文では、パノラマビデオを特定の土地区画に紐付け、居住状況を推論するために設計された、街路レベルの言語誘導型フレームワークであるRecov-Visionを提示する。パイプラインは、主に4つのコンポーネントで構成される：

1. データ収集および前処理：

   • 取得： ハリケーン・ヘレンの影響を受けたノースカロライナ州スワノアおよびブラックマウンテンにおけるフィールド調査において、車両搭載型のGoPro Maxを用いて360°パノラマビデオ（5.6K解像度）をキャプチャした。データの収集は、復旧状況を追跡するため、2回のキャンペーン（2025年3月および6月）にわたって行われた。
   • 地理空間的整合： GPSログをビデオフレームと同期させた。Rツリー空間インデックスを用いて、車両の位置を参照区画（25mバッファ内）にマッチングさせた。
   • ビューの矩形化： 入力を標準化するため、システムはGPS点の時間窓を用いて車両のヘディング（方位）を推定した。その後、パノラマフレーム内で建物の正面が中心にくるように必要なヨー角を計算した。FFmpegのv360フィルタを使用し、正距円筒図法による入力を、正面を中心とした長方形のビュー（16:9のアスペクト比）に歪み補正（デワーピング）した。

2. 視覚言語モデル（VLM）プロンプティング戦略：
   本研究では、共通の視覚抽出器（GPT-4o）と標準化された属性スキーマ（表2）を用いた、2つの意思決定アーキテクチャを比較している：

   • ワンステージ・ベースライン： VLMは9つの視覚属性（例：住宅の破壊、外部の瓦礫、緊急時のマーキング）を抽出する。その後、決定論的なルールベースのスコアリングシステムが居住状況を分類する。ルールは、「（リスク指標 － 車両の存在）≥ 2 の場合に『非居住』と予測する」というものである。この閾値は、負のラベルに対して裏付けを必要とするよう、保守的に調整されている。
   • ツーステップ戦略： VLMは、居住状況を推論することなく、まず同じ視覚属性を抽出する。第2段階では、テキストのみのLLMが明示的な推論ルールとフューショット（few-shot）の例を適用し、これらの属性を最終的な「居住」または「非居住」のラベルにマッピングする。この段階は、証拠が曖昧な場合には「非居住」を優先するように、保守的に設計されている。

3. 時系列分析：
   フレームレベルの予測を多数決によって区画レベルのラベルへと集計する。2回の訪問間の変化として、4つの変化クラス（回復：非居住 → 居住、悪化：居住 → 非居住、および2つの安定状態）を定義する。

4. 評価：
   性能は、適合率（precision）、再現率（recall）、F1スコア、およびコーヘンのκ（Cohen's $\kappa$）を用いて、人間のグラウンドトゥルース（正解）に対して評価された。統計的有意性は、ペア付きブートストラップ再サンプリングおよびマクネマー検定を通じて評価された。誤差の空間的自己相関は、グローバル・モランの$I$（Global Moran's $I$）を用いて分析された。

主な貢献

1. 再現可能なパイプライン： ビューの矩形化のための特定の幾何学的定式化やGPSベースのヘディング推定を含む、5.6Kパノラマビデオを区画に紐付けるエンドツーエンドのワークフロー。
2. 解釈可能な推論： 透明性の高いルールベースのアプローチと、知覚から推論への2段階設計の比較。知覚（属性抽出）と論理（意思決定）を分離することで、視覚コンポーネントの再学習なしにポリシーのチューニングが可能になる。
3. 時空間評価： 集計された精度を超えて、空間診断を行うための、ネット・リカバリー（純回収）を定量化し、誤差のクラスタリングを診断するためのフレームワーク。
4. 統計的検証： 信頼区間と誤差の分類学を厳密に報告し、2段階アプローチが曖昧さを軽減し、レビュー担当者を特定の困難なケースへと導くことを実証した。

結果

• 性能： ツーステップ戦略は、ワンステージ・ベースラインと比較して、より高い再現率（0.781 vs 0.728）および、わずかに高いF1およびコーヘンの$\kappa$スコアを達成した。しかし、ペア付きブートストラップ検定およびマクネマー検定の結果、これらの差異は現在の動作点において統計的に有意ではなかった。
• 復旧メトリクス： 両モデルとも、グラウンドトゥルースに対して居住状況を過大評価した。しかし、ツーステップ戦略は、ワンステージ・ベースライン（+18）よりも正確に、グラウンドトゥルースのネット・リカバリーの傾向（+14）を再現した。
• 誤差分析： 残差誤差はランダムに分布していなかった。グローバル・モランの$I$分析により、居住状態および予測誤差の両方において、有意な空間的クラスタリングが明らかになった。これは、誤差が特定の「ポケット」に集中していることを示唆しており、ターゲットを絞った品質保証が可能であることを示している。
• ケーススタディ： ツーステップアプローチは、より保守的な決定境界を示し、ワンステージ・ベースラインが失敗したケース（例：大規模な修理中の住宅）において、「非居住」を正しく特定した。ただし、両モデルとも、紛らわしい視覚的手がかり（例：ロゴを緊急マーキングと誤認する）に苦慮した。

意義と主張
本論文は、2段階設計の主要な価値は、生の性能の優位性（それは統計的に有意ではなかった）にあるのではなく、制御可能性と監査可能性にあると主張している。知覚と推論を分離し、中間的な属性を公開することで、オペレーターは以下のことが可能となる：

• 視覚コンポーネントを再学習することなく、失敗モードを診断し、意思決定ポリシー（例：リスク閾値）を調整する。
• 拡散的かつランダムな監査ではなく、誤差が空間的にクラスタリングしている特定の「誤差ポケット」に対して、人間によるレビューを優先させる。
• 緊急管理ワークフローへの統合に適した、意思決定に直結する監査可能な出力を作成する。

著者らは、本パイプラインはドア・ツー・ドアの検査に代わるスケーラブルな選択肢を提供するものの、特に修理後の状況のように視覚的な手がかりが微細になる場合において、基礎となる画像の品質に制約を受けると結論付けている。今後の課題として、複数地域での検証および時系列遷移モデリングが示唆されている。