技術要約：UAV画像から意味論的に注釈された3Dモデルへ

問題提起

無人航空機（UAV）フォトグラメトリは、インフラ点検における標準的な手法であり、高重複（70〜90%）の画像セットを生成し、それらを3Dモデルへと変換する。しかし、これら膨大な画像セットを実用的なエンジニアリングの知見へと変換するには、主に3つの課題が存在する：

1. 限定的な意味論（Semantics）: 従来のディープラーニングによる検出器は、事前学習された欠陥カテゴリのみを認識するクローズドセットの仮定の下で動作する。これらは、オープンボキャブラリーによるコンポーネントレベルの意味理解（例：荷重を支えるガーダー上の亀裂とパラペット上の亀裂を区別すること）を行う能力を欠いている。
2. VLMのハルシネーションと冗長性: ビジョン・ランゲージ・モデル（VLM）はオープンボキャブラリーの能力を提供する一方で、重複率の高い数千枚のUAV画像を個別に適用すると、「ハルシネーション（存在しない欠陥の捏造）」が発生し、計算コスト（トークン消費量）が膨大になる。
3. 構造的コンテキストの欠如: 汎用モデルは、正確な状態評価およびメンテナンスの意思決定に不可欠な、特定の構造部材への知見の紐付けに失敗することが多い。

手法

本論文では、高重複のUAV画像を、インタラクティブに注釈された意味論的3Dモデルへと変換する「キーポイント誘導型VLMフレームワーク」を提案する。このワークフローは以下の4つのステージで構成される：

1. 概要および入力

システムは、高重複のUAV画像セット（$I$）と、再構築された3Dモデル（$G$）上の点検重要箇所を示す専門家指定のキーポイント集合（$K$）を取り込む。出力は、構造化された注釈を含む意味論的に注釈された3Dモデル（$M_{sem}$）である。

2. キーポイント誘導型の画像選択

すべての画像を分析する代わりに、本フレームワークは飛行ジオメトリに基づき、各キーポイントに対してコンパクトなマルチビュー・クラスターを選択する：

• 座標変換: カメラ位置とキーポイントを、共通のメートル基準フレーム（UTM）に変換する。
• レイ・スフィア交差（Ray-Sphere Intersection）: 各画像を視線（ビューイング・レイ）として抽象化する。キーポイント $k_j$ に対して、半径 $\tau$ の球体を定義する。視線がこの球体と交差する場合に、その画像を選択する。
• 適応型半径: 半径 $\tau$ は、固定値ではなく、飛行の空間サンプリング密度（$\bar{\delta}$）から導出される（$\tau = \alpha \bar{\delta}$）。これにより、飛行速度やキャプチャ率に適応した選択が可能となる。
• 結果: 特定のキーポイントを複数の角度から観察している最も情報量の多いビューのみが保持され、冗長または無関係な画像がフィルタリングされる。

3. 構造化プロンプトを用いたマルチビューVLM解析

選択された画像クラスターは、APIを介して汎用VLM（例：GPT-5.5、Qwen3.7-plus）によって共同で分析される。

• 共同推論: クラスター内のすべての画像が単一のクエリに投入される。これにより、VLMは構造的コンテキストを認識し、コンポーネントに対する欠陥の位置関係について推論することができる。
• 構造化プロンプティング: プロンプトには以下が含まれる：
  • ロール指定（インフラ点検のエキスパート）。
  • ドメイン知識（ハルシネーションを減らすため、水濡れや影などの偽陽性を明示的にリストアップ）。
  • 出力形式の制約（機械判読可能なJSON形式）。
• 出力: VLMは、欠陥名、説明、コンポーネントレベルの場所、深刻度、メンテナンスの提案、および欠陥インスタンスの画像空間上のローカライゼーションを含むタプルを返す。

4. 意味論的注釈とインタラクティブな可視化

VLMの出力は、ジオレファレンスされた3Dモデルと融合される。注釈はキーポイントの3D座標にアンカーされる。インタラクティブなビューアにより、検査員はモデル内をナビゲートし、キーポイントをクリックすることで、構造化されたレポートの閲覧や、分析に使用された根拠画像の取得が可能となる。

主な貢献

1. トレーニングフリーのフレームワーク: タスク固有の学習やファインチューニングを必要としないVLMベースの点検パイプライン。プロンプトの内容を変更するだけで、新しいシナリオ（例：橋梁からパゴダへ）への適応が可能である。
2. キーポイント誘導型の選択メカニズム: 情報量の多いマルチビュー・クラスターにVLMの推論を制限するための幾何学的手法。このアプローチは、網羅的な解析と比較して、トークン消費量とハルシネーションのリスクを大幅に削減しながら、検出性能を向上させる。
3. コンポーネントレベルの意味理解: 本フレームワークは、欠陥の種類だけでなく、それが存在する特定の構造部材を特定し、3D空間コンテキストに基づいた実行可能なメンテナンス提案を生成する。

実験結果

本フレームワークは、3つの実験を通じて検証された：

• ケーススタディ（リシンシャ橋）: 1,209枚の画像データセットにおいて、本フレームワークは入力を44枚（3.6%）に削減し、5つのキーポイントの周囲にグループ化した。VLMは欠陥（例：コンクリート脚部の剥離）を正常に特定し、それらを特定のコンポーネントにローカライズし、メンテナンスの提案を行った。
• クロスシナリオ汎用性（龍風塔）: 異なる材料と構造形態を持つ歴史的なパゴダに本フレームワークを適用した。プロンプトを変更する（コンポーネントの語彙と偽陽性の例を変更する）だけで、再学習やコード変更なしにゼロショット転移を実現した。
• 定量的評価（1,581枚の画像を含む橋梁データセット）:
  • 効率性: キーポイント誘導型の選択により、解析対象の画像数を**95.00%削減（1,581枚から79枚へ）し、推定トークン消費量を95.00%**削減した。
  • 性能: 適合率（Precision）は63.72%から86.17%に向上し、再現率（Recall、選択されたサブセットに対して算出）は53.59%から79.27%に向上した。
  • ハルシネーション抑制: 誤予測の減少（115件から13件へ）は、冗長で情報の少ないビューを除去することが、VLMのハルシネーションを効果的に抑制することを示している。

意義と主張

本論文は、本フレームワークが以下の点において、老朽化するインフラの状態評価に対するより正確かつ効率的なルートを提供すると主張している：

• UAVフォトグラメトリを、単なる幾何学的モデルから、コンポーネントレベルのエンジニアリング意味論を運ぶ媒体へと昇華させる。
• 単に「どこに」欠陥があるかだけでなく、「それが何か」、その深刻度、および推奨されるアクションを提示する、ヒューマン・イン・ザ・ループ型の意思決定支援ツールを提供する。
• 高重複データセットにおける冗長性の除去がVLMの性能にとって極めて重要であることを示している。すなわち、網羅的な解析よりも、より少数の高品質なビューを解析する方が、精度が高くコストも低い。

著者による限界事項の認容:

• 本フレームワークは、既存の高品質なキーポイント（竣工図書や専門家の調査によるもの）に依存しており、未知の環境においてキーポイントを自動的に検出するものではない。
• カバレッジはキーポイントの周辺領域に限定されており、これらのエリア外にある欠陥は見逃される可能性がある。
• VLMの推論プロセスは完全には追跡可能ではないため、メンテナンスの決定を下す前に資格を持つエンジニアによる確認が必要である。