技術的サマリー：基礎の亀裂（CiF）

問題定義

自動化された構造物の健全性モニタリングは、壊滅的なインフラ事故の防止に不可欠ですが、この分野の進展は、極端なデータ不足と土木工学の文脈に特有のアルゴリズム的限界という 2 つの主要な要因によって深刻に阻害されています。

1. データ不足: 高品質なピクセルレベルの欠陥セグメンテーションには、無害な影と微細な劣化を区別するための専門家による注釈付けが必要であり、クラウドソーシングは実用的ではありません。その結果、既存のデータセットは小規模、低解像度、または分類や意味的セグメンテーションに限定され、インスタンスセグメンテーションには対応していません。
2. アルゴリズム的障壁: 土木インフラの材料（例：コンクリート）は単色で平坦であることが多く、モデルはテクスチャではなく形状に依存せざるを得ず、これは深層学習の既知の弱点です。さらに、亀裂などの欠陥は、細く、高度に非凸な構造であり、多くの現代のアーキテクチャに内在する「中心バイアス」と矛盾します。
3. ゼロショットの錯覚: 大規模なインターネットから収集されたデータセット（例：COCO、LAION）でトレーニングされたプロンプト可能な基盤モデル（FMs）や視覚言語モデル（VLMs）の登場にもかかわらず、高密度な画像理解は解決済みであるという証明されていない仮定が存在します。本論文は、これらのモデルがインフラ点検に必要な特定のスケールや特徴のバリエーションに対して一般化できないと主張しています。

手法とデータセット構築

著者らは、AI 研究者と土木工学の専門家（Sund & Bælt や Trafikverket などのパートナーを含む）との協力を通じて 5 年かけてキュレーションされた**「基礎の亀裂（CiF）」**というデータセットを導入します。

データ取得

このデータセットは、主に橋梁から取得された約15 万枚の高解像度画像（ネイティブ解像度の平均：16.66 メガピクセル）で構成されています。取得戦略はハイブリッドアプローチを採用しています：

• 野外データ（26%）: 民生用および産業用カメラを用いた定期点検中に収集され、照明、天候、視点の多様性を捉えています。
• 制御された点検セットアップ: ドローン支援による 2 つのモードでの取得：
  • スキャンセットアップ: ドローンが表面に平行に飛行し、GPS/RTK 登録により大規模なカバレッジを実現します。
  • 高解像度セットアップ: ドローンが静止してホバーし、拡大された画像の構造化グリッドを撮影し、局所領域のモザイク再構築を可能にします。

注釈とクラス

• インスタンスレベルの注釈: すべての欠陥は、ネイティブ解像度でポリゴンマスクとして注釈付けされており、大きな欠陥とともに、数ピクセル幅の髪の毛のような亀裂などの微細な詳細を保持しています。
• クラス: 分野の専門家によって 6 つのカテゴリが定義されました：
  1. 亀裂（Crack）: 線状の連続性の欠如。
  2. 網目状亀裂（Net-Crack）: 相互接続された多角形パターン（アリゲーター状亀裂/地図状亀裂）。
  3. 析出物を伴う亀裂（Crack with Precipitation）: 鉱物沈殿物（白華）を伴う亀裂。
  4. 剥離（Spalling）: 表面材料の剥離。
  5. 錆（Rust）: 鉄筋の酸化。
  6. 藻類（Algae）: 生物学的な表面成長。
• 品質管理: パイロットフェーズ、バッチ処理、2 段階の QA システム（ベンダー社内のチェック＋社内スポットチェック）を含む厳格なパイプラインにより、ラベルの正確性が保証されます。曖昧なサンプルは専門家と協議してガイドラインを精緻化するために選別されます。

データセットバリエーション

• フルバリエーション: 12,896 枚のネイティブ高解像度画像（平均 16.66 メガピクセル）。
• タイル化バリエーション: フルバリエーションから派生した 148,642 個のパッチ（1024×1024）で、標準的なビジョンバックボーンに適しています。

評価と結果

著者らは、CiF データセット上で教師ありベースラインとゼロショットの基盤モデルの両方を評価しました。

教師ありベースライン

最先端モデル（YOLOv11/v26、Mask DINO、RF-DETR、EoMT）は、トレーニング分割上で完全にファインチューニングされました。

• 物体検出: モデルは中程度の成功を収め、バウンディングボックスの mAP@50:95 は約**35%**に達しました。藻類（約 59% の mAP）のような高コントラストの欠陥では性能が良好でしたが、網目状亀裂や析出物を伴う亀裂（20〜30% の mAP）のような複雑な構造的欠陥では性能が大幅に低下しました。
• インスタンスセグメンテーション: 性能は劇的に低下しました。微細な欠陥（例：亀裂）に対するマスクの mAP は一桁に落ち込みました。最高性能のモデル（DINOv3 バックボーンを備えた EoMT）でも、セグメンテーションタスクでは約25% の mAPで頭打ちとなりました。

基盤モデルの評価（ゼロショット）

論文は、ファインチューニングなしでプロンプト可能なモデル（SAM3）と視覚言語モデル（Qwen3-VL）をテストしました。

• ゼロショットの失敗: 最大 2350 億パラメータの Qwen3-VL は、平均バウンディングボックス mAP がわずか**2.4%**であり、構造的異常を特定できませんでした。
• プロンプト可能なモデルの限界: 真の正解（オラクル）のバウンディングボックスやポイントプロンプトを提供された場合でも、SAM3 は微細な欠陥に苦戦しました。「亀裂」クラスにおいて、5 つのオラクルポイントを用いた SAM3 はわずか33.9% の mAPしか達成できず、テキストプロンプトを用いた場合の性能は無視できるほどでした。
• 結論: 現在の基盤モデルは、土木インフラの欠陥セグメンテーションに必要な特定の事前知識を欠いています。

主要な貢献

1. CiF データセット: 現在までに最大かつ最も詳細な土木インフラのインスタンスセグメンテーションデータセットであり、約 15 万枚の高解像度画像と約 25 万枚の微細なマスクを特徴としています。
2. ベンチマーク: 現在の視覚 AI の限界を露呈する厳密な分析。このデータセットは、ドメイン監督を備えた専門モデルでさえ約 25% の mAP で頭打ちになり、ゼロショットの基盤モデルがほぼ完全に失敗するベンチマークとして機能します。
3. 盲点の特定: 本論文は、建築環境における高密度な画像理解が未解決の問題であることを実証し、インターネット規模の事前トレーニングが専門的で安全上重要なドメインに対して十分であるというパラダイムに挑戦しています。

意義と主張

本論文は、CiF が土木インフラの点検を現代の視覚 AI にとってのオープンで根本的な課題として確立したと主張しています。著者らは、主にインターネット画像でトレーニングされた現在の「基盤モデルパラダイム」は、現実世界のインフラに適用される際に「亀裂」を含んでいると論じています。

その意義は、完璧な解決策の即時展開にあるのではなく、重要なギャップの暴露にあります：

• 自動化された構造物の健全性モニタリングは、現在の最先端モデルではまだ解決されていません。
• この分野では、単に大規模な事前トレーニングに依存するのではなく、形状に基づく推論、極端なスケール変化、低テクスチャ環境を処理できるアーキテクチャの開発へと移行する必要があります。
• このデータセットをオープンソース化することで、著者らはゼロショット一般化の「錯覚」を超え、物理的環境を真に守る視覚 AI の開発を促進することを目指しています。

本論文は将来の解決策については控えめに述べており、データセットをさらにスケーリングすることが役立つ可能性はあるものの、これらの失敗の根本原因（アーキテクチャ的かデータ駆動型か）は未解決の問いであり、現在、このような大規模で専門家による注釈付きデータセットを取得する経済的コストは prohibitive（許容しがたいほど高い）であると指摘しています。