技術要約：CNNを用いた石造建築の亀裂検出における実データと合成データのバランス調整

問題提起

石造建築物の亀裂の特定は、建物の健全性を監視する上で極めて重要な要素であり、損傷や事故を未然に防ぐための構造ヘルスモニタリング（SHM）において、早期警戒指標として機能する。深層学習（DL）、特に畳み込みニューラルネットワーク（CNN）とセマンティック・セグメンテーションは、自動化された亀裂検出のためのスケーラブルなソリューションを提供するが、これらのモデルは大規模かつ多様なデータセットに大きく依存している。複雑な表面を持つ石造建築などの実世界のデータを十分に収集することは、時間と労力を要する。また、公開されているデータセットは、厳密な研究に求められる特異性に欠ける場合が多い。既存の合成データ生成手法にはトレードオフが存在する。例えば、敵対的生成ネットワーク（GAN）は高精度なテクスチャを生成できるが、ドメイン専門家による監督が不足していることが多く、背景構造に対する亀裂の表現が非現実的になる傾向がある。一方で、3Dモデリング手法は高度な専門知識を必要とし、審美的な洗練さに欠ける場合がある。

手法

著者らは、限られた実データセットを補完するために、合成亀裂画像を生成することでデータ不足に対処するパイプラインを提案している。本手法は以下の4つの段階で構成される：

1. データ取得:

   • 実データ: ボローニャおよびその周辺地域の建物から、標準的なスマートフォン（Oppo Reno 6 Pro、iPhone 12 & 13）を用い、日中の条件下で収集されたカスタムの石造亀裂画像データセット。
   • 合成データ: 高解像度の石造背景画像上に半透明の亀裂マスクをオーバーレイするための、Tkinter GUIを備えたカスタムPythonベースのツールを開発した。このツールにより、制御された空間配置、任意の回転、およびスケールの整合性を維持しながら、書き出し時の元の解像度を保持することが可能となる。

2. データ前処理:

   • 解像度を標準化するため、生画像を $224 \times 224$ のパッチにクロップした。
   • ピクセル単位のアノテーションを通じて、グランドトゥルース（正解）マスクを作成した。
   • トレーニングセットを拡張するため、データオーグメンテーション（反転および90度回転）を適用した。
   • 事前学習済みのバックボーンとの互換性を確保するため、ImageNetの統計量を用いて画像を正規化した。

3. モデルアーキテクチャ:

   • スキップ接続を備えたU-Netエンコーダ・デコーダアーキテクチャを採用した。
   • 7種類の異なるバックボーンアーキテクチャを評価した：Custom U-Net、VGG16、MobileNetV2、ResNet50、DenseNet169、InceptionV4、およびDeepLabV3。
   • ほとんどのバックボーンには事前学習済みの重みを利用した。

4. 実験設定:

   • 実データセットを、トレーニング（60%）、検証（20%）、テスト（20%）のセットに分割した。
   • 合成データは、最も性能の高いモデルのトレーニングセットにのみ導入された。
   • 3種類の損失関数（F1-Loss、Focal Loss、およびCross-EntropyとDice Lossの組み合わせであるCED）をテストした。
   • トレーニングは、早期停止（early stopping）を伴う最大100エポックに制限された。

主な貢献

• カスタムデータセットの作成: 研究チームは、DLの効率性を厳密にテストするために、材料の複雑さを考慮して選択された、特定の石造亀裂画像のデータセットを収集およびラベル付けした。
• 合成生成ツール: 著者らは、亀裂マスクを石造のテクスチャ上に重ね合わせる、簡略化されたカスタム画像処理手法を開発した。複雑なGANや3Dレンダリングとは異なり、このアプローチでは、特定のパラメータを用いて亀裂を制御された形で挿入できる。
• データ比率の評価: 実データのみを用いたベースラインの性能を達成または上回るために、合成データによって拡張された際に必要となる最小限の実データの量を決定するための評価フレームワークを提案している。

結果

実験は2つのフェーズで行われた：

1. モデル選定: 実データのみを使用し、様々なU-Netアーキテクチャを比較した。InceptionV4が最も優れた性能を示し、F1スコア74.7%、平均IoU 78.69%（F1-Loss使用）を達成した。このモデルが以降の実験のベースラインとなった。

2. 合成データと実データのバランス: InceptionV4モデルを、合成データと実データの比率を変えて（100%合成から100%実データまで）再学習させた。

   • 100%合成: 合成トレーニングと実テストの間のドメインギャップにより、性能は低かった（F1 31.6%、mIoU 57.68%）。
   • 20/80シナリオ（合成20% / 実データ80%）: この構成が最高の性能を発揮し、F1スコア76.82%、**平均IoU 80.36%**を達成した。
   • 80/20シナリオ（合成80% / 実データ20%）: このシナリオは、実データのみの場合のベースラインと同等の結果、すなわちF1スコア73.48%、**平均IoU 78.17%**を達成した。

結果は、合成データで拡張された際に、適度な実データの追加を組み合わせることで、実データのみでトレーニングする場合よりも高い性能を得られることを示している。逆に、80%の合成データと20%の実データで構成されたデータセットは、100%の実データを用いた場合の性能に匹敵する。

意義および主張

本論文は、提案手法が、亀裂検出の精度を高めつつ、データ収集およびラベル付けの労力を大幅に削減できる可能性を示していると主張している。単純なオーバーレイツールを活用することで、複雑な生成モデルを使用することなく、実データと合成データのバランスの取れた組み合わせが、セグメンテーション指標（F1スコアおよびmIoU）を実データのみを使用した場合よりも向上させることを著者らは示している。具体的には、本研究は、20/80シナリオ（合成/実データ）が、実データのみのベースラインを上回るだけでなく、わずかに凌駕することに焦点を当てており、合成データが石造建築の亀裂検出タスクにおいて、限られた実世界のデータセットを効果的に拡張できることを示唆している。