技術要約: DA-MSRNet

問題提起

クラック（ひび割れ）のセグメンテーションはインフラの健全性モニタリングにおいて極めて重要であるが、クラック固有の特性（細長く、まばらで、不連続であり、マルチスケールであること、またコントラストが低く境界が曖昧であること）により、大きな課題に直面している。局所的な詳細を捉える畳み込みニューラルネットワーク（CNN）と、グローバルなコンテキストを捉えるMambaモデルを組み合わせたデュアルブランチ・アーキテクチャは有望な方向性であるが、既存の手法には主に以下の3つの限界がある：

1. 空間的不整合（Spatial Misalignment）: ヘテロジニアスなブランチ（CNNとMamba）は、受容野や応答分布の違いにより空間的な不整合が生じやすく、融合時に境界の変位や構造の断裂を引き起こす。
2. 不完全な再構成（Incomplete Reconstruction）: デコーダが、連続的なマルチスケール構造と微細な境界詳細を同時に復元できないことが多く、その結果、微細なクラックの見落としや中心線の断裂が生じる。
3. 不十分な教師あり学習（Insufficient Supervision）: リージョンベースの教師あり学習だけでは、境界の変位、中心線の断裂、および検出漏れに対する制約が限定的であり、クラック構造のトポロジー的な感度に対処できない。

手法

著者らは、空間的整合、マルチスケール再構成、および協調的教師あり学習を通じてこれらの限界に対処するために設計された、デュアルブランチCNN-MambaネットワークであるDA-MSRNetを提案する。

1. ネットワーク・アーキテクチャ

ネットワークは、デュアルブランチ・エンコーダ、融合モジュール、および再構成デコーダで構成される：

• 空間詳細ブランチ (SDB): 局所的なテクスチャ、境界、および微細な幾何学的特徴を抽出するために、CrossBlockユニット（水平、垂直、および正方形の畳み込みパスと適応型重みを含む）を利用する。
• CNN-Mamba コンテキストブランチ (CMCB): 深いステージで長距離依存関係とクラックの軌跡をモデル化するために、浅いステージでのCrossBlockユニットとVSSBlockユニット（Visual State-Spaceモデルに基づく）を組み合わせる。
• 変形可能アライメントおよびブランチ融合ガイダンスモジュール (DA-BFGM): このモジュールは、ブランチ間の空間的不整合に対処する。空間的特徴とコンテキスト的特徴の結合表現から動的なオフセット場を予測する。これらのオフセットは、コンテキスト的特徴を空間的特徴と融合させる前に、デフォーマブル畳み込みを介してキャリブレーションするために適用され、クラック位置における正確な対応を確保する。
• マルチスケール特徴再構成モジュール (MSFRM): デコーダ内に位置し、クラック構造を段階的に再構成する。以下を統合する：
  • マルチブランチ畳み込みブロックスタック (MBC): マルチスケールおよびマルチディレクショナルな特徴を捉えるために、局所的、拡張（dilated）、および方向的（非対称）な畳み込みを使用する。
  • チャネル・空間アテンション (CSA): 特徴応答を再調整し、クラック領域を強調する。
  • エッジ強化ブランチ (EGB): 局所的な境界情報を補完する。
  • 加重残差融合 (WRF): 入力特徴を強化されたブランチと組み合わせ、空間的詳細を保持しながら再構成を強化する。

2. 教師あり戦略

著者らは、4つの側面を共同で最適化する統一損失関数である**境界・トポロジー協調的教師あり学習 (BTCS)**を導入している：

• リージョンの一貫性: バイナリ・クロスエントロピー（BCE）およびDice損失によって強制される。
• 境界のローカライゼーション: 正解の境界付近の領域に教師あり学習を集中させるBoundary-region IoU Lossを通じて対処する。
• トポロジーの連結性: 中心線の連続性を維持するために、予測されたスケルトンと正解のスケルトンの一致を制約するソフトclDice Lossを通じて保持される。
• 検出漏れの抑制: 微細で低コントラストなクラックの再現率（Recall）を向上させるため、偽陰性を非対称に罰するTversky Lossによって処理される。

主な貢献

1. DA-BFGM: 融合前にコンテキスト的特徴をキャリブレーションするための動的なオフセットを予測するモジュールであり、ヘテロジニアスなCNNブランチとMambaブランチ間の空間的応答の相違を緩和する。
2. MSFRM: マルチブランチ畳み込み、チャネル・空間の再調整、エッジ強化、および加重残ら差融合を用いて、微細で不連続かつ弱い応答を持つクラック構造を段階的に復元するデコーダモジュール。
3. BTCS: リージョンの重複、境界のローカライゼーション、スケルトンの連結性、および検出漏れを共同で制約し、リージョンの復元と構造的完全性のバランスをとる協調的教師あり学習戦略。
4. 包括的な評価: 提案されたコンポーネント（DA-BFGM、MSFRفرم、BTCS）およびそれらのサブモジュール（例：デフォーマブル・アライメント、ソフトclDice、Tversky loss）の有効性を検証するために、3つの公開データセット（DeepCrack、CrackTree260、CFD）に対して広範な実験とアブレーション研究を実施した。

実験結果

DA-MSRNetの性能は、3つのデータセットにおいて7つの比較モデル（U-Net、DeepCrack、DBCNetを含む）に対して評価された：

• DeepCrack: DA-MSRNetは、mIoU 88.11%、Recall 87.98%、F1スコア **88.02%**を達成し、mIoUにおいて2番目に優れたモデル（DBCNet）を1.29%上回った。
• CrackTree260: モデルはmIoU 85.97%、Recall **87.14%**を達成し、細長く枝分かれした構造の処理において優れた性能を示した。
• Crack Forest Dataset (CFD): DA-MSRNetはmIoU 82.26%、Recall **85.04%**に達し、限られたトレーニングデータと複雑な背景の下での堅牢性を示した。
• アブレーション研究: 各コンポーネント（DA-BFGM、MSFRM、BTCS）およびそれらのサブモジュール（例：デフォーマブル・アライメント、ソフトclDice、Tversky loss）が最終的な性能にプラスに寄与していることが実験により確認され、完全なモデルが精度と再現率の最高のバランスを実現した。

意義と主張

本論文は、明示的な空間的整合（DA-BFGM経由）、デコーダ指向の構造再構成（MSFRM経由）、および境界・トポロジー協調的教師あり学習（BTCS経由）を統合することにより、DA-MSRNetがクラック・セグメンテーションの特定の問題を効果的に解決すると主張している。結果は、この統合的なアプローチが、既存のハイブリッドCNN-Mambaアーキテクチャよりも微細な構造の復元を改善し、トポロジー的な連続性をより良く維持できることを示唆している。

著者らは、モデルが高い精度を達成している一方で、その計算コスト（パラメータ数 45.96 M、GFLOPs 93.61）がエッジへのデプロイにおいて課題となることを認めている。彼らは、今後の研究として、モデルの軽量化、および多様な撮像条件下での実地環境での検証に焦点を当てる予定であると述べている。本研究は、提案された手法が、特に構造的連続性と境界の正確性が極めて重要となる場面において、微細なクラック・セグメンテーションのための堅牢なソリューションを提供することを結論づけている。