Molten mark classification using multi-scale directional cross-scale attention fusion

技術要約：マルチスケール方向性クロススケール・アテンション融合を用いた溶融痕分類

問題提起
電気火災の調査において、短絡ビード（電気アークによって生じるもの）と熱痕（外部の火炎によって生じるもの）を区別することは、火災原因の特定および責任の所在を決定する上で極めて重要である。従来の手法は、電線の断面に対する金属組織学的分析に依存しており、これには高価な装置、大幅な手作業による前処理（切断、研磨）、および時間のかかる分析が必要となる。近年の畳み込みニューラルネットワーク（CNN）を用いたディープラーニング手法は有望ではあるものの、固有の限界に直面している。CNNは固定サイズの畳み込みカーネルと局所的な受容野を利用するため、正確な分類に必要な複雑な局所的テクスチャ（例：表面の光沢）とグローバルな形態学的特徴（例：境界の鋭さ）の相互作用を捉える能力において劣る。さらに、実際の火災現場の画像は劣化（ぼけ、ノイズ、汚染）が生じることが多く、固定受容野モデルは性能の維持が困難である。

手法
著者らは、Swin Transformerバックボーンに、**方向性クロススケール・アテンション（DCSA）**モジュールによって強化された改良型双方向特徴ピラミッドネットワーク（BiFPN）ネックを統合した、新しい分類アーキテクチャを提案している。

1. バックボーン（マルチスケール抽出）： 本システムは、Swin Transformerを採用して、4つの異なる解像度レベル（$C_1$から$C_4$）で階層的な視覚的特徴を抽出する。これにより、高解像度における微細な局所的テクスチャの詳細と、低解像度におけるグローバルな形態学的コンテキストの両方を捉えることが可能となる。これらの特徴は、$1\times1$畳み込みを介して共通のチャネル次元（$d=256$）に投影される。
2. ネック（DCSA強化型BiFPN）： 著者らは、BiFPNの融合ノードにおいて標準的なスカラー重み付き加算を用いる代わりに、DCSAモジュールを導入している。このモジュールは、クロススケール依存関係に基づいて特徴を適応的に再校正しながら、双方向の特徴融合（トップダウンおよびボトムアップ）を実行する。
   • トップダウン・パスウェイ： 粗いスケールから細かいスケールへとグローバルなコンテキストを伝播させる。DCSAモジュール（$DCSA_{td}$）は、チャネル・アテンション（結合された入力のグローバル平均プーリングに基づく）と空間アテンション（クロススケール間の類似性と空間マップ生成器に基づく）を適用し、現在のスケールの特徴を処理する。ゲート付き残差メカニズムにより、アテンション適用後の特徴とアップサンプリングされた粗い特徴を適応的に融合し、グローバル・コンテキストの伝播強度を制御する。
   • ボトムアップ・パスウェイ： 細かいスケールから粗いスケールへと局所的な詳細を伝播させる。DCSAモジュール（$DCSA_{bu}$）は、ダウンサンプリングされたボトムアップ特徴、現在のスケールのバックボーン特徴、およびトップダウンの中間特徴の3つの入力を処理する。これは、チャネル・アテンションのための共有FCネットワークと、各空間位置において最も情報量の多い入力を選択するためのSoftMax正規化空間アテンションを採用しており、冗長な特徴の蓄積を防ぐ。
3. 分類ヘッド： すべてのスケールからの融合特徴は、グローバル平均プーリング（GAP）を介して集約・結合され、層正規化、ReLU、ドロップアウトを備えた全結合層（1024 $\to$ 512 $\to$ 256）からなる融合ネットワークを通過した後、バイナリ出力のための線形分類器へと送られる。

主な貢献

• 新規アーキテクチャ： 溶融痕の分類に特化して、Swin TransformerとBiFPNを用いたマルチスケール特徴融合を適用した最初の研究である。
• DCSAモジュール： 著者らは、BiFPNノードにおける標準的なスカラー重み付けを、方向性を考慮したチャネルおよび空間アテンションに置き換えるDCSAモジュールを提案している。これにより、異なる解像度レベルの特徴に基づいた、分類に関連するチャネルと空間領域を選択的に強調することが可能となり、すべてのチャネルと空間位置を等価に扱う既存のBiFPNの限界を解決している。
• 堅牢なデータセット： 実験室で生成されたサンプルに、汚染や劣化が進んでいることが多い実際の電気火災現場から収集された溶融痕のデータセットを加えることで、実用性を高めている。
• 包括的な検証： 提案手法は、広範な比較実験、アブレーション研究、および定性的解析（GradCAMおよびt-SNE）を通じて検証されている。

実験結果
提案手法は、18,750枚の訓練画像と4,905枚のテスト画像（実験室データおよび実際の火災現場データの両方を含む）で構成されるデータセットを用いて評価された。

• 標準データセットにおける性能： 提案モデルは、F1スコア0.9613およびマシューズ相関係数（MCC）0.9257を達成した。これは、最高の性能を示したベースライン（Swin Transformer）と比較して、それぞれ2.26および4.02パーセントポイントの向上である。モデルはバランスの取れた適合率（0.9633）と再現率（0.9593）を維持し、CNNベースのモデル（VGG16、EfficientNet）や他のTransformerバリアント（ViT、DeiT）を上回った。
• 劣化に対する堅牢性： 劣化させたテストデータセット（ぼけ、ノイズ、圧縮をシミュレート）において、提案モデルは優れた堅牢性を示し、精度（Accuracy）の低下はわずか**2.88%**であった。対照的に、CNNベースのモデルは平均して約15.75%の精度低下を経験し、微細なテクスチャへの依存により適合率が崩壊することが多かった。提案モデルはMCC 0.8681を維持し、ベースラインを大幅に上回った。
• アブレーション研究： トップダウンまたはボトムアップのいずれかのDCSAパスウェイを除去した場合、あるいはチャネルまたは空間アテンションを分離した場合、性能の低下が見られた。これにより、最適な性能を得るためには、クロススケール・コンディショニングと双方向フローの完全な統合が不可欠であることが確認された。
• 定性的解析： GradCAMによる可視化は、提案モデルが溶融痕領域のみに焦効的に焦点を当て、ベースラインモデルが失敗した背景干渉（例：格子状の線、煤）を効果的に抑制していることを示した。t-SNE可視化は、モデルがクラス内の微細なサブクラスターを学習しており、多様な電線の種類や形態を判別できていることを明らかにした。

意義
本論文は、提案手法がマルチスケール融合を通じて局所的およびグローバルな特徴を効果的に活用することにより、既存のCNNベースのアプローチにおける決定的な限界に対処していると主張している。DCSAモジュールの導入により、一つのスケールでは顕著だが別のスケールでは微細な識別的手がかりを選択的に強調できる。結果は、このアプローチが最先端の精度を達成するだけでなく、画像品質が損なわれやすい実際の火災調査シナリオに必要な堅牢性を提供することを示している。本研究は、このアーキテクチャが、労働集約的な金属組織学的分析に代わる、実行可能で自動化された代替手段を提供し、電気火災原因究明の効率と信頼性を向上させる可能性があることを示唆している。