Molten mark classification using multi-scale directional cross-scale attention fusion

기술 요약: 다중 스케일 방향성 교차 스케일 어텐션 융합을 이용한 용융 흔적(Molten Mark) 분류

문제 정의
전기 화재 조사에서 단락흔(short-circuit beads, 전기 아크에 의해 발생)과 열흔(heat marks, 외부 화염에 의해 발생)을 구별하는 것은 화재 원인 규명 및 책임 소재 파악에 있어 매우 중요하다. 전통적인 방법은 전선 단면의 금속 조직 분석에 의존하는데, 이는 고가의 장비와 절단, 연마와 같은 상당한 수동 전처리 작업 및 시간 소모적인 분석을 요구한다. 최근 합성곱 신경망(CNN)을 이용한 딥러닝 접근 방식이 유망한 결과를 보여주고 있으나, 본질적인 한계에 직면해 있다. CNN은 고정된 크기의 컨볼루션 커널과 국소적 수용 영역(receptive field)을 사용하므로, 정확한 분류에 필요한 국소적 질감(예: 표면 광택)과 전역적 형태학적 특징(예: 경계의 선명도) 사이의 복잡한 상호작용을 포착하는 데 효과적이지 않다. 또한, 실제 화재 현장의 이미지는 퇴화(블러, 노이즈, 오염)를 겪는 경우가 많으며, 고정된 수용 영역을 가진 모델은 이러한 환경에서 성능을 유지하는 데 어려움을 겪는다.

방법론
저자들은 Swin Transformer 백본과 방향성 교차 스케일 어텐션(Directional Cross-Scale Attention, DCSA) 모듈로 강화된 변형된 양방향 특징 피라미드 네트워크(BiFPN) 넥(neck)을 통합한 새로운 분류 아키텍처를 제안한다.

1. 백본 (다중 스케일 추출): 시스템은 Swin Transformer를 사용하여 네 가지 서로 다른 해상도 레벨($C_1$ ~ $C_4$)에서 계층적 시각적 특징을 추출한다. 이를 통해 모델은 고해상도에서는 미세한 국소 질감 세부 사항을, 저해상도에서는 전역적인 형태학적 문맥을 포착할 수 있다. 이 특징들은 $1\times1$ 컨볼루션을 통해 공통 채널 차원($d=256$)으로 투영된다.
2. 넥 (DCSA 강화 BiFPN): 저자들은 BiFPN의 융합 노드에서 표준 스칼라 가중 합산 대신 DCSA 모듈을 도입한다. 이 모듈은 교차 스케일 의존성에 따라 특징을 적응적으로 재보정하면서 양방향 특징 융합(top-down 및 bottom-up)을 수행한다.
   • Top-Down 경로: 거친 스케일에서 미세한 스케일로 전역적 문맥을 전파한다. DCSA 모듈($DCSA_{td}$)은 현재 스케일의 특징에 채널 어텐션(결합된 입력의 전역 평균 풀링 기반)과 공간 어텐션(교차 스케일 유사성 및 공간 맵 생성기 기반)을 적용한다. 이후 게이트형 잔차 메커니즘(gated residual mechanism)이 어텐션이 적용된 특징을 업샘플링된 거친 특징과 적응적으로 융합하여 전역 문맥의 전파 강도를 조절한다.
   • Bottom-Up 경로: 미세한 스케일에서 거친 스케일로 국소적 세부 사항을 전파한다. $DCSA_{bu}$ 모듈은 다운샘플링된 bottom-up 특징, 현재 스케일의 백본 특징, 그리고 top-down 중간 특징이라는 세 가지 입력을 처리한다. 이 모듈은 채널 어텐션을 위한 공유 FC 네트워크와 각 공간 위치에서 가장 정보가 많은 입력을 선택하기 위한 SoftMax 정규화 공간 어심 메커니즘을 사용하여 중복된 특징 축적을 방지한다.
3. 분류 헤드: 네 가지 스케일의 융합된 특징들은 전역 평균 풀링(GAP)을 통해 집계되고, 연결(concatenation)된 후 레이어 정규화, ReLU, 드롭아웃이 포함된 완전 연결 층(1024 $\to$ 512 $\to$ 256)의 융합 네트워크를 거쳐 이진 출력을 위한 선형 분류기로 전달된다.

주요 기여

• 새로운 아키텍처: 본 연구는 용융 흔적 분류를 위해 Swin Transformer와 BiFPN을 이용한 다중 스케일 특징 융합을 적용한 첫 번째 사례이다.
• DCSA 모듈: 저자들은 BiFPN 노드에서 표준 스칼라 가중치를 방향 인지형 채널 및 공간 어텐션으로 대체하는 DCSA 모듈을 제안한다. 이를 통해 네트워크는 서로 다른 해상도 레벨의 특징에 따라 분류에 유효한 채널과 공간 영역을 선택적으로 강조할 수 있으며, 이는 모든 채널과 공간 위치를 동일하게 취급하는 기존 BiFPN의 한계를 해결한다.
• 강건한 데이터셋: 연구는 실험실에서 생성된 샘플에 실제 전기 화재 현장에서 수집된, 종종 오염되거나 퇴화된 용융 흔적 데이터셋을 증강함으로써 실용성을 높였다.
• 포괄적 검증: 제안된 방법은 광범적인 비교 실험, 어블레이션 연구(ablation studies), 그리고 정성적 분석(GradCAM 및 t-SNE)을 통해 검증되었다.

실험 결과
제안된 방법은 18,750개의 훈련 이미지와 4,905개의 테스트 이미지(실험실 및 실제 화재 현장 데이터 포함)로 구성된 데이터셋에서 평가되었다.

• 표준 데이터셋 성능: 제안된 모델은 F1-score 0.9613과 매튜스 상관 계수(MCC) 0.9257을 달성했다. 이는 가장 우수한 성능을 보인 베이스라인(Swin Transformer) 대비 각각 2.26 및 4.02 퍼센트 포인트 향상된 수치이다. 모델은 균형 잡힌 정밀도(0.9633)와 재현율(0.9593)을 유지하며 CNN 기반 모델(VGG16, EfficientNet) 및 기타 Transformer 변형(ViT, DeiT)보다 뛰어난 성능을 보였다.
• 퇴화에 대한 강건성: 퇴화된 테스트 데이터셋(블러, 노이즈, 압축 시뮬레이션)에서 제안된 모델은 **2.88%**의 낮은 정확도 감소율을 보이며 탁월한 강건성을 나타냈다. 반면, CNN 기반 모델들은 평균 약 15.75%의 정확도 감소를 겪었으며, 미세한 질감에 의존함에 따라 정밀도가 급격히 하락하는 모습을 보였다. 제안된 모델은 0.8681의 MCC를 유지하며 베이스라인들을 크게 앞질렀다.
• 어블레이션 연구: Top-down 또는 Bottom-up DCSA 경로를 제거하거나 채널/공간 어텐션을 분리했을 때 성능 저하가 발생하였으며, 이는 최적의 성능을 위해 교차 스케일 조건화 및 양방향 흐름의 완전한 통합이 필수적임을 확인시켜 준다.
• 정성적 분석: GradCAM 시각화 결과, 제안된 모델은 용융 흔적 영역에만 독점적으로 집중하며, 베이스라인 모델들이 실패했던 배경 간섭(예: 격자선, 그을음)을 효과적으로 억제함을 보여주었다. t-SNE 시각화는 모델이 클래스 내에서 미세한 서브 클러스터를 학습하여 다양한 전선 유형과 형태를 구분해 냄을 드러냈다.

의의
본 논문은 제안된 방법이 다중 스케일 융합을 통해 국소적 특징과 전역적 특징을 효과적으로 활용함으로써 기존 CNN 기반 접근 방식의 결정적인 한계를 해결한다고 주장한다. DCSA 모듈을 도입함으로써, 이 방법은 한 스케일에서는 두드러지지만 다른 스케일에서는 미묘할 수 있는 판별적 단서들을 선택적으로 강조한다. 결과는 이 접근 방식이 최첨단(SOTA) 정확도를 달성할 뿐만 아니라, 이미지 품질이 저하되는 경우가 많은 실제 화재 조사 시나리오에 필요한 강건성을 제공한다는 것을 입증한다. 본 연구는 이 아키텍처가 노동 집약적인 금속 조직 분석을 대체할 수 있는 실행 가능한 자동화된 대안을 제공하며, 잠재적으로 전기 화재 원인 규명의 효율성과 신뢰성을 개선할 수 있음을 시사한다.