DeltaSeg: Tiered Attention and Deep Delta Learning for Multi-Class Structural Defect Segmentation

1. 연구 배경 및 문제 정의 (Problem)

구조물 (건물, 교량, 배수관 등) 의 시각적 검사를 통한 결함 분할 (Segmentation) 은 다음과 같은 고유한 도전 과제로 인해 기존 딥러닝 모델로는 해결하기 어렵습니다.

• 다양한 결함 유형과 스케일: 균열 (Crack), 박리 (Spalling), 부식 (Corrosion) 등 결함의 크기, 종횡비, 질감이 극단적으로 다릅니다. (예: 가는 균열 vs 넓은 박리 영역)
• 심각한 클래스 불균형 (Class Imbalance): 배경 픽셀이 대부분을 차지하는 반면, 일부 결함 클래스는 이미지 면적의 1% 미만을 차지합니다.
• 정밀한 경계 delineation: 결함의 존재 여부뿐만 아니라, 결함의 정확한 경계와 범위를 픽셀 단위로 식별하는 것이 유지보수 계획에 필수적입니다.
• 일반화 능력 부족: 다양한 구조물 (건물 외벽 vs 배수관 내부) 과 촬영 조건 (드론, 로봇, 고정 카메라) 에서 재학습 없이도 작동해야 합니다.

기존의 단일 주의 메커니즘 (Attention) 을 적용하거나 단순한 연결 (Concatenation) 을 사용하는 U-Net 기반 모델들은 이러한 복잡한 요구사항을 충족하지 못했습니다.

2. 제안 방법론: DeltaSeg (Methodology)

DeltaSeg 는 U-형 인코더 - 디코더 아키텍처를 기반으로 하되, 네트워크의 각 단계에 가장 적합한 계층적 주의 전략 (Tiered Attention Strategy) 과 Deep Delta Attention (DDA) 을 도입한 모델입니다.

핵심 구성 요소:

1. Depthwise Separable Convolution (DSC) 기반 인코더:

   • 계산 효율성을 높이기 위해 표준 합성곱 대신 DSC 를 사용합니다.
   • SE (Squeeze-and-Excitation) Attention: 인코더의 각 단계에 적용되어 채널 선택성 (Channel Selectivity) 을 강화하고, 노이즈가 많은 특징을 필터링합니다.
   • Hybrid Pooling & Dilated Convolution: 하위 단계에서는 풀링을 사용하지만, 상위 단계 (Stage 4-5) 에서는 풀링 대신 Dilated Convolution을 사용하여 공간 해상도를 유지하면서 수용 영역 (Receptive Field) 을 확장합니다.

2. ASPP Bottleneck with Coordinate Attention (CA):

   • ASPP (Atrous Spatial Pyramid Pooling): 다양한 스케일의 맥락 정보를 포착합니다.
   • Coordinate Attention: 인코더의 마지막 단계 (Bottleneck) 에 적용됩니다. SE 와 달리 공간적 위치 정보를 보존하며, 수평 및 수직 축으로 분해된 주의 메커니즘을 통해 장거리 공간 상호작용과 채널 의존성을 동시에 학습합니다. 이는 디코더로의 전환 시 공간적 재구성에 필수적입니다.

3. Deep Delta Attention (DDA) Skip Connections (핵심 혁신):

   • 기존 U-Net 의 단순 연결 방식이 가진 인코더 (저수준 특징) 와 디코더 (고수준 의미) 간의 시맨틱 갭 (Semantic Gap) 을 해결합니다.
   • 이중 경로 (Dual-Path) 구조:
     • Deep Delta Learning (DDL) 경로: 학습된 델타 연산자를 사용하여 채널 공간에서 '불필요한 특징 (Nuisance features, 예: 배경 텍스처)'을 감지하고 억제합니다.
     • Attention Gating 경로: 디코더의 신호를 게이트 신호로 사용하여, 재구성 작업에 관련된 공간적 위치만 선택적으로 통과시킵니다.
   • 두 경로의 출력을 결합하여 디코더로 전달함으로써, 경계 정보와 결함 관련 특징을 정제합니다.

4. 디코더 및 Deep Supervision:

   • 디코더 단계에서는 공간 재구성을 위해 Coordinate Attention을 사용합니다.
   • Deep Supervision: 디코더의 여러 단계에 보조 헤드를 연결하여 다중 스케일 보조 손실을 적용함으로써, 중간 단계에서도 의미 있는 특징이 학습되도록 유도하고 그래디언트 흐름을 강화합니다.

3. 주요 기여 (Key Contributions)

1. 계층적 주의 전략: 인코더에는 채널 보정을 위한 SE, Bottleneck/디코더에는 공간 인식력을 위한 Coordinate Attention, Skip Connection 에는 DDA 를 배치하여 각 네트워크 위치의 정보 요구사항에 최적화된 아키텍처를 제안했습니다.
2. Deep Delta Attention (DDA) 모듈: 디코더 조건부 공간 게이트와 학습된 델타 연산자를 결합하여, 불필요한 특징을 억제하고 경계 관련 특징을 강화하는 새로운 Skip Connection 메커니즘을 개발했습니다.
3. 효율적인 인코더 설계: DSC 와 하이브리드 풀링/확장 합성곱을 결합하여 계산 효율성과 수용 영역 확장의 균형을 맞췄습니다.
4. 광범위한 검증: 7 개 클래스 (S2DS) 와 9 개 클래스 (CSDD) 로 구성된 두 개의 서로 다른 구조물 데이터셋에서 12 가지 경쟁 모델과 비교 평가하여 강력한 일반화 능력을 입증했습니다.

4. 실험 결과 (Results)

두 가지 데이터셋 (S2DS: 건물 외벽, CSDD: 배수관) 에서 12 가지 모델 (U-Net, SA-UNet, SegFormer, Swin-UNet 등) 과 비교 평가되었습니다.

• 성능: DeltaSeg 는 두 데이터셋 모두에서 가장 높은 결함 평균 IoU (Defect mIoU) 를 기록했습니다.
  • S2DS (7 클래스): Defect mIoU 70.46% (2 위 SA-UNet: 70.27% 보다 우위), F1-Score 83.99%.
  • CSDD (9 클래스): Defect mIoU 76.75% (2 위 UNet3+: 74.22% 보다 우위), F1-Score 87.61%.
• 세부 분석:
  • 희귀 클래스 (식물, 제어점 등) 와 얇은 구조 (균열) 에 대한 분할 정확도가 기존 모델보다 현저히 높았습니다.
  • 특히 배수관의 복잡한 원통형 기하학적 구조에서도 우수한 성능을 보였습니다.
• 효율성: 파라미터 수 (7.14M) 는 U-Net(31.04M) 등 주요 경쟁 모델보다 훨씬 적으면서도 더 높은 정확도를 달성했습니다.
• Ablation Study: DDA 모듈과 Coordinate Attention 의 도입이 성능 향상에 결정적인 기여를 함을 확인했습니다. (V1(기초) → V2(DDA 적용) → Full(CA 추가) 순으로 성능이 크게 향상됨)

5. 의의 및 결론 (Significance)

DeltaSeg 는 구조물 결함 분할 분야에서 다음과 같은 의의를 가집니다:

• 문제 해결 접근법: 단일 주의 메커니즘의 한계를 극복하고, 네트워크의 각 단계 (인코더, Bottleneck, Skip Connection, 디코더) 에 서로 다른 주의 메커니즘을 배치하는 계층적 설계의 효과를 입증했습니다.
• 실용성: 클래스 불균형, 다양한 스케일, 복잡한 경계 등 실제 현장의 어려움을 해결하여, 드론이나 로봇을 활용한 자동화된 구조물 안전 진단 시스템의 핵심 기술로 활용 가능성이 높습니다.
• 일반화: 서로 다른 구조물 유형 (건물 vs 배수관) 과 촬영 환경에서도 재학습 없이도 우수한 성능을 발휘하여, 실제 배포 (Deployment) 에 적합한 모델임을 보여주었습니다.

이 연구는 구조물 건강 모니터링 (SHM) 분야에서 정밀한 분할과 효율적인 추론을 동시에 달성할 수 있는 새로운 아키텍처 패러다임을 제시합니다.