Dynamic High-frequency Convolution for Infrared Small Target Detection

1. 문제 정의 (Problem Statement)

• 배경: 단일 프레임 적외선 소형 표적 (SIRST, Single-frame Infrared Small Target) 감지는 해상 감시, UAV 모니터링 등 다양한 분야에서 중요하지만, 복잡한 배경 잡음 속에서 미세한 표적을 식별하는 것이 핵심 과제입니다.
• 핵심 난제: 적외선 이미지에서 **관심 표적 (Genuine small targets)**과 **배경 잡음 (Structural background clutters, 예: 밝은 구름 조각, 건물의 모서리 등)**은 모두 **고주파 성분 (HFCs, High-Frequency Components)**으로 나타납니다.
• 기존 방법의 한계:
  • 전통적 방법: 고정된 파라미터를 가진 수동 연산자 (예: 로컬 대비 측정, Top-hat 변환) 를 사용하여 HFC 를 모델링하지만, 다양한 HFC 를 동적으로 구별하는 데 한계가 있어 일반성과 강건성이 부족합니다.
  • 딥러닝 기반 방법: 강력한 데이터 기반 특징 학습 능력을 갖추고 있으나, 주로 주석 데이터에 대한 자유로운 특징 피팅에 집중할 뿐, 국소 영역 내 다양한 HFC 의 의미론적 카테고리를 명시적으로 모델링하고 구별 가능한 표현 (Discriminative Representation) 을 학습하는 것을 간과하고 있습니다. 이로 인해 표적과 잡음을 혼동하는 경우가 많습니다.

2. 제안 방법: 동적 고주파 컨볼루션 (DHiF)

저자들은 위 문제를 해결하기 위해 **동적 고주파 컨볼루션 (Dynamic High-frequency Convolution, DHiF)**을 제안합니다. 이는 표준 컨볼루션을 대체할 수 있는 'Drop-in' 모듈입니다.

• 핵심 아이디어:

  • 표적과 잡음이라는 서로 다른 HFC 를 구별하기 위해, 입력 특징에 기반하여 **동적으로 생성된 지역별 필터 뱅크 (Dynamic Local Filter Bank)**를 사용합니다.
  • 푸리에 변환 (Fourier Transformation) 의 성질 활용:
    • 미분 성질: 고주파 성분에 대한 필터의 반응을 높이기 위해 공간 미분 연산을 필터에 포함시킵니다.
    • 선형성: 저주파 (직류) 성분의 반응을 줄이기 위해 필터 커널의 파라미터 합을 0 에 가깝게 유지합니다.
  • 구현 방식: 생성된 필터의 커널 파라미터를 0 을 중심으로 대칭적인 범위 (예: [-1, 1]) 내에서 동적으로 조정합니다. 이를 통해 필터가 고주파 변화에 민감하게 반응하도록 설계되었습니다.

• DHiF 구조:

  1. 입력 정규화 및 필터 생성: 로컬 입력 특징을 정규화하고, 선형 투영과 비선형 매핑 (Tanh 함수) 을 통해 로컬 영역의 명암 변화 특성을 인코딩한 동적 필터 가중치를 생성합니다.
  2. 필터링: 생성된 필터 뱅크를 사용하여 입력 특징을 필터링하여 고주파 표현을 추출합니다.
  3. 결합: 필터링된 특징과 원래 입력 특징을 결합한 후, 표준 컨볼루션을 적용하여 최종 출력 특징을 생성합니다.
  4. 적용: DHiF 는 SIRST 감지 네트워크의 인코더 내 임의의 표준 컨볼루션 레이어를 대체하여 적용할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. HFC 의 구별 가능한 표현 학습 강조: 다양한 고주파 성분 (HFC) 에 대한 구별 가능한 표현 학습의 중요성을 강조하고, 이를 위해 동적으로 생성되는 필터 뱅크를 통해 HFC 를 명시적으로 모델링하는 DHiF 를 제안했습니다.
2. 범용적인 'Drop-in' 대체 모듈: 임의의 SIRST 감지 네트워크 (CNN 기반 및 CNN-Transformer 하이브리드) 의 인코더 내 표준 컨볼루션을 DHiF 로 교체하여 일관된 성능 향상을 가능하게 했습니다.
3. 광범위한 실험 검증: 다양한 실제 장면 데이터셋 (IRSDT-1k, NUAA-SIRST) 과 여러 최신 네트워크 (DNANet, ISNet, SCTransNet 등) 에서 DHiF 의 효과성과 일반성을 입증했습니다.

4. 실험 결과 (Results)

• 성능 향상:
  • 다양한 네트워크와 데이터셋에서 DHiF 를 적용한 모델은 기존 표준 컨볼루션 및 다른 특수 설계 컨볼루션 (CDC, WTConv, PConv) 보다 IoU, nIoU, 탐지 확률 (Pd) 이 향상되었고, 오경보율 (Fa) 이 감소했습니다.
  • 특히, 다른 방법들이 특정 네트워크나 데이터셋에서 성능이 저하되는 것과 달리, DHiF 는 모든 환경에서 강건한 성능을 보여주었습니다.
• 효율성:
  • DHiF 는 모델 파라미터 수를 거의 증가시키지 않으며 (약 0.01MB 증가), 계산 효율성 (FPS) 에 미치는 영향도 미미합니다.
• 정성적 분석 (시각화):
  • Attribution Map: DHiF 를 적용한 네트워크는 표적 영역뿐만 아니라 배경의 고주파 영역 (건물 모서리, 밝은 잡음 등) 에서도 표적과 잡음을 명확히 구분하는 반응을 보입니다.
  • 필터 뱅크 시각화: DHiF 는 서로 다른 HFC (표적, 건물의 모서리, 밝은 잡음) 에 대해 서로 다른 필터를 생성하며, 특히 잡음 영역에서는 음의 반응을, 표적 영역에서는 양의 반응을 보여 미세한 디테일을 구별하는 능력이 뛰어납니다.
• 노이즈 강건성: 소금 - 후추 노이즈 (Salt-and-Pepper Noise) 환경에서도 DHiF 를 적용한 모델이 다른 방법들보다 월등히 낮은 오경보율과 높은 탐지율을 기록했습니다.

5. 의의 및 결론 (Significance)

• 이론적 의의: 딥러닝 기반 SIRST 감지에서 '고주파 성분'이 단순히 잡음이 아니라, 표적과 배경 잡음 모두를 포함하는 핵심 정보임을 재조명하고, 이를 동적 필터링을 통해 명시적으로 모델링함으로써 성능 한계를 돌파했습니다.
• 실용적 가치: 제안된 DHiF 는 별도의 복잡한 구조 변경 없이 기존 네트워크에 쉽게 통합 (Plug-and-Play) 될 수 있어, 실제 적외선 감시 시스템의 성능을 향상시키는 데 즉시 활용 가능합니다.
• 한계점: DHiF 는 주로 국소 디테일에 집중하므로, 표적과 매우 유사한 국소 잡음 패턴이 존재할 경우 주변 맥락 정보나 의미론적 정보가 추가로 필요할 수 있으며, 컨볼루션 레이어가 적은 Mamba 기반 등의 아키텍처에서는 입력층 적용 시 데이터 분포 교란으로 인해 효과가 제한적일 수 있습니다.

이 논문은 적외선 소형 표적 감지 분야에서 고주파 성분의 동적 모델링이 핵심임을 증명하고, 이를 실현한 효율적이고 강력한 새로운 연산자 (DHiF) 를 제시했다는 점에서 중요한 의의를 가집니다.