기술 요약: 밀집 예측을 위한 위상 인식 웨이블릿 기반 산란 인코더-디코더

1. 문제 제기

산란 변환 (Scattering transforms) 은 Mallat(2012) 과 Bruna & Mallat(2013) 에 의해 소개되었으며, **리프시츠 안정성 (Lipschitz stability)**과 **병진 불변성 (translation invariance)**을 특징으로 하는 수학적으로 근거된 신호 표현을 제공합니다. 이러한 속성들은 분류 작업에 매우 유용합니다. 그러나 픽셀 수준의 공간적 대응이 필요한 **밀집 예측 작업 (예: 이미지 잡음 제거, 분할)**과는 근본적인 충돌을 일으킵니다.

표준 산란의 핵심 메커니즘인 전역 평균화 및 $2^J$ 배의 다운샘플링은 재구성에 필요한 미세한 공간 정보를 근본적으로 폐기합니다. 모듈러스 연산이 해상도와 무관하게 안정성을 보장하지만, 병진 불변성을 위한 서브샘플링은 공간 등가성 (spatial equivariance) 을 파괴합니다. 저자들은 밀집 예측의 경우 이러한 속성들을 분리할 수 있다고 주장합니다. 즉, 산란 변환의 수학적 안정성을 유지하면서 전역 불변성을 깨뜨려 공간 구조를 복원하는 것입니다.

2. 방법론

저자들은 위상 인식 산란 인코더-디코더 (Phase-Aware Scattering Encoder-Decoder) 아키텍처를 제안합니다. 이 설계는 학습된 합성곱 인코더를 고정된 수학적 근거의 웨이블릿 필터로 대체하면서, 밀집 예측을 가능하게 하는 구체적인 아키텍처 혁신을 도입합니다.

2.1. 인코더: 스트라이드 1 등가성과 위상 보존

인코더는 표준 산란 변환을 두 가지 결정적인 방식으로 수정합니다.

• 스트라이드 1 등가성 (Stride-1 Equivariance): 저자들은 병진 불변성을 달성하기 위해 일반적으로 사용되는 전역 평균화 및 서브샘플링 ($2^J$) 을 제거합니다. 대신, 스케일 의존적 평활 윈도우 ($\phi_j \propto 2^j$) 를 사용한 스트라이드 1 처리를 적용합니다. 이는 계층 전체에서 완전한 공간 해상도를 보존하여 병목 구간이 완전히 해결된 공간 구조를 받도록 합니다. 이는 전역 병진 불변성을 희생하지만, 연쇄된 모듈러스 연산에서 파생되며 어떤 해상도에서도 유효한 리프시츠 안정성은 유지합니다.
• 위상 보존 (Phase Preservation): 표준 산란은 복소 웨이블릿 계수의 위상을 폐기하고 모듈러스 (크기) 만 유지합니다. 저자들은 크기만으로는 에지나 특이점과 같은 구조적 세부 사항을 포착할 수 없다고 주장합니다. 인코더는 모듈러스 이전의 복소 계수에서 크기 ($A$) 와 위상 ($\Phi$) 을 명시적으로 추출하여 보존합니다. 이들은 별도로 저장되어 스킵 연결을 통해 디코더로 라우팅됩니다.

2.2. 병목 (Bottleneck)

단일 $3 \times 3$ 합성곱 레이어가 브릿지 역할을 하여, 1000 개 이상의 채널을 초과할 수 있는 고차원 산란 계수를 완전한 공간 해상도를 유지하면서 컴팩트한 잠재 표현 ($C_{bn}$) 으로 압축합니다. 이 레이어는 인코더 경로에서 유일한 학습 가능한 구성 요소입니다.

2.3. 디코더: 위상 인식 게이팅 및 퓨전

디코더는 $J$ 개의 업샘플링 레벨을 가진 U-Net 과 유사한 구조를 따릅니다. 각 레벨에서 세 가지 정보 소스를 통합합니다.

1. 병목 특징: 업샘플링된 잠재 표현.
2. 크기 스킵 연결: 질감과 에너지 정보.
3. 위상 스킵 연결: 기하학적 구조 및 공간 위치 정보.

디코더는 **위상 정보 게이팅 메커니즘 (Phase-Informed Gating Mechanism)**을 사용합니다. 학습된 게이팅 네트워크가 연결된 크기와 위상을 처리하여 공간 마스크를 생성합니다. 이 마스크는 업샘플링된 병목 특징을 변조하여, 이론적으로 네트워크가 위상이 중요한 구조 (에지, 특이점) 를 인코딩하는 영역에 집중할 수 있게 합니다. 마지막으로, 퓨전 네트워크는 게이팅된 병목 특징을 크기와 위상 스킵 연결과 결합하여 최종 픽셀 수준의 예측을 생성합니다.

3. 주요 기여

이 논문은 웨이블릿 이론과 딥러닝의 통합을 네 가지 구체적인 기여를 통해 발전시킵니다.

1. 안정성과 불변성의 분리: 전역 불변성을 스트라이드 1 등가성으로 대체하여 분류에서 밀집 예측으로 산란을 확장함으로써 공간 구조를 복원합니다.
2. 위상 인식 아키텍처: 수학적으로 근거된 산란 아키텍처에 명시적인 위상 보존을 통합하여, 복원을 위해 복소수 값 스킵 연결이 필수적임을 입증합니다.
3. 극좌표 표현 (Polar Representation): 스킵 연결에 극좌표 형식 (크기와 위상) 을 사용하여 그래디언트를 분리하고, 위상을 독립적인 학습 신호로 격리합니다.
4. 해석 가능성: 고정된 이론적으로 정의된 웨이블릿 필터를 사용하여 DnCNN 이나 SwinIR 과 같은 블랙박스 학습 방법의 대안으로 해석 가능한 방법을 제공하며, 안전-중요 응용 분야에 대한 강건성 보장을 제공합니다.

4. 실험 결과

이 방법은 M6으로 불리며, BSD68 이미지 잡음 제거 벤치마크 (가우시안 잡음 $\sigma=25$) 와 ISIC 2018 피부 병변 분할에 대한 예비 연구에서 평가되었습니다.

4.1. 잡음 제거 성능 (BSD68)

• 기준선 비교: M6 은 27.41 dB의 PSNR 을 달성합니다. 이는 DnCNN(29.27 dB), BM3D(28.57 dB), DSWN(29.61 dB) 과 같은 완전히 학습된 기준선보다 성능이 낮습니다.
• 트레이드오프: 저자들은 약 2 dB 의 성능 격차를 리프시츠 안정성 보장을 제공하는 고정된 수학적 해석 가능한 인코더를 사용하는 것의 "원칙적인 비용"으로 명시적으로 규정합니다. 블랙박스 학습 인코더가 아닌 것입니다.
• 애블레이션 연구:
  • 스트라이드 1 등가성: 표준 불변 산란 (24.19 dB) 에서 스트라이드 1 등가 산란 (26.36 dB) 으로 전환하면 +2.17 dB의 향상을 보여, 공간 등가성이 밀집 예측에 중요함을 검증합니다.
  • 위상 보존: 스트라이드 1 모델에 복소수 값 스킵 연결 (크기 + 위상) 을 추가하면 추가적으로 +1.03 dB(27.39 dB)의 향상을 얻습니다.
  • 공간 셔플링: 위상 계수의 공간 인덱스를 무작위화하면 −1.26 dB의 패널티가 발생하지만, 진폭을 셔플링하는 경우 −0.25 dB 패널티만 발생합니다. 이는 위상이 재구성에 필수적인 위치 의존적 구조 정보를 인코딩함을 확인시켜 주며 (진폭보다 5.14 배 더 중요함).
  • 극좌표 형식: 원시 복소수 값 대신 극좌표 표현을 사용하면 최적화 안정성을 주로 돕는 marginal 한 +0.02 dB 가 추가됩니다.

4.2. 강건성과 안정성

• 기하학적 교란: M6 은 학습된 방법에 비해 기하학적 변환에 대한 강건성이 뛰어납니다. 10° 회전 시 M6 은 10.4 dB 감소하는 반면, DnCNN 은 16.1 dB 감소합니다. M6 은 1.55 배 더 강건하여 산란 인코더의 리프시츠 안정성을 경험적으로 검증합니다.
• 데이터 효율성: M6 은 데이터 부족에 대해 DnCNN 보다 덜 강건합니다. 학습 데이터의 10% 에서 M6 성능은 5.29% 감소하는 반면, DnCNN 은 1.71% 감소합니다. 저자들은 이것이 $N < 50$과 같이 주석된 샘플이 매우 적은 분야 (예: 의료 영상) 에서의 적용을 제한한다고 지적합니다.

4.3. 분할 (예비)

ISIC 2018 피부 병변 분할에 대한 예비 연구 (검증 세트 없이 학습 세트만 사용) 는 0.886~0.887 의 일관된 Dice 계수를 보여주었습니다. 연구 결과 명시적인 위상 정규화는 이점을 제공하지 않았으며, 작업 손실을 통한 암시적 위상 학습이 충분함을 시사했습니다.

4.4. 부정적 발견

논문은 특정 설계 선택에 대한 "정직한 영구적 발견 (honest null findings)"을 보고합니다.

• 게이팅 메커니즘: 학습된 게이팅 네트워크는 의미 있는 공간 주의 대신 공간적으로 일정한 스케일링 마스크로 수렴하여 성능에 미미하게 (+0.02 dB) 기여했습니다.
• 위상 정규화: 명시적 제약 (위상 총 변동, 위상 정렬) 은 잡음 제거와 분할 모두에서 성능을 저하시켰으며, 이는 수동으로 조정된 수학적 제약이 작업별 학습을 방해할 수 있음을 시사합니다.

5. 중요성 및 주장

이 논문은 리프시츠 안정성과 공간 불변성을 분리할 수 있음을 입증함으로써 웨이블릿 기반 딥러닝의 원칙적 통합을 발전시켰다고 주장합니다. 그 중요성은 다음과 같습니다.

1. 이론적 엄밀성: 밀집 예측을 위해 불변성이 깨질 때도 안정성 (변형에 대한 강건성) 을 유지할 수 있음을 보여줍니다.
2. 위상의 중요성: 웨이블릿 표현에서 위상 정보가 위치 의존적 구조 내용의 주요 운반자이며, 재구성 작업에서 크기보다 훨씬 중요하다는 경험적 증거를 제공합니다.
3. 해석 가능성 vs 성능: 제안된 방법이 수학적 해석 가능성, 고정된 다중 스케일 분해, 증명 가능한 안정성 보장을 얻기 위해 최대 재구성 정확도 (약 2 dB) 를 희생하는 명확한 트레이드오프를 확립합니다.

저자들은 학습된 웨이블릿 방법 (DSWN 등) 이 더 뛰어난 성능을 제공하지만, 제안된 위상 인식 산란 인코더-디코더는 충분한 학습 데이터가 제공된다는 전제 하에 절대적인 최고 성능보다 수학적 투명성과 강건성이 우선시되는 응용 분야에 대한 실행 가능하고 해석 가능한 대안을 제공한다고 결론지었습니다.