기술적 요약: 임의의 백본을 위한 정규화 공변성

문제 정의

이미지 간 예측 작업, 특히 블라인드 이미지 잡음 제거에서 신경망은 테스트 시의 잡음 수준이 학습 잡음 수준과 다를 때 분포 변화로 인해 종종 어려움을 겪습니다. 스케일 공변성 (SE)($f(ay) = af(y)$)과 그보다 엄격하게 더 강력한 정규화 공변성 (NE)($f(ay + b\mathbf{1}) = af(y) + b\mathbf{1}$)은 이러한 변화에 대한 견고성을 향상시키는 것으로 알려져 있지만, 이러한 속성을 현대적인 딥러닝 아키텍처에 부과하는 것은 상당한 어려움을 제시합니다.

기존 방법들은 내부 네트워크 계층을 특정 NE 호환 계열 (예: 아핀 제약 컨볼루션, 정렬 비선형성, 아핀 잔차) 로 제한함으로써 NE 를 강제합니다. 이 접근법은 이론적으로 타당하지만 두 가지 주요 단점이 있습니다:

1. 아키텍처 비호환성: 이는 현대 백본에 만연한 표준 구성 요소를 배제합니다. 예를 들어 아핀 변환과 교환하지 않는 어텐션 메커니즘 (softmax) 과 레이어 정규화 (LayerNorm) 가 이에 해당합니다.
2. 런타임 오버헤드: 내부 계층 제약을 통해 공변성을 강제하는 것은 상당한 계산 비용을 초래하며, 일부 아키텍처 기준 모델은 표준 모델에 비해 최대 1.6 배의 속도 저하를 보입니다.

방법론: 정규화 공변성 래퍼 (WNE)

저자들은 내부 계층 수준이 아닌 입력 - 출력 수준에서 NE 를 강제하는 방법을 제안합니다. 이 접근법은 NE 함수 클래스에 대한 완전한 특성화에 의존합니다.

이론적 특성화

본 논문은 함수 $f: \mathbb{R}^d \to \mathbb{R}^d$가 정규화 공변성을 갖기 위한 필요충분조건이 정규화 - 처리 - 역정규화 분해법을 허용하는 것임을 증명하는 특성화 1을 수립합니다. 구체적으로, 표준 편차 $\text{std}(y) > 0$인 임의의 입력 $y$에 대해 다음이 성립합니다:
$$f(y) = \text{std}(y) \cdot g(T_{NE}(y)) + \mu(y)\mathbf{1}$$
여기서:

• $\mu(y)$와 $\text{std}(y)$는 인스턴스 평균과 표준 편차입니다.
• $T_{NE}(y) = \frac{y - \mu(y)\mathbf{1}}{\text{std}(y)}$는 $y$를 정규화 다양체 $\mathcal{M}$(평균 0, 단위 표준 편차) 로 투영하는 정규화 맵입니다.
• $g: \mathcal{M} \to \mathbb{R}^d$는 정규화된 입력에 작용하는 임의의 함수입니다.

이 특성화는 NE 를 강제하기 위해 내부 아키텍처를 제한할 필요가 없으며, 이는 함수 클래스의 동등한 재매개변수화임을 시사합니다.

WNE 래퍼

이 이론에 기반하여 저자들은 내부 가중치나 계층을 수정하지 않고 기존 백본 $g_\theta$(CNN 및 Transformer 포함) 에 적용할 수 있는 매개변수 없는 래퍼인 WNE를 소개합니다. 순전파는 다음과 같이 정의됩니다:
$$f^{WNE}_\theta(y) = \text{std}(y) \cdot g_\theta(T_{NE}(y)) + \mu(y)\mathbf{1}$$

• 입력: 잡음이 섞인 이미지 $y$.
• 정규화: 인스턴스 통계량 $\mu(y), \text{std}(y)$를 계산하고 $\tilde{y} = T_{NE}(y)$로 정규화합니다.
• 처리: 임의의 백본 $g_\theta$를 통해 $\tilde{y}$를 통과시킵니다.
• 역정규화: 크기를 조정하고 이동하여 출력을 재구성합니다: $\hat{x} = \text{std}(y)g_\theta(\tilde{y}) + \mu(y)\mathbf{1}$.

이 구성은 어텐션, 레이어 정규화, 배치 정규화와 같은 백본의 내부 구성 요소에 관계없이 정확한 NE 를 보장합니다. 수치적 안정성을 위해 표준 편차가 0 에 가까울 때 작은 $\epsilon$을 추가합니다.

주요 기여

1. 방법론: 내부 계층을 수정하지 않고 임의의 백본 (트랜스포머 포함) 에 정확한 입력 - 출력 정규화 공변성을 강제하는 매개변수 없는 플러그인 래퍼 (WNE).
2. 이론: 정규화 - 처리 - 역정규화 분해법이 NE 에 대해 필요충분조건임을 보여주는 완전한 특성화로, 문제를 내부 아키텍처 제약에서 입력 - 출력 매개변수화 문제로 전환합니다.
3. 실험 및 분석:
   • CNN(DnCNN) 과 Transformer(SwinIR, Restormer) 백본 모두에서 블라인드 잡음 제거 시 잡음 수준 불일치에 대한 향상된 견고성 입증.
   • 아키텍처 기준 모델에 비해 GPU 오버헤드가 무시할 수 있음을 보여주는 분석.
   • 견고성 메커니즘을 설명하는 정규화 좌표 분석: NE 하에서 잡음 수준 불일치는 주로 회귀 문제 자체를 변경하는 대신 "난이도"(정규화 좌표에서의 거리) 의 분포를 이동시키므로, 모델이 잡음 수준 전반에 걸쳐 보간 영역에서 작동할 수 있게 합니다.

실험 결과

저자들은 단일 잡음 불일치 진단을 사용하여 WNE 를 평가했으며, 고정된 잡음 수준 ($\sigma_{train} \in \{10, 25, 50\}$) 에서 모델을 학습하고 광범위한 $\sigma_{test}$에 걸쳐 테스트했습니다.

• 견고성: WNE 는 잡음 수준 불일치 하에서 래퍼가 없는 기준 모델보다 현저히 우수한 성능을 보입니다. SwinIR 의 경우 기준 모델은 $\sigma_{test} \neq \sigma_{train}$일 때 성능이 심각하게 저하되는 반면, WNE 는 안정적인 성능을 유지합니다. WNE 는 광범위한 내부 수정이 필요한 아키텍처 NE 기준 모델 (NE-arch) 의 견고성 추세를 거의 동일하게 따릅니다.
• 일치된 잡음에서의 성능: 일치된 잡음 수준 ($\sigma_{test} = \sigma_{train}$) 에서 WNE 는 래퍼가 없는 기준 모델과 경쟁력 있는 성능을 유지하며, 최대 PSNR 에서 유의미한 저하가 없습니다.
• 런타임 효율성: GPU 에서 WNE 는 기준 모델에 비해 무시할 수 있는 오버헤드 (비율 $\approx 1.00\times$) 를 추가합니다. 반면, 내부 계층에서 공변성을 강제하는 비용으로 인해 아키텍처 NE 기준 모델 (NE-arch) 은 최대 1.6 배의 속도 저하를 겪습니다.
• 일반화: 이 이점은 다음으로 확장됩니다:
  • 다른 백본 (Restormer).
  • 컬러 이미지 (3 채널).
  • 실제 센서 잡음 (SIDD 데이터셋).
  • 비가우시안 손상 (균일, 라플라스, 레일리, JPEG).
  • 역문제에서의 반복적 재사용 (제약 인페인팅에 사용되는 Noise2Noise 학습 잡음 제거기) 으로, 여기서 WNE 는 래퍼가 없는 모델이 실패하는 고잡음 초기화에서도 안정적인 재구성을 가능하게 합니다.

중요성과 주장

본 논문은 정규화 공변성을 강제하는 것이 함수 공간의 단순한 근사나 제한이 아니라, 아키텍처 제약 없이 달성할 수 있는 동등한 재매개변수화라고 주장합니다.

주요 중요성은 이전 방법들의 아키텍처적 한계로부터 NE 의 견고성 이점을 분리하는 데 있습니다. 래퍼를 통해 공변성 강제를 입력 - 출력 경계로 이동시킴으로써, 저자들은 어텐션과 레이어 정규화와 같은 표준 고성능 구성 요소를 사용하면서도 NE 의 이론적 보장을 유지할 수 있게 합니다. 이 접근법은 내부 계층 제약과 관련된 계산 패널티를 치르지 않고도 블라인드 잡음 제거 및 관련 역문제에서 견고성을 향상시키기 위한 실용적인 해결책을 제공합니다. 저자들은 이 관점이 견고성에 대한 명확한 기하학적 설명도 제공한다고 지적합니다. 즉, 정규화 좌표에서 회귀 문제를 안정화시켜 잡음 수준의 상당한 변화 하에서도 "난이도"에 대한 학습 - 테스트 중첩이 유지되도록 합니다.