⚡ electrical engineering

Small, Bias-Free, Blind and Convolutional Denoiser: A compact ConvNeXt U-Net for blind Gaussian color-image denoising

이 논문은 고정된 가보(Gabor) 스템, 라플라시안 피라미드 라우팅, 그리고 1차 동차성(degree-1 homogeneity)을 활용하여 단일 모델이 광범위한 노이즈 스케일을 처리할 수 있도록 함으로써, 다양한 노이즈 수준에 걸친 강력한 일반화 성능과 더 큰 모델들에 대비한 경쟁력 있는 성능을 달성한, 콤팩트하고 편향 없는(bias-free) ConvNeXt U-Net인 BF-ConvUNeXt를 소개한다.

원저자: Nikolas Markou

게시일 2026-07-28

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Nikolas Markou

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

지저분한 신호를 정화하는 기술

당신이 가장 좋아하는 노래를 들으려고 하는데, 누군가 스피커 위에 정전기 소리가 가득 담긴 양동이를 쏟아부었다고 상상해 보십시오. 컴퓨터 비전의 세계에서 이 '정전기'는 노이즈(noise)라고 불리며, 이를 깨끗하게 만드는 작업은 디노이징(denoising)이라고 합니다. 수십 년 동안 과학자들은 노이즈가 이미지를 망치기 전의 원래의 완벽한 모습이 어떠했을지 추측하기 위해, 전문적인 청소부 역할을 하는 거대하고 복잡한 디지털 뇌(신경망)를 구축해 왔습니다. 보통 이 전문가들은 특정 수준의 지저분함만을 처리하도록 훈련됩니다. 만약 훈련받은 것보다 약간 더 지저분한 사진을 주면, 그들은 종종 혼란에 빠져 실패하곤 합니다.

하지만, 눈에 잘 띄지 않는 곳에 영리한 수학적 트릭이 숨겨져 있습니다. 만약 '오프셋(offset)'이나 '편향(bias)'이 없는—즉, 특정 시작점을 가정하거나 계산에 고정된 숫자를 더하지 않는—청소 기계를 만든다면, 그것은 완벽하게 **척도 불변성(scale-invariant)**을 갖게 됩니다. 이것은 마치 아주 작은 엽서부터 거대한 광고판까지 똑같은 방식으로 복사하는 복사기와 같습니다. 모델이 입력값의 크기에 맞춰 자신의 노력을 완벽하게 조절하는 것입니다. **동차성(homogeneity)**이라고 알려진 이 특성 덕분에, 단 하나의 모델이 본 적 없는 노이즈 수준을 마주하더라도, 단순히 노이즈의 양을 암기하는 대신 노이즈가 발생하는 '방향'을 감지함으로써 이를 처리할 수 있습니다. 이 논문은 이 아이디어를 어디까지 밀어붙일 수 있는지 탐구합니다. 과연 우리는 이 분야의 거대한 헤비급 모델들과 맞설 수 있는 작고 초효율적이며 편향이 없는 청소기를 만들 수 있을까요?

작고 눈먼 청소부

저자들은 BF-ConvUNeXt라는 새로운 모델을 소개합니다. 이는 컴팩트한 '블라인드(blind)' 디노이저로, 사진이 얼마나 노이즈가 심한지 미리 알려줄 필요 없이 스스로 알아서 파악합니다. 오늘날 가장 강력한 이미지 청소기들이 수천만 개의 파라미터(디지털 메모리 셀의 등가물)를 가진 거대한 거인인 반면, 이 새로운 모델은 단 0.82백만 개의 파라미터만을 가진 가벼운 챔피언입니다. 이 모델은 네 가지 기존 아이디어를 하나의 완벽하게 조율된 기계로 결합하여, 처음부터 끝까지 그 특별한 '척도 불변성' 속성을 유지하며 효율성을 달 수 있었습니다.

이 모델은 첨단 공장의 조립 라인처럼 구축되었습니다. 먼저, 노이즈가 섞인 이미지를 **고정된 가보 스템(frozen Gabor stem)**에 통과시킵니다. 이것을 다양한 각도에서 가장자리와 패턴을 포착하는 데 이미 전문가인, 변경 불가능한 사전 제작 필터 세트라고 상상해 보십시오. 이 필터들은 '고정(frozen)'되어 있습니다. 즉, 모델이 이를 학습하지 않으며, 단지 준비된 상태로 존재하며 학습 가능한 메모리를 전혀 소모하지 않습니다. 다음으로, 이미지는 **라플라시안 피라미드(Laplacian pyramid)**를 통해 분리됩니다. 이는 매끄러운 저주파 음과 날카롭고 자잘한 고주파 정전기를 분리하는 것과 같습니다. 모델은 매끄러운 부분은 깊은 터널로 보내 처리하는 한편, 날카롭고 노이즈가 섞인 부분은 별도로 처리하기 위해 '스킵 연결(skip connection)'을 통해 보내어, 모델이 중요한 세부 정보를 실수로 버리지 않도록 합니다.

기계의 핵심은 효율적인 현대적 구조로 알려진 ConvNeXt U-Net입니다. 하지만 여기에는 비밀 레시피가 있습니다. 시스템 전체가 편향이 없습니다(bias-free). 모든 레이어는 척도 불변 규칙을 깨뜨리는 추가적인 숫자(편향)를 더하는 것을 피합니다. 또한 특수한 종류의 정규화와 선형 '헤드(final output layer)'를 사용하여, 노이즈가 두 배가 되면 모델의 반응도 정확히 두 배가 되도록 하여 수학적 균형을 완벽하게 유지합니다.

모델의 성과

연구진은 매우 가벼운 정전기부터 시작하여 노이즈 수준 64(0에서 255 사이의 척도)까지 점진적으로 증가하는 '커리큘럼'을 통해 이 작은 모델을 훈련시켰습니다. 결과는 놀라울 정도로 견고했습니다. 편향이 없는 설계 덕분에, 모델은 노이즈가 심해진다고 해서 작동을 멈추지 않고 우아하게 청소를 계속했습니다. 훈련 범위를 훨씬 벗어난 노이즈 수준인 150 또는 200에서도 테스트했을 때, 모델은 무너지지 않았습니다. 대신, 품질 저하가 매우 부드럽고 완만하게 일어날 뿐 이미지를 계속해서 깨끗하게 만들어냈습니다. 학습 시 경험한 최대 노이즈의 3.1배인 노이즈 수준 200에서도, 모델은 여전히 20.0 dB의 품질 점수를 기록하며 이미지를 생성해 냈는데, 이는 이러한 혼돈을 처리하도록 명시적으로 배우지 않은 모델로서는 놀라운 업적입니다.

저자들이 BF-ConvUNeXt를 표준 벤치마크와 비교했을 때, 결과는 인상적이었습니다. 네 가지 표준 컬러 이미지 세트(CBSD68, Kodak24, McMaster, Urban100)에서, 이 작은 모델은 노이즈 수준 15, 25, 50에서 DnCNN 및 FFDNet과 같은 기존의 클래식한 청소기들과 대등하거나 더 나은 성능을 보였습니다. 평균적으로 DnCNN보다 약 0.7 dB 더 뛰어났습니다. 그러나 논문은 한계에 대해서도 솔직하게 밝히고 있습니다. 비록 작은 규모의 전통적인 모델들은 능가하지만, 이미지 유형에 따라 약 0.3에서 1.7 dB 정도의 차이로 거대한 헤비급 '최첨단(state-of-the-art)' 모델들(예: Restormer 또는 SwinIR)에는 여전히 뒤처집니다. 이 격차는 이미지의 먼 부분까지 볼 수 있는 거대 모델들의 능력이 강점으로 작용하는 반복적이고 복잡한 패턴(예: Urban100 세트)의 이미지에서 가장 크게 나타납니다.

한계와 미래

이 논문은 또한 이 모델이 할 수 없는 것에 대해서도 명확히 합니다. 모델의 '청소 로직'은 완벽한 전역적 지도(global map)가 아닌 국소적 추정(local estimate)이기 때문에, 완벽하게 보수적인 시스템(특정 '플러그 앤 플레이' 알고리즘 등)이 요구하는 특정 고급 수학적 보증에는 사용될 수 없습니다. 하지만 저자들은 이 국소적 '스코어(score)'가 모델을 재학습시킬 필요 없이 이미지의 빈 부분을 채우거나(inpainting) 흐릿한 사진을 선명하게 만드는 등의 다른 작업들을 수행하기에 충분히 강력하다는 것을 보여줍니다.

결론적으로, BF-ConvUNeXt는 지저한 이미지를 정화하기 위해 항상 거대하고 비싼 뇌가 필요한 것은 아님을 증명합니다. 엄격한 수학적 규칙을 준수하고 고전적인 신호 처리와 현대적 설계를 결합함으로써, 작고 눈멀었으며 편향이 없는 모델이 학습하지 못한 노이즈 수준까지도 처리할 수 있음을 보여주며, 더 많은 컴퓨팅 파워를 요구하는 세상에 매우 효율적인 대안을 제시합니다.

기술 요약: BF-ConvUNeXt

문제 정의

본 논문은 테스트 시점에 노이즈 레벨 $\sigma$ 를 알지 못하는 상태에서, 노이즈가 섞인 관측값 $y = x + \epsilon$ (여기서 $\epsilon \sim \mathcal{N}(0, \sigma^2 I)$ )으로부터 깨끗한 이미지 $x$ 를 복원하는 블라인드 가우시안 이미지 디노이징(blind Gaussian image denoising) 문제를 다룹니다. 현대의 최첨단(SOTA) 솔루션들은 수천만 개의 파라미터를 가진 거대한 트랜스포머/CNN 하이브리드 모델(예: DRUNet, SwinIR, Restormer)에 의존하며 대개 노이즈 레벨별로 학습되지만, 본 연구는 컴팩트하고 엄격하게 바이어스가 없는(strictly bias-free) 아키텍처가 경쟁력 있는 블라인드 일반화 성능을 달성할 수 있는지 조사합니다. 핵심 가설은 디노이징 CNN에서 모든 가산 상수(additive constants)를 제거함으로써 모델을 **1차 동차 함수(degree-1 homogeneous, $D(\alpha y) = \alpha D(y)$ )**로 만들어, 편향된 네트워크들이 실패하는 넓은 범위의 노이즈 레벨에서도 단일 모델이 일반화할 수 있도록 하는 것입니다.

방법론: BF-ConvUNeXt

제안된 솔루션인 BF-ConvUNeXt는 1차 동차성을 엔드투엔드로 보존하도록 설계된 0.82M 파라미터의 ConvNeXt U-Net입니다. 이 모델은 네 가지 확립된 구성 요소를 특정 바이어스 보존 설정으로 통합합니다:

동결된 뎁스와이즈 가보 스템 (Frozen Depthwise Gabor Stem):
- 표준적인 학습 가능한 첫 번째 컨볼루션을 고정된, 학습되지 않는 22개의 방향성을 가진 가보 웨이브렛 뱅크(입력 채널당 총 66개 출력 채널)로 대체합니다.
- 이 필터들은 회전, 주파수, 위상이 휩쓸린(swept) 형태로 초기화되며(Gabor [1946] 기반), 정적으로 유지됩니다.
- 단 하나의 학습 가능한 바이어스 없는 $1\times1$ 컨볼루션( $66 \to 66$ )이 이러한 고정된 응답들을 재조합하며, 이는 스템 내에서 유일한 자유도 역할을 합니다.
고주파 스킵 연결을 포함한 라플라시안 피라미드 인코더 (Laplacian-Pyramid Encoder with High-Frequency Skips):
- 맥스 풀링(max-pooling) 대신 라플라시안 피라미드 분할을 통해 다운샘플링을 수행합니다.
- 저주파 대역은 다음 레벨로 내려가고, **전체 해상도의 고주파 잔차(high-frequency residual)**는 스킵 연결로 전달됩니다.
- 결정적으로, 이 고주파 스킵은 병합되기 전 세 개의 추가적인 바이어스 없는 ConvNex 블록을 통과하며, 신호 구조와 노이즈를 분리하는 웨이브렛 수축(wavelet-shrinkage) 스타일의 귀납적 편향을 강제합니다.
ConvNeXt-V1 U-Net 바디 (ConvNeXt-V1 U-Net Body):
- 네트워크는 모든 레벨(인코더, 보틀넥, 디코더)에 걸쳐 66 채널의 평탄한 폭(flat width)을 사용합니다.
- V2의 Global Response Normalization이 동차성을 깨뜨리는 바이어스 항을 도입하기 때문에, V2 대신 ConvNeXt-V1 블록(depthwise $7\times7$ conv, inverted bottleneck MLP, LayerScale)을 채택합니다.
- 스킵 연결은 선형성을 유지하기 위해 컨캐티네이션(concatenation) 대신 **덧셈(addition)**을 사용합니다.
바이어스 없는 구조 (Bias-Free Construction):
- 모든 컨볼루션(가보 스템, $1\times1$ 프로젝션, 블록 컨볼루션, 헤드)에 가산 바이어스가 없습니다.
- 활성화 함수: GELU 대신 양의 동차성(positively homogeneous)을 가진 LeakyReLU를 사용합니다.
- 정규화: 실행 평균(running mean)이나 $\beta$ 오프셋 없이 실행 분산(running variance)만을 사용하는 커스텀 BiasFreeBatchNorm을 사용합니다. 이는 추론 시 정규화 연산이 입력에 대해 선형적으로 작동하여 1차 동차성을 보존하도록 보장합니다.
- 헤드: 선형적이고 바이어스가 없는 $1\times1$ 컨볼루션입니다.

학습 전략

커리큘럼 학습 (Curriculum Learning): 모델은 최대 노이즈 표준 편차( $\sigma_{max}$ )가 100 에폭 동안 $[0, 1]$ 정규화 스케일 상에서 0.025에서 0.25( $\sigma_{255} \approx 6.4 \to 64$ 에 해당)까지 선형적으로 증가하는 노이즈 커리큘럼에 따라 학습됩니다.
입력 처리: 노이즈가 추가된 직후 입력값은 $[0, 1]$ 범위로 클리핑됩니다. 이 클리핑은 학습과 추론 과정 모두에서 일관되게 적용됩니다.
목적 함수: 표준 평균 제곱 오차(MSE)를 사용하며, 이는 Miyasawa/Tweedie 항등식에 따라 네트워크가 잔차가 스케일링된 스코어 함수(score function)에 근사하는 MMSE 추정치로 향하도록 유도합니다.

주요 기여

아키텍처 통합: 고정된 가보 스템, 라플라시안 피라미드 스킵 분해, ConvNeXt 블록을 바이어스를 보존하는 방식으로 정밀하게 통합하여, 추론 시 정확히 1차 동차성을 갖는 네트워크를 구현했습니다.
공정한 벤치마킹: 네 가지 표준 컬러 데이터셋(CBSD68, Kodak24, McMaster, Urban100)에 대해 세 가지 노이즈 레벨( $\sigma \in \{15, 25, 50\}$ )에서 풀 이미지 프로토콜을 사용하여 단일 블라인드 체크포인트를 평가했습니다.
이론적 한계 명시: 잔차가 로컬 스코어 역할을 수행하여 블라인드 일반화 및 확률적 샘플링을 가능하게 하지만, 학습된 연산자는 비보존적(non-conservative)(자코비안이 대칭이 아님)임을 명확히 밝혔습니다. 따라서 플러그 앤 플레이(PnP)나 RED 수렴성에 대한 보증이나 교정된 베이지안 사후 확률(calibrated Bayesian posteriors)은 적용되지 않습니다.

결과

블라인드 일반화: 모델은 훈련 범위( $\sigma_{255} \le 64$ )를 넘어 매끄럽게 외삽합니다. $\sigma_{255}=150$ 에서 22.8 dB, $\sigma_{255}=200$ 에서 20.0 dB를 달성하며(훈련 최대치의 각각 2.3배 및 3.1배), 성능 저하 없이 단조적으로 감소합니다.
리더보드 성능:
- 소형 CNN 대비: 모든 데이터셋과 레벨에서 DnCNN 및 FFDNet과 대등하거나 이를 능가하며, DnCNN보다 평균 +0.7 dB 높습니다. CBSD68의 경우 그 차이가 좁으며(+0.10 ~ +0.15 dB), 이는 입력 클리핑 프로토콜의 민감도 범위 내에 있으므로 사실상 대등한 수준입니다.
- 거대 모델(SOTA) 대비: 데이터셋에 따라 0.3~1.7 dB의 일관된 격차를 두고 DRUNet, SwinIR, Restormer, SCUNet과 같은 대형 모델보다 뒤처집니다. 격차는 CBSD68에서 가장 작고, 비국소적 자기 유사성(non-local self-similarity)이 어텐션 기반 모델에 유리한 Urban100에서 가장 큽니다.
- 효율성: 0.82M 파라미터를 가진 이 모델은 1M 미만의 클래식 CNN과 12~32M 규모의 SOTA 모델 사이에 위치하며, 후자의 약 1/15에서 1/39 수준의 파라미터 수로 약 1 dB 이내의 성능 차이를 보여줍니다.
역문제 (Inverse Problems): 고정된 모델은 재학습 없이도 로컬 스코어 특성을 활용하여 확률적 역문제 솔버(인페인팅, 초해상도, 디블러링)를 위한 암묵적 사전 확률(implicit prior) 역할을 수행할 수 있습니다.

의의 및 주장

본 논문은 BF-ConvUNeXt가 새로운 구성 요소의 발견이라기보다, 엄격한 바이어스 부재(bias-freedom)의 실용적 유용성을 입증하는 공학적 통합 및 평가라고 규정합니다.

겸허한 주장: 저자들은 이 모델이 거대 SOTA 모델을 압도하지 않는다는 점을 명시적으로 밝힙니다. 의의는 작은 블라인드 모델이 아키텍처가 동차성 제약을 엄격히 준수할 때, 어떻게 다양한 노이즈 범위를 커버하고 거대 모델의 성능에 근접할 수 있는지를 보여주는 데 있습니다.
이론적 경계: 논문은 "스코어" 해석이 로컬(local)임을 강조합니다. 잔차는 전역 에너지 함수의 그래디언트가 아니므로, 보존적 연산자(conservative operators)가 필요한 방법론(예: 증명 가능한 PnP 수렴성)에는 사용이 제한됩니다.
프로토콜 주의사항: 저자들은 입력값을 $[0, 1]$ 로 클리핑하는 것이 특히 높은 노이즈 레벨에서 언클리핑(unclipped) 베이스라인보다 약간의 이점을 제공한다고 언급했습니다. 이를 고려하면 CBSD68에서의 DnCNN 대비 성능은 승리가 아닌 대등한 수준입니다.

결론적으로, BF-ConvUNeXt는 1차 동차성이 블라인드 디노이징을 위한 유효한 메커니즘임을 검증하며, 이를 통해 컴팩트한 모델이 넓은 노이즈 스펙트럼을 커버하고 다운스트림 역문제 문제를 지원할 수 있음을 보여줍니다. 다만, 어텐션 기반의 대규모 비블라인드 아키텍처에 비해서는 성능적 한계가 존재합니다.