Beyond Model Design: Data-Centric Training and Self-Ensemble for Gaussian Color Image Denoising
이 논문은 Restormer 아키텍처의 새로운 백본 설계 대신 확장된 데이터 중심 훈련 전략과 2 단계 최적화, 그리고 테스트 시간 자기 앙상블을 통해 NTIRE 2026 가우시안 컬러 이미지 노이즈 제거 챌린지에서 기존 베이스라인 대비 3.366dB 의 PSNR 개선을 달성한 방법을 제시합니다.
보통 이미지 복원 연구자들은 "더 좋은 성능을 내기 위해 새로운 AI 모델 (아키텍처) 을 만들어야 해!"라고 생각합니다. 하지만 이 연구팀은 **"이미 세상에서 가장 잘 만들어진 '레스트러머'라는 오븐이 있는데, 왜 새로운 걸 만들까? 그냥 이 오븐에 넣는 **재료 (데이터)**를 더 풍부하게 하고, **조리법 (훈련 과정)**을 더 정교하게 하면 되지 않을까?"**라고 생각했습니다.
1. 더 다양한 재료로 요리하기 (데이터 중심 훈련)
비유: 보통 요리사는 '감자, 당근, 소고기'만 넣고 요리를 합니다. 하지만 이 연구팀은 '감자, 당근, 소고기'뿐만 아니라 '해산물, 이국적인 채소, 다양한 향신료'까지 포함된 거대한 식재료 창고를 새로 마련했습니다.
실제 내용: 기존에 쓰던 이미지 데이터셋보다 훨씬 크고 다양한 이미지 (DIV2K, Flickr2K, LSDIR 등 7 가지 출처) 를 모았습니다.
두 단계 조리법:
1 단계: 기본 재료로 요리를 시작해 기본 맛을 잡습니다.
2 단계: 더 exotic 한 재료들을 추가해서 요리의 깊이를 더합니다.
결과: AI 가 다양한 상황 (빛, 질감, 패턴) 을 모두 경험하게 되어, 어떤 사진이 들어와도 "아, 이거 이런 거였지!"라고 더 잘 알아채게 되었습니다.
2. 한 번 찍지 않고 8 번 찍어서 평균 내기 (자기 앙상블)
비유: 사진을 찍을 때, 카메라를 살짝 기울여 찍거나 뒤집어서 찍으면 사진이 조금씩 다르게 나올 수 있습니다. 보통은 한 번만 찍고 끝내지만, 이 연구팀은 **"한 장을 찍을 때, 카메라를 8 가지 방향 (위아래 뒤집기, 좌우 뒤집기 등) 으로 돌려가며 8 번 찍고, 그 결과를 합쳐서 평균을 내자"**고 했습니다.
실제 내용:×8 기하학적 자기 앙상블 (Geometric Self-ensemble) 기법을 사용했습니다. AI 가 한 번에 한 방향으로만 판단하는 게 아니라, 모든 각도에서 판단한 후 그 답을 합쳐서 최종 결과를 냅니다.
효과: 아주 미세한 노이즈까지 잡아내어 사진이 훨씬 선명해졌습니다. 다만, 8 번을 찍는 만큼 시간이 8 배 더 걸린다는 단점이 있습니다. (정확도 vs 속도 트레이드오프)
3. "로컬 인퍼런스"라는 장치는 사실 별거 아님
비유: 요리사가 요리를 할 때 "이 요리는 반드시 이 특정 접시에 담아야 한다"는 규칙을 따르는데, 사실 그 접시가 요리의 맛을 바꾸진 않습니다. 그냥 예전부터 써오던 관습일 뿐이죠.
실제 내용: 논문에서는 TLC 스타일 로컬 인퍼런스라는 장치를 계속 사용했지만, 실험해 보니 이 장치가 성능 향상에 기여한 바는 거의 없었습니다. 중요한 건 **재료 (데이터)**와 **조리법 (훈련)**이었지, 그 접시 (장비) 가 아니었던 것입니다.
🏆 최종 결과: 얼마나 좋아졌나요?
이 연구팀은 NTIRE 2026이라는 세계적인 이미지 복원 대회에 참가했습니다.
기존 상태: 유명한 '레스트러머' 모델을 그대로 썼을 때의 점수.
우리 팀의 점수: 더 많은 재료로 훈련시키고, 8 번 찍어 평균을 낸 결과.
결과: 기존보다 약 3.36 dB나 더 높은 점수를 받았습니다. (이미지 처리 분야에서 1 dB 만 올라가도 엄청난 차이지만, 3 dB 이상은 거의 '완벽한' 수준으로 바뀐 것과 같습니다.)
순위: 대회에서 2 위를 차지했습니다.
📝 한 줄 요약
"새로운 AI 모델을 발명하는 대신, 기존에 가장 좋은 모델을 더 다양한 데이터로 훈련시키고, 사진을 찍을 때 여러 각도로 찍어 평균을 내는 지혜를 더했습니다. 그 결과, 훨씬 더 선명하고 깨끗한 사진을 만들 수 있었습니다."
이 논문은 "무조건 새로운 것을 만드는 것"보다 **"기존의 것을 어떻게 더 잘 활용하고, 데이터와 전략을 어떻게 최적화할지"**를 보여주는 훌륭한 사례입니다.
1. 문제 정의 (Problem Definition)
과제: NTIRE 2026 이미지 노이즈 제거 챌린지 (Gaussian Color Image Denoising) 에 참여하여, 고정된 노이즈 수준 (σ=50) 에서 컬러 이미지 노이즈 제거 성능을 극대화하는 것입니다.
배경: 기존에 Restormer 와 같은 Transformer 기반 아키텍처는 고해상도 이미지 복원 및 가우시안 노이즈 제거 분야에서 매우 강력한 베이스라인을 형성했습니다. 따라서 새로운 모델 아키텍처를 설계하는 것보다는, 기존에 성숙된 아키텍처 (Restormer) 의 성능 한계를 **데이터 중심 훈련 (Data-Centric Training)**과 **테스트 시간 전략 (Test-Time Strategy)**을 통해 얼마나 끌어올릴 수 있는지 탐구하는 것이 핵심 문제입니다.
2. 방법론 (Methodology)
저자들은 모델 구조 (Backbone) 를 변경하지 않고, Restormer 를 기반으로 한 두 가지 주요 전략을 적용했습니다.
가. 데이터 중심 훈련 (Data-Centric Training)
확장된 학습 코퍼스 (Corpus Expansion): 기존 Restormer 의 표준 학습 데이터 (DIV2K, Flickr2K, BSD500, WED) 에 더해, 더 크고 다양한 7 개의 공개 고해상도 이미지 소스를 통합했습니다.
Stage I: 확장된 코퍼스 (DIV2K, Flickr2K, OST, LSDIR) 를 사용하여 더 강력한 복원 사전 지식 (Restoration Prior) 을 확립합니다.
Stage II: 시각적 다양성을 더 넓히기 위해 LIU4K-v2, NKUSR8K, DIV8K 를 추가하여 일반화 능력을 향상시킵니다.
학습 설정: AdamW 옵티마이저, MSE 손실 함수 사용. 학습률은 Stage I 에서 1×10−4, Stage II 에서 1×10−5로 감소합니다.
나. 테스트 시간 향상 (Test-Time Enhancement)
기하학적 자기 앙상블 (Geometric Self-Ensemble):
단일 추론 (Single-pass) 이 강력한 결과를 내지만, 회전 및 반전 변환에 대해 완전히 불변 (Invariant) 하지 않음을 활용합니다.
8 가지 기하학적 변환 (Dihedral group 의 대칭성) 을 적용하여 예측을 수행한 후, 이를 평균화하여 최종 출력을 생성합니다 (×8 Self-ensemble).
이는 모델 재학습 없이 추론 시간을 약 8 배 증가시키지만 정확도를 높이는 전형적인 '정확도 - 계산 비용' 트레이드오프 전략입니다.
TLC 스타일 로컬 추론 래퍼 (TLC-style Local Inference Wrapper):
구현의 일관성을 위해 TLC 스타일 래퍼를 유지했으나, 실험적 분석 결과 이 래퍼의 정량적 기여도는 **매우 미미 (Negligible)**한 것으로 확인되었습니다.
3. 주요 기여 (Key Contributions)
아키텍처 변경 없이 성능 극대화: Restormer 기반의 가우시안 노이즈 제거기를 구조적 수정 없이, 오직 데이터 확장과 2 단계 훈련 스케줄만으로 크게 개선할 수 있음을 증명했습니다.
자기 앙상블의 정량적 분석: 테스트 시간 ×8 기하학적 자기 앙상블이 제공하는 성능 향상 (약 0.027 dB) 과 이에 따른 계산 오버헤드를 체계적으로 정량화했습니다.
성능 향상의 주원인 규명: 통제된 비교 실험을 통해 최종 성능 향상의 주된 원인이 **강화된 훈련 체크포인트 (더 넓은 데이터로 학습된 모델)**에 있음을 입증했습니다. 테스트 시간 래퍼나 단순 앙상블만으로는 이러한 큰 성능 차이를 설명할 수 없음을 보였습니다.
4. 실험 결과 (Results)
성능 지표 (NTIRE 2026 챌린지 검증 세트, 100 이미지):
최종 PSNR: 30.762 dB
최종 SSIM: 0.861
기존 Restormer (σ=50) 베이스라인 대비 향상: 최대 3.366 dB의 PSNR 향상.
추론 시간 및 메모리:
단일 추론 (Single-pass) 기준 약 1,053ms, ×8 자기 앙상블 적용 시 약 8,815ms 로 추론 시간이 증가합니다.
메모리 사용량은 약 36GB 수준으로 유지됩니다.
성능 분석:
데이터의 영향: 확장된 학습 코퍼스와 2 단계 훈련이 성능 향상의 절대적인 주역입니다.
앙상블의 영향: 자기 앙상블은 작지만 일관된 추가 향상 (약 0.027 dB) 을 제공하며, 특히 텍스처가 풍부하고 구조화된 영역에서 효과가 큽니다.
래퍼의 영향: TLC 래퍼는 성능에 유의미한 영향을 미치지 않았습니다.
5. 의의 및 결론 (Significance)
이 논문은 이미지 복원 분야에서 **"모델 설계 (Model Design)"**에만 집중하는 경향에서 벗어나, **"데이터 중심 접근법 (Data-Centric Approach)"**과 효율적인 추론 전략이 성숙된 아키텍처의 성능 한계를 어떻게 확장할 수 있는지를 보여줍니다.
실용적 통찰: 새로운 복잡한 모델을 개발하기 전에, 기존 강력한 모델에 더 다양하고 대규모의 데이터를 투입하고 훈련 전략을 최적화하는 것만으로도 챌린지 수준의 성능 향상을 달성할 수 있음을 시사합니다.
트레이드오프 명확화: 높은 정확도를 위해 계산 비용을 늘리는 자기 앙상블 전략의 가치를 명확히 하고, 불필요한 엔지니어링 요소 (래퍼 등) 가 실제 성능에 미치는 영향을 객관적으로 평가하는 방법론적 엄밀함을 제시했습니다.
결론적으로, 이 연구는 Restormer 와 같은 기존 모델의 잠재력을 데이터와 훈련 전략을 통해 최대한 끌어올리는 것이 현대 이미지 복원 연구의 중요한 방향임을 강조합니다.