🤖 machine learning

Restoring Without Forgetting: Continual Learning Across Image Degradations

이 논문은 경량 어댑터와 비지도 라우팅을 활용하여 이미지 복원 모델이 과거 데이터에 대한 접근 없이도 치명적 망각 없이 새로운 열화 유형을 순차적으로 학습할 수 있도록 하는 지속 학습 프레임워크인 Restoring without Forgetting (RwF)를 소개하며, 이는 표준 미세 조정 방식보다 성능 면에서 크게 앞선다.

원저자: Alif Ashrafee, Bartosz Krawczyk

게시일 2026-08-26

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Alif Ashrafee, Bartosz Krawczyk

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

햇살이 내리쬐는 맑은 사막에서 평생을 보낸 카메라 센서를 상상해 보십시오. 이 센서는 그 특정한 빛 아래에서 세상을 보는 법을 완벽하게 익혔습니다. 이제 이 동일한 카메라가 비 내리는 도시로, 그다음에는 안개 낀 산으로, 마지막으로는 어두운 동굴로 이동한다고 상상해 보십시오. 현실 세계에서 센서는 이러한 변화하는 환경에 차례로 직면하게 되며, 개인정보 보호 규칙이나 저장 공간의 제한으로 인해 이전 장소의 데이터에 접근할 수 없는 경우가 많습니다. 컴퓨터가 새로운 환경의 이미지를 복원하는 법을 배우려면 보통 처음부터 다시 학습시켜야 합니다. 만약 이전 환경에 대한 기억을 지우지 않고 새로운 환경을 가르치려 한다면, 기존의 환경을 처리하는 방법을 완전히 잊어버리는 경우가 빈번합니다. 이는 시간이 흐름에 따라 적응할 수 있는 지능형 시스템을 구축하는 데 있어 큰 장애물입니다. 흐릿하거나 노이즈가 있거나 어두운 사진을 깨끗하게 만드는 것을 목표로 하는 이미지 복원 분야는 주로 각 특정 문제에 특화된 도구에 의존해 왔거나, 모든 유형의 문제를 동시에 학습하기 위해 방대한 "올인원(all-in-one)" 시스템을 필요로 해 왔습니다. 하지만 두 방식 모두 시스템이 순차적으로 학습하며, 새로운 과제에 하나씩 직면하면서도 기존의 기술을 온전히 유지해야 하는 상황에서는 제대로 작동하지 않습니다.

로체스터 공과대학교(Rochester Institute of Technology)의 연구진은 바로 이 문제를 해결하기 위해 "망각 없는 복원(Restoring Without Forgettinging)"이라는 새로운 방법을 개발했습니다. 새로운 유형의 이미지 손상마다 거대한 새로운 네트워크를 훈련시키거나, 모든 학습 내용을 하나의 거대한 모델에 억지로 밀어 넣어 결국 혼란에 빠지게 만드는 대신, 그들은 과거를 잃지 않고 적응하는 법을 배우는 시스템을 구축했습니다. 이들의 접근 방식의 핵심은 이미 깨끗한 이미지를 보는 데 매우 능숙한 사전 훈련된 "백본(backbone)" 네트워크입니다. 이 백본은 고정되어 있어서, 내부 설정이 잠겨 있으며 절대 변경되지 않습니다. 시스템이 비나 안개와 같은 새로운 유형의 열화(degradation)를 마주했을 때, 전체 뇌를 재학습시키는 것이 아니라, 해당 새로운 조건을 처리하기 위해 특별히 설계된 작고 가벼운 추가 모듈을 부착합니다. 이 추가 모듈은 오직 새로운 문제의 특정 패턴만을 학습하며, 백본의 원래 지식과 이전의 추가 모듈들은 전혀 건드리지 않습니다. 각 새로운 기술이 자신만의 전용되고 격리된 공간을 갖기 때문에, 시스템은 이전에 배웠던 것을 결코 덮어쓰지 않습니다.

컴퓨터가 자신이 어떤 종류의 손상을 보고 있는지 모르는 실제 상황에서도 이 방식이 작동하게 만들기 위해, 연구진은 스마트한 라우팅 메커니즘을 추가했습니다. 새로운 손상 이미지가 들어오면, 시스템은 시각적 단서를 바탕으로 간단한 서명(signature)을 생성하여 이미지를 짧게 스캔합니다. 그런 다음 이 서명을 각 열화 유형별로 저장된 작은 라이브러리의 예시들과 비교합니다. 가장 유사한 예시와 일치하는 것에 따라, 시스템은 자동으로 이미지를 수정할 올바른 추가 모듈을 선택합니다. 이 과정은 인간이 시스템에게 문제가 무엇인지 알려주지 않아도 자동으로 이루어집니다. 연구진은 이를 노이즈, 모션 블러, 비, 안개, 저조도 조건이라는 다섯 가지 서로 다른 이미지 문제 시퀀스에 대해 테스트했습니다. 그 결과, 단순히 새로운 데이터로 네트워크를 재학습시키는 표준적인 방식은 이전 기술을 너무 심하게 잊게 만들어, 표준 품질 척도에서 초기 작업의 성능이 15점 이상 떨어졌습니다. 반면, 그들의 새로운 방식은 다섯 가지 작업 모두에서 높은 성능을 유지하며 망각 문제를 효과적으로 완전히 제거했습니다.

또한 이 연구는 이 접근 방식이 실험실에서 만들어진 합성 이미지가 아닌 실제 세계의 이미지에서도 작동함을 입증했습니다. 연구팀은 자연스러운 블러, 비 및 기타 결함이 포함된 수천 장의 이미지가 담긴 11개의 서로 다른 실제 세계 데이터셋을 대상으로 시스템을 테스트했습니다. 시스템은 약 90%의 이미지에 대해 어떤 수리 도구를 사용할지 정확히 식별해 냈으며, 최종 결과물의 품질은 마치 인간이 시스템에게 정확히 어떤 문제인지 알려준 것과 거의 다름없을 정도로 우수했습니다. 이는 시스템이 이전에 보았던 손상 유형과 유사하다면, 본 적 없는 새로운 콘텐츠에 대해서도 학습을 일반화할 수 있음을 시사합니다. 연구진은 이것이 중요한 진전이라고 주장하는데, 왜냐하면 이는 대량의 오래된 데이터를 저장하거나 처음부터 다시 훈련할 필요 없이 이미지 복원 시스템이 시간이 지남에 따라 성장하고 적응할 수 있는 실질적인 방법을 제시하기 때문입니다. 새로운 기술의 학습을 시스템의 핵심 지식으로부터 격리함으로써, 그들은 인공지 что가 이전의 것을 잊지 않고 새로운 기술을 습득하는 인간처럼, 능력을 순차적으로 축적할 수 있는 프레임워크를 만들어 냈습니다.

=== 기술 요약: 망각 없는 복원 (Restoring Without Forgetting, RwF)

문제 정의

본 논문은 연속 학습(continual learning) 환경, 구체적으로는 도메인 점진적 학습(Domain-Incremental Learning, DIL) 상황에서의 다중 열화 이미지 복원(multi-degradation image restoration) 과제를 다룹니다. 최근의 "올인원(all-in-one)" 아키텍처들은 여러 열화 데이터를 학습 시점에 동시에 접근할 수 있다고 가정하여 모든 대상 열화 데이터를 공동으로 처리할 수 있지만, 이는 실세계 배포 시 발생하는 문제를 간과한 "폐쇄형 세계(closed-world)" 가정을 전제로 합니다. 실제 현장에 배치된 시스템에서는 과거의 학습 데이터에 대한 저장 공간, 개인정보 보호 또는 라이선스 제약으로 인해 과거 데이터에 접근할 수 없는 상태에서, 시간의 흐름에 따라 열화(예: 노이즈, 블러, 비, 안개, 저조도)가 순차적으로 발생하는 상황을 마주하게 됩니다.

기존 방식들은 다음과 같은 딜레마에 직면합니다:

순차적 미세 조정(Sequential Fine-Tuning): 새로운 데이터로 재학습하면 이전 열화에 대한 표현(representation)이 덮어씌워져 **치명적 망각(catastrophic forgetting)**이 발생합니다.
처음부터 다시 학습(Retraining from Scratch): 매번 새로운 열화가 나타날 때마다 새로운 네트워크를 학습시키는 것은 계산 비용이 많이 들고 확장성이 떨어집니다.
올인원 공동 학습(All-In-One Joint Training): 과거와 현재의 모든 데이터를 다시 모아야 하는데, 이는 이전 데이터를 사용할 수 없는 상황에서는 불가능합니다.

또한, 기존 파이프라인은 테스트 이미지가 어떤 열화 유형에 속하는지 알고 있는 "오라클(oracle)"이 존재한다고 암묵적으로 가정하지만, 이는 추론 시 도메인 레이블을 사용할 수 없는 오픈 월드 시나리오에서는 성립하지 않는 가정입니다.

방법론: RwF 프레임워크

저자들은 과거 데이터를 보유하지 않고도, 또한 테스트 시점에 열화 레이블을 알지 못해도 순차적으로 열화를 학습할 수 있도록 설계된 매개변수 효율적인 프레임워크인 **망각 없는 복원(Restoring without Forgetting, RwF)**을 제안합니다.

1. 콘텐츠 제어 벤치마크 구축

열화 학습을 데이터셋의 변동으로부터 분리하기 위해, 저자들은 다섯 가지 열화 도메인(노이즈, 모션 블러, 비, 안개, 저조도)을 모두 단일 공유 클린 이미지 코퍼스(DIV2K)로부터 합성하여 벤치마크를 구축했습니다. 이를 통해 도메인 간의 차이가 장면 내용( $p(c)$ )의 변화가 아닌 오직 열화 연산자( $T_t$ )로부터 발생하도록 보장함으로써, 라우팅 메커니즘이 데이터셋 특유의 사전 지식(prior)이 아닌 열화 특유의 시그니처를 학습할 수 있게 합니다.

2. 동결된 백본과 열화 격리 어댑터

RwF는 가우시안 디노이징 가중치로 초기화된 사전 학습된 복원 백본(예: Restormer 또는 NAFNet)을 사용하며, 학습 과정 내내 이 백본은 동결(frozen) 상태를 유지합니다. 이 백본은 강력한 자연 이미지 사전 지식을 제공하는 공유된 고정 기질 역할을 합니다.

저계수 어댑터(Low-Rank Adapters): 각 새로운 열화 도메인 $t$ 에 대해, 백본에 부착되는 경량화된 네트워크 전반의 경로인 저계수 어댑터가 할당됩니다. 이 어서들은 모든 블록에서 특징값에 대해 병목 잔차 수정(bottleneck residual corrections)을 적용합니다.
매개변수 격리: 단계 $t$ 에서 오직 새로운 어댑터 경로 $\Phi_t$ 만이 학습되며, 백본과 이전의 모든 경로 $\Phi_{<t}$ 는 동결된 상태를 유지합니다. 이러한 엄격한 매개변수 격리는 새로운 도메인의 그래디언트가 이전 도메인에 영향을 미치지 않도록 보장하여, 구조적으로 **치명적 망각을 제로(zero)**로 만듭니다.
효율성: 오버헤드는 매우 적으며(도메인당 백본 매개변수의 약 3~4%), 백본을 복제하는 대신 도메인 수에 따라 선형적으로 확장됩니다.

3. 비지도 프로토타입 기반 라우팅

테스트 시 도메인 레이블을 사용할 수 없으므로, RwF는 보조 분류기 없이 입력을 올바른 어댑터 경로로 라우팅하기 위해 프로토타입 매칭 메커니즘을 채택합니다.

특징 읽기(Feature Readout): 분류 작업에서 딥 피처(deep features)를 사용하는 것과 달리, 저자들은 초기 인코더 특징(첫 번째 인코더 스테이지의 출력)이 열화 구분에 가장 판별력이 높다는 것을 발견했습니다. 복원 백본이 진행됨에 따라 백본은 깨끗한 이미지를 재구성하기 위해 열화 신호를 억제하므로, 깊은 층의 특징은 열화 유형을 구별하는 데 정보력이 떨어집니다.
임베딩 집계: 공간 특징 맵은 채널 및 공간 차원에 대해 **평균(mean)**과 **표준 편차(standard deviation)**를 모두 계산하여 집계됩니다. 이 모멘트들은 독립적으로 $\ell_2$ 정규화된 후 결합되어 도메인 임베딩을 형성합니다.
라우팅: 각 도메인의 프로토타입은 훈련 샘플의 일부로부터 임베딩을 평균하여 형성됩니다. 추론 시에는 미지의 입력이 임베딩되고, 자신의 프로토타입과 **코사인 유사도(cosine similarity)**가 가장 높은 경로로 라우팅됩니다.

주요 기여

연속 학습 공식화: 본 논문은 다중 열화 복원을 열화가 순차적으로 도착하고, 과거 데이터는 사용할 수 없으며, 테스트 시 도메인 정체를 알 수 없는 도메인 점진적 학습 문제로 정의했습니다.
매개변수 효율적 프레임워크: RwF는 열화별 저계수 어댑터를 통해 망각을 제거하는 백본 동결 구조를 도입했습니다. 또한 경량화된 프로토타입 매칭 메커니즘을 통해 비지도 방식으로 입력을 라우팅하며, 전용 도메인 네트워크를 만드는 비용을 피합니다.
콘텐츠 제어 벤치마크 및 Sim-to-Real 평가: 저자들은 열화 연산자를 콘텐츠 변동으로부터 분리한 다섯 가지 도메인 벤치마크를 제공하며, 학습된 어댑터가 재학습 없이 11개의 전형적인 실제 열화 벤치마크(3,465 이미지)로 전이될 수 있음을 입증했습니다.

실험 결과

프레임워크는 다섯 가지 열화 시퀀스에 대해 Restormer(Transformer 기반)와 NAFNet(Convolutional 기반) 백본을 사용하여 평가되었습니다.

순차적 미세 조정 대비 성능: 순차적 미세 조정은 심각한 망각을 겪습니다. RwF는 순차적 미세 조정 대비 최종 평균 PSNR을 15.25 dB(Restormer) 및 11.83 dB(NAFNet) 개선했습니다.
올인원(All-In-One)과의 비교: RwF는 이후 도메인을 학습하는 동안 과거 데이터를 전혀 보지 않았음에도 불구하고, 다섯 개 도메인의 합집합에 대한 공동 "올인원" 학습과 대등하거나 (Restormer의 경우) 더 우수한 성능을 달성했습니다.
망각 지표: RwF는 0.00 dB의 망각(F=0)을 달성하였으며, 이는 이전 도메인에 대한 성능이 새로운 도메인을 학습한 후에도 완벽하게 보존됨을 의미합니다.
실제 세계 전이(Real-World Transfer): 11개의 실제 벤치마크에서 RwF는 그라운드 트루스 도메인을 아는 오라클과 비교했을 때 89.5%의 라우팅 정확도와 +0.94 dB PS별 잔차를 기록했습니다.
절제 연구(Ablation Studies):
- 읽기 깊이(Readout Depth): 초기 인코더 특징(Stage 1)을 사용하는 것이 더 깊은 특징이나 봇틀넥(bottleneck)을 사용하는 것(58.8%)보다 훨씬 높은 라우팅 정확도(79.7%)를 보였으며, 이는 복원 백본이 깊은 층에서 열화 단서를 억제한다는 점을 확인시켜 줍니다.
- 집계(Aggregation): 별도의 정규화를 거친 평균과 표준 편차를 결합하는 것이 글로벌 평균 풀링(GAP)만 사용하는 것보다 우수한 성능을 보였습니다.

의의 및 주장

본 논문은 저자들의 지식 범위 내에서, 연속적 다중 열화 이미지 복원을 위한 최초의 체계적인 베이스라인을 구축했다고 주장합니다. 저자들은 다음을 입증했습니다:

엄격한 매개변수 격리를 통해 생성적 복원 작업에서 망각을 제거할 수 있으며, 이는 리플레이 버퍼나 정규화 페널티 없이도 가능합니다.
특정 열화 연산자에 고유한 초기 단계 통계량을 활용함으로써, 픽셀 수준의 밀집된 작업에서도 비지도 라우팅이 가능하다는 것을 보여주었습니다.
학습 코퍼스가 콘텐츠 제어 방식이라 하더라도, 열화 연산자가 실제 특성에 맞게 물리적으로 모델링되었다면 **합성-실제 전이(Synthetic-to-Real transfer)**가 가능하다는 것을 입증했습니다.

저자들은 한계점도 인정했는데, 주로 전역적 시그니처(예: 저조도)를 가진 열화의 경우 라우팅 정확도가 저하될 수 있다는 점과, 훈련 합성 범위를 초과하는 실제 분포에 대응하기 위해 어댑터 경로가 주파수 영역 투영이나 커널 인식 재매개변화(kernel-aware re-parameterization)를 통해 강화될 수 있다는 점을 언급했습니다.