SLER-IR: Spherical Layer-wise Expert Routing for All-in-One Image Restoration

이 논문은 다양한 열화 조건에서 특징 간 간섭과 전문가의 전문성 부족 문제를 해결하기 위해, 초구면 기반의 열화 임베딩과 전역 - 국소 세분도 융합 모듈을 통해 네트워크 계층별로 전문화된 전문가를 동적으로 활성화하는 'SLER-IR'이라는 통합 이미지 복원 프레임워크를 제안합니다.

핵심

이 논문은 **'SLER-IR'**이라는 새로운 인공지능 기술을 소개합니다. 이 기술은 흐릿하거나, 비가 오거나, 어두운 사진 등을 원래의 선명한 모습으로 되돌려주는 '이미지 복원' 작업을 한 번에 해결해 줍니다.

기존의 방법들은 "비 제거용 AI", "흐림 제거용 AI"처럼 작업마다 다른 전문가를 따로 불러야 했지만, SLER-IR 은 **한 명의 '슈퍼 전문가'**가 모든 상황을 알아서 해결해 줍니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제: 왜 기존 기술은 부족할까요?

상상해 보세요. 사진이 망가졌을 때, 우리는 보통 특정 도구를 찾습니다.

• 사진에 비가 왔다면? → '빗물 지우개'를 찾습니다.
• 사진이 흐릿하다면? → '초점 맞추기 렌즈'를 찾습니다.

기존 AI 들도 비슷합니다. 각자 특화된 전문가 (모델) 들이 따로 있습니다. 하지만 현실에서는 비가 오면서 동시에 안개가 끼고, 사진도 흔들려서 흐릿한 경우가 많습니다. 이때는 "빗물 지우개"만으로는 부족하고, "안개 제거기"와 "흔들림 방지기"를 모두 써야 하는데, 기존 기술들은 이런 복합적인 상황을 처리하는 데 서툴렀습니다. 마치 비가 오는데 우산만 들고 나가는 것과 비슷하죠.

2. 해결책: SLER-IR 의 핵심 아이디어

이 논문은 **"하나의 거대한 병원 (AI)"**을 만들었습니다. 이 병원은 모든 질병 (이미지 손상) 을 한 번에 치료할 수 있지만, 단순히 한 명의 의사가 모든 것을 하는 게 아닙니다.

🌟 비유 1: "구형 층별 전문가 라우팅" (Spherical Layer-wise Expert Routing)

이 시스템은 8 층짜리 빌딩으로 생각해보세요.

• 기존 방식: 1 층부터 8 층까지 모든 층에 똑같은 의사들이 서 있습니다. 모든 환자를 똑같은 방식으로 진료하죠.
• SLER-IR 방식: 각 층마다 서로 다른 3 명의 전문가가 대기하고 있습니다.
  • 1 층에서는 '비'를 주로 다룰 전문가가 나옵니다.
  • 2 층에서는 '흐림'을 다룰 전문가가 나옵니다.
  • 3 층에서는 '색감'을 보정할 전문가가 나옵니다.

핵심은 '라우팅 (길 안내)'입니다.
환자 (사진) 가 들어오면, AI 는 "아, 이 사진은 비와 흐림이 섞였구나!"라고 바로 판단합니다. 그리고 각 층마다 가장 적합한 전문가를 자동으로 골라서 환자를 데려갑니다.

• 비가 많은 층에서는 '빗물 전문가'를,
• 흐림이 심한 층에서는 '초점 전문가'를 선택합니다.

이렇게 하면 한 번에 모든 문제를 해결하면서도, 불필요한 전문가를 부르지 않아 빠르고 효율적입니다. 마치 병원에서 환자의 증상에 따라 각 층마다 최고의 의사에게 진료를 받는 것과 같습니다.

🌟 비유 2: "구형 (Spherical) 지도"와 "나침반"

전문가를 고르는 게 얼마나 중요한지 아시나요? 만약 지도가 엉망이면, 환자를 엉뚱한 의사에게 보내게 됩니다.

• 기존 방식: 평면 지도를 사용합니다. "비"와 "안개"가 지도상에서 너무 멀리 떨어져 있거나, 너무 가까워 구분이 안 갈 수 있습니다. (기하학적 왜곡)
• SLER-IR 방식: 지구 (구형) 지도를 사용합니다.
  • 모든 손상 유형 (비, 안개, 흐림 등) 을 지구 표면 위에 고르게 배치합니다.
  • AI 는 이 지구 위에서 **나침반 (코사인 유사도)**을 이용해 가장 가까운 전문가를 찾습니다.
  • 이렇게 하면 "비"와 "안개"가 서로 섞이지 않고 명확하게 구분되어, 정확한 전문가를 선택할 수 있습니다.

🌟 비유 3: "전체 지도"와 "현장 사진"의 조화 (GLGF)

사진을 복원할 때, 전체적인 분위기와 구체적인 손상 부위를 모두 봐야 합니다.

• 기존 방식: 전체 사진을 보거나, 작은 조각 (패치) 만 보는 식으로 따로따로 처리해서, 큰 그림과 작은 디테일이 어긋나는 경우가 많았습니다.
• SLER-IR 방식: **전체 지도 (글로벌)**와 **현장 사진 (로컬)**을 한 장의 지도에 합칩니다.
  • "전체적으로 날씨가 흐리구나 (글로벌)"라는 정보와, "이 구석에 비가 심하게 맺혔구나 (로컬)"라는 정보를 동시에 보고, 가장 정확한 치료법을 제시합니다.

---

3. 결론: 왜 이것이 대단한가요?

이 기술은 "모든 것을 한 번에, 하지만 똑똑하게" 처리합니다.

1. 유연함: 비, 안개, 흐림, 어둠 등 어떤 손상이 섞여도, AI 는 스스로 "어떤 전문가를 어떤 순서로 불러야 할지" 결정합니다.
2. 정확함: 지구 지도 (구형) 방식을 써서 전문가를 고르는 실수를 줄였습니다.
3. 효율성: 모든 전문가를 동시에 부르는 게 아니라, 필요한 사람만 골라 부르기 때문에 빠르고 가볍습니다.

한 줄 요약:

SLER-IR 은 **손상된 사진을 치료하는 '슈퍼 병원'**으로, 환자의 증상 (손상 유형) 에 따라 각 층마다 최고의 전문가를 자동으로 골라 정밀하게 치료해 주는 똑똑한 시스템입니다.

이 기술 덕분에 앞으로 우리는 비가 오거나 어두운 환경에서도 선명한 사진을 한 번의 클릭으로 얻을 수 있게 될 것입니다!

기술 요약

1. 문제 정의 (Problem)

기존의 이미지 복원 (Image Restoration) 연구는 주로 특정 열화 (Noise, Rain, Blur 등) 에 특화된 단일 작업 모델로 접근했습니다. 그러나 실제 세계에서는 다양한 열화가 복합적으로 발생하거나 예측 불가능한 열화가 나타나는 경우가 많습니다. 이를 해결하기 위해 등장한 '올인원 (All-in-One)' 프레임워크는 하나의 모델로 다양한 열화를 처리하려 시도하지만, 다음과 같은 한계점을 가지고 있습니다.

• 특성 간 간섭 (Feature Interference): 공유된 백본 (Backbone) 내에서 서로 다른 열화 제거 목표 (예: 노이즈 제거 vs 고주파 세부 정보 복원) 가 충돌하여 미세한 열화별 모델링이 어렵습니다.
• 전문가 (Expert) 의 비효율적 활용: 기존 혼합 전문가 (Mixture-of-Experts, MoE) 방식은 전문가를 국소 모듈에 국한시키거나, 열화 간의 유사성을 고려하지 않은 경직된 라우팅을 사용하여 최적의 전문화를 달성하지 못합니다.
• 그레인룰리티 (Granularity) 격차: 학습 시 패치 (Patch) 단위로 수행되지만 추론 시 전체 이미지를 처리할 때 발생하는 공간적 불균일 열화 (예: 국소적인 비 줄무늬) 와 학습 - 테스트 간의 격차를 해결하지 못합니다.
• 선형 임베딩의 기하학적 편향: 기존 라우팅 메커니즘은 선형 공간에서 열화를 표현하는데, 이로 인해 클래스 간 거리 편향이 발생하여 라우팅 결정이 불안정해집니다.

2. 제안 방법론 (Methodology)

저자들은 **SLER-IR (Spherical Layer-wise Expert Routing)**이라는 새로운 프레임워크를 제안합니다. 이는 네트워크의 각 레이어에서 동적으로 전문화된 전문가 (Expert) 를 활성화하는 구조를 가지며, 다음과 같은 핵심 구성 요소로 이루어져 있습니다.

가. 구형 레이어별 전문가 라우팅 (Spherical Layer-wise Expert Routing, SLER)

• 구조: 인코더 - 디코더 구조의 각 백본 블록을 여러 개의 파라미터 독립적인 '전문가 노드'로 확장합니다.
• 동적 경로 구성: 입력 이미지의 열화 특성에 따라 각 레이어에서 특정 전문가를 동적으로 선택합니다. 8 개의 레이어에 각각 3 개의 전문가가 있다면 $3^8 = 6561$개의 고유한 추론 경로를 구성할 수 있어, 복잡한 복합 열화에 유연하게 대응하면서도 추론 오버헤드를 증가시키지 않습니다.

나. 구형 균일 열화 임베딩 및 대비 학습 (Spherical Uniform Degradation Embedding)

• 기하학적 편향 제거: 열화 표현을 선형 공간이 아닌 **단위 초구면 (Unit Hypersphere)**에 매핑하여 L2 정규화를 수행합니다. 이를 통해 선형 공간에서 발생할 수 있는 클래스 간 거리 편향을 제거하고, 코사인 유사도 기반의 안정된 라우팅을 가능하게 합니다.
• 트리플릿 대비 손실 (Triplet-constrained Contrastive Loss): 열화 임베딩이 초구면 상에서 균일하게 분포하도록 하고, 클래스 내에서는 밀집되도록 하여 라우팅의 판별력을 극대화합니다.

다. 글로벌 - 로컬 그레인룰리티 퓨전 (Global–Local Granularity Fusion, GLGF)

• 문제 해결: 학습 시의 패치 단위 정보와 추론 시의 전체 이미지 정보 간의 격차, 그리고 공간적으로 불균일한 열화 (국소적인 비나 안개) 를 해결합니다.
• 구현:
  1. GLMC (Global-Local Map Construction): 전체 이미지의 시맨틱 정보 (CLS 토큰) 와 열화 심각도 정보 (Patch 단위) 를 추출하여 CSP(Content Semantic Patch) 맵과 DSP(Degradation Severity Patch) 맵을 생성합니다.
  2. CGDF (Content-Guided Degradation Fusion): 크로스 어텐션을 통해 콘텐츠 정보와 열화 정보를 융합하여, 공간적으로 변하는 열화에 강건한 복원 우선순위 (Restoration Prior) 맵을 생성합니다.

3. 주요 기여 (Key Contributions)

1. SLER-IR 프레임워크 제안: 백본 레이어를 확장하고 레이어별 동적 전문가 활성화를 통해, 다양한 열화 및 복합 열화에 점진적으로 전문화되는 구성적 추론 (Compositional Inference) 경로를 가능하게 함.
2. 구형 균일 열화 임베딩: 선형 공간의 기하학적 편향을 제거하고 초구면 상의 대비 학습을 통해 열화 표현의 분리성과 라우팅 안정성을 획기적으로 개선.
3. GLGF 모듈 설계: 글로벌 시맨틱과 로컬 열화 단서를 융합하여 학습 - 테스트 간 그레인룰리티 격차를 해소하고, 공간적 불균일 열화 하에서도 강건한 라우팅 가이드 제공.

4. 실험 결과 (Results)

• 벤치마크: 3 가지 작업 (Dehazing, Deraining, Denoising) 및 5 가지 작업 (Deblurring, Low-light enhancement 추가) 설정에서 SOTA 방법론 (AirNet, PromptIR, MoCE-IR, Restormer 등) 과 비교 평가.
• 정량적 성능:
  • 3 작업 설정: 평균 PSNR 33.14 dB / SSIM 0.922 를 기록하여 기존 최상위 모델 (MoCE-IR) 보다 PSNR 0.41 dB, SSIM 0.005 향상.
  • 5 작업 설정: 평균 PSNR 31.73 dB / SSIM 0.928 를 기록하여 이전 최상위 모델 대비 PSNR 1.15 dB, SSIM 0.009 향상. 특히 Dehazing(SOTS) 에서 +2.59 dB, Deblurring(GoPro) 에서 +1.22 dB 의 큰 개선을 보임.
• 정성적 성능: 저조도, 흐림, 안개, 비 등 다양한 시나리오에서 기존 방법들이 겪는 잔여 블러, 색상 왜곡, 세부 정보 손실 문제를 해결하고 더 선명하고 자연스러운 복원 결과를 제공.
• Ablation Study: 구형 대비 손실 (Hyperspherical Contrastive Loss) 과 GLGF 모듈이 성능 향상에 결정적인 역할을 함을 확인. 레이어당 전문가 수 (C=3) 가 최적의 효율성과 성능을 제공함.

5. 의의 및 중요성 (Significance)

이 논문은 이미지 복원 분야에서 '올인원' 접근법의 새로운 패러다임을 제시합니다.

• 효율성과 적응성의 균형: 모든 전문가를 활성화하지 않고도, 레이어별 동적 라우팅을 통해 지수적으로 다양한 처리 경로를 확보하여 복잡한 열화에 적응하면서도 계산 비용을 증가시키지 않습니다.
• 기하학적 관점의 혁신: 열화 표현 학습에 '선형 공간' 대신 '구면 (Hypersphere)'을 도입하여 라우팅의 근본적인 불안정성을 해결했습니다.
• 실용성: 학습과 추론 간의 격차를 해소하고 국소적 열화에도 강건한 모델을 제공함으로써, 실제 복잡한 환경에서의 이미지 복원 적용 가능성을 크게 높였습니다.

결론적으로 SLER-IR 은 기존 단일 작업 모델의 한계를 극복하고, 다양한 열화 조건에서 SOTA 성능을 달성하는 통합적이고 효율적인 이미지 복원 프레임워크로서 큰 의의를 가집니다.