MFSR: MeanFlow Distillation for One Step Real-World Image Super Resolution

이 논문은 다단계 샘플링의 지연 문제를 해결하면서도 고해상도 복원 품질을 유지하고 단계 수를 유연하게 조절할 수 있도록, 평균 흐름 (MeanFlow) 기반의 지식 증류 프레임워크인 MFSR 을 제안하여 단일 단계로 실세계 이미지 초해상도 작업을 수행하는 방법을 소개합니다.

핵심

1. 문제: "맛있는 요리"는 시간이 걸려요

기존에 고화질 사진을 만드는 AI(확산 모델) 는 마치 미슐랭 스타일 요리를 하는 셰프와 같습니다.

• 장점: 정말 맛있고 정교한 요리 (고화질 이미지) 를 만들어냅니다.
• 단점: 재료를 다듬고, 끓이고, 맛을 보고, 다시 끓이는 과정을 수십 번 반복해야 합니다. (수십 번의 계산 과정)
• 결과: 요리는 맛있지만, 손님이 기다리는 동안 요리가 식어버리거나 (시간이 너무 걸려서) 실제 식당에서 쓰기 어렵습니다.

2. 기존 해결책: "간이 레시피"의 한계

이 문제를 해결하려고 "한 번에 요리하는 레시피 (원스텝蒸馏)"를 개발한 연구들도 있었습니다.

• 하지만 이 레시피는 너무 급하게 만들다 보니 요리 맛이 떨어지거나, 더 이상 맛을 보며 수정할 수 있는 여지가 사라졌습니다.

3. MFSR 의 등장: "명인 셰프의 직관"을 배우다

이제 MFSR이 등장합니다. MFSR 은 단순히 레시피를 외우는 게 아니라, **명인 셰프 (Teacher)**가 요리를 하는 전체 과정의 흐름을 한 번에 파악하도록 훈련시킵니다.

핵심 비유 1: '평균 속도'로 여행하기

• 기존 방식: 여행지에서 A 지점에서 B 지점으로 갈 때, 매 1 초마다 "지금 어디에 있나? 다음 1 초는 어디로 가야 하나?"를 계산하며 천천히 갑니다. (수십 번의 계산)
• MFSR 방식: "A 에서 B 로 가는 전체 여행의 평균 속도를 미리 계산해 두세요."라고 가르칩니다.
  • 이렇게 하면 한 번의 계산으로 바로 목적지 (고화질 사진) 에 도착할 수 있습니다.
  • 하지만 만약 시간이 조금 더 있다면, 중간에 멈춰서 "아, 여기가 좀 더 다듬어야겠다"라고 몇 번 더 수정할 수도 있습니다. (유연성)

핵심 비유 2: "나쁜 맛을 없애는 비법" (CFG 전략)

요리할 때 "소금 너무 짜지 않게 해"라고만 하면, 오히려 맛이 이상해질 수 있습니다.

• MFSR 은 명인 셰프에게 **"이건 너무 짜고, 저건 너무 싱거워. 그리고 '기름진 맛'이나 '불맛' 같은 나쁜 맛은 절대 넣지 마"**라고 구체적으로 가르칩니다.
• 이 '나쁜 맛 제거 비법 (네거티브 프롬프트)'을 통해, 단순히 선명하게 만드는 것을 넘어 실제 사진처럼 생생하고 자연스러운 질감을 만들어냅니다.

---

4. MFSR 의 놀라운 성과

1. 순간적인 변환 (One-Step):
   • 흐릿한 사진을 넣으면 순간에 선명한 사진이 나옵니다. 스마트폰 앱에서도 실시간으로 사용할 수 있을 정도로 빠릅니다.
2. 유연한 선택 (Few-Step):
   • "시간이 없으니 그냥 한 번에 해줘"라고 하면 한 번에 끝내고,
   • "조금 더 완벽하게 만들고 싶어"라고 하면 두세 번 더 다듬어서 더 좋은 결과를 줍니다.
   • 기존 원스텝 기술들은 한 번에 끝내면 끝난 것이지만, MFSR 은 필요할 때 더 발전시킬 수 있습니다.
3. 실제 사진 같은 질감:
   • 단순히 선명하게만 만드는 게 아니라, 피부 결, 나뭇잎의 질감, 물결의 반사 등 세부적인 디테일까지 살아있게 만듭니다.

5. 결론: "빠르면서도 맛있는 요리"

MFSR 은 "수십 번의 복잡한 과정 없이도, 명인 셰프가 만든 요리만큼 맛있게, 그리고 필요하면 더 다듬어서 완벽하게" 사진을 고화질로 만들어주는 기술입니다.

이 기술이 상용화되면, 우리가 스마트폰으로 찍은 흐릿한 사진을 순간적으로 명화처럼 선명하게 만들 수 있게 될 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 실제 환경 이미지 초해상도 (Real-ISR) 의 필요성: 기존 초해상도 (ISR) 방법은 단순한 다운샘플링 쌍을 사용하지만, 실제 세계의 이미지는 복잡한 노이즈와 왜곡을 포함하고 있어 이를 복원하는 것은 매우 어렵습니다. 최근 생성 모델 (Diffusion, Flow) 을 활용한 Real-ISR 이 주목받고 있습니다.
• 추론 속도의 병목 현상: Diffusion 및 Flow 기반 모델은 높은 품질의 이미지를 생성하지만, 반복적인 디노이징 (Denoising) 과정으로 인해 추론 속도가 매우 느리고 계산 비용이 높습니다. 이는 실제 배포에 큰 장벽이 됩니다.
• 기존 1 스텝 (One-step) 방법의 한계: 추론 속도를 높이기 위해 1 스텝으로 distilled 된 방법들이 제안되었으나, 대부분 미세한 디테일 복원 능력이 떨어지거나, 추가 스텝을 통해 품질을 개선할 수 있는 유연성이 부족합니다. 또한, 복잡한 손실 함수 조합이나 보조 모델 (Score model) 이 필요하여 학습 비용이 높았습니다.

2. 제안 방법: MFSR (Mean Flows for Super-Resolution)

저자들은 MeanFlow를 기반으로 한 새로운 증류 (Distillation) 프레임워크인 MFSR을 제안합니다. 이는 강력한 다단계 Teacher 모델을 1 스텝 (또는 소수 스텝) Student 모델로 변환하여, 단일 단계에서도 고품질 복원을 가능하게 하면서도 필요시 추가 스텝으로 품질을 개선할 수 있는 유연성을 제공합니다.

핵심 기술 요소

1. MeanFlow 기반 증류 (MeanFlow Distillation):

   • 기존 Flow 모델이 각 시간 단계의 순간 속도 (Instantaneous velocity) 를 학습하는 반면, MeanFlow 는 두 상태 간의 **평균 속도 (Average velocity)**를 학습합니다.
   • 이를 통해 Student 모델이 Teacher 의 Probability Flow ODE (PF-ODE) 동역학을 명시적인 롤아웃 (Rollout) 없이도 효과적으로 모사할 수 있습니다.
   • 학습은 잠재 공간 (Latent space) 에서만 이루어지므로, 인코더/디코더를 통한 역전파가 불필요하여 학습 효율이 매우 높습니다.

2. Teacher CFG 기반 증류 전략 (Improved CFG Distillation):

   • 기존 MeanFlow 는 Student 모델 자체로 CFG (Classifier-Free Guidance) 를 적용하려 했지만, 이는 학습 불안정성을 초래했습니다.
   • MFSR 의 혁신: 사전 학습된 Teacher 모델의 CFG 예측값을 순간 속도의 타겟으로 직접 사용합니다.
   • 특히, Negative Prompt를 Teacher 의 CFG 에 통합하여 (v_neg_inst), 원치 않는 아티팩트 (artifacts) 를 억제하고 더 선명하고 풍부한 질감을 생성하도록 Student 를 지도합니다. 이는 기존 CFG 공식보다 강력한 지도 신호를 제공합니다.

3. 모델 구조 및 초기화:

   • Teacher 로는 대규모 Text-to-Image 모델인 DiT4SR (SD3.5 기반) 을 사용합니다.
   • Student 는 Teacher 의 가중치를 초기화하고, 시간 임베딩 (Time embedding) 을 두 개 (시작 시간 $t$와 종료 시간 $s$) 입력받도록 구조를 확장합니다.
   • 학습 시 $t=s$인 경우 (순간 속도 학습) 와 $t \neq s$인 경우 (평균 속도/단축 학습) 를 혼합하여 학습합니다.

3. 주요 기여 (Key Contributions)

1. Real-ISR 을 위한 최초의 MeanFlow 프레임워크: MeanFlow 를 실제 이미지 초해상도 작업에 적용하여, 1 스텝과 소수 스텝 (Few-step) 모두를 지원하는 유연한 프레임워크를 구축했습니다.
2. 고성능 CFG 증류 전략: Teacher 의 CFG 예측 (Negative Prompt 포함) 을 MeanFlow 증류 손실의 타겟으로 사용하여, 기존 MeanFlow CFG 공식보다 우수한 품질과 더 빠른 수렴을 달성했습니다.
3. 효율성과 품질의 동시 달성: 복잡한 손실 함수나 보조 모델 없이 잠재 공간에서의 MeanFlow 손실만으로 학습하여 효율성을 높였으며, 실험을 통해 다단계 Teacher 모델과 견줄 만한, 혹은 더 나은 품질을 1 스텝으로 달성함을 증명했습니다.

4. 실험 결과 (Results)

• 벤치마크 성능: Synthetic (DIV2K 등) 과 Real-world (RealSR, DRealSR, RealLQ250 등) 데이터셋에서 기존 1 스텝 방법들 (SinSR, CTMSR, OSEDiff, S3Diff 등) 과 비교했습니다.
  • 지표: PSNR, LPIPS, FID, NIQE, MUSIQ, MANIQA, CLIPIQA 등 다양한 지표를 평가했습니다.
  • 결과: MFSR-1s(1 스텝) 는 대부분의 perceptual 지표 (MANIQA, MUSIQ 등) 에서 기존 1 스텝 방법들을 압도적으로 상회했습니다. 특히 MANIQA 점수에서 1 스텝으로 가장 높은 성능을 보였습니다.
• 사용자 연구 (User Study): 75 명의 참가자를 대상으로 한 평가에서, MFSR-1s 는 **38.9%**의 선호도를 받아 2 위 방법보다 월등히 높은 선호도를 보였습니다. 이는 인간이 인지하는 질감과 디테일 복원 능력이 우수함을 의미합니다.
• 유연한 스텝 조절: 1 스텝만으로도 우수한 결과를 내지만, 2 스텝이나 4 스텝으로 늘리면 Teacher 모델 (DiT4SR-40s) 의 품질을 능가하거나 동등한 수준으로 복원할 수 있음을 확인했습니다. 이는 효율성과 품질 간의 균형을 사용자가 조절할 수 있음을 의미합니다.
• 비교 분석: Teacher 모델 (DiT4SR) 을 1 스텝으로만 실행하면 심각한 아티팩트가 발생하지만, MFSR 은 1 스텝으로도 아티팩트가 적고 디테일이 선명함을 시각적으로 증명했습니다.

5. 의의 및 결론 (Significance)

• 실용적 배포 가능성: 고해상도 이미지 복원 분야에서 Diffusion 모델의 가장 큰 약점인 '추론 속도' 문제를 해결하면서도, 품질 저하 없이 1 스텝 추론을 가능하게 함으로써 실제 응용 (모바일, 실시간 처리 등) 에 대한 가능성을 크게 열었습니다.
• 유연한 트레이드오프: 사용자는 계산 자원에 따라 1 스텝 (최고 속도) 에서부터 2~4 스텝 (최고 품질) 까지 자유롭게 선택하여 사용할 수 있는 유연한 시스템을 제공합니다.
• 생성적 사전 지식의 효과적 활용: Teacher 모델의 강력한 생성적 사전 지식 (Generative Priors) 과 CFG 전략을 MeanFlow 증류에 효과적으로 결합한 새로운 패러다임을 제시했습니다.

요약하자면, MFSR은 복잡한 생성 모델의 높은 계산 비용을 획기적으로 줄이면서도, 실제 세계의 열화 이미지를 고품질로 복원할 수 있는 효율적이고 유연하며 고품질인 1 스텝 초해상도 솔루션을 제시한 획기적인 연구입니다.