Universal Image Restoration via Internalized Chain-of-Thought Reasoning

기술 요약: 내부화된 사고의 사슬(Chain-of-Thought) 추론을 통한 범용 이미지 복원

문제 정의
이미지 복원은 저하된 입력으로부터 고품질 이미지를 회복하는 것을 목표로 하며, 이는 소비자 사진부터 자율 주행에 이르기까지 다양한 응용 분야에서 매우 중요한 작업입니다. 단일 작업(예: 단일 작업 디레인(deraining) 또는 디블러링(deblurring))을 처리하는 데는 상당한 진전이 있었으나, 실제 환경은 복잡하고 혼합된 저하 양상을 포함합니다. 이러한 손상은 강한 비선형적이고 공간적으로 변화하는 상호작용을 보이며, 이로 인해 복합적인 복원은 개별적인 저하를 독립적으로 처리하는 것보다 훨씬 더 까다롭습니다.

기존의 통합된 "올인원(all-in-one)" 모델들은 저하 조합의 복잡성이 증가함에 따라 일반화 성능이 떨어지는 경우가 많으며, 종종 얽혀 있는 데이터 분포 문제로 인해 어려움을 겪습니다. 반대로, 최근의 사고의 사슬(Chain-of-Thought, CoT) 추론 방식을 채택한 접근법들은 복원을 전문화된 모듈을 통한 다단계, 순차적 하위 작업으로 분해합니다. 이러한 방식은 해석 가능성은 높지만, (i) 다단계 프로세싱 및 순차적 모델 호출로 인한 높은 계산 비용, (ii) 저하 간의 상호 의존성을 모델링하지 못한다는 두 가지 결정적인 한계를 가집니다. 즉, 저하를 독립적으로 취급함으로써 결합된 형태의 실제 손상(예: 디레인이 노이즈를 증폭시키거나, 디헤이징(dehazing)이 색상을 변화시켜 후속 디블러링에 영향을 주는 경우)의 결합된 특성을 간과하게 됩니다.

방법론: CoTIR
저자들은 순차적인 서브 모듈의 필요 없이 단일 통합 모델 내에 CoT 추론을 내재화한 범용 이미지 복원 프레임워크인 CoTIR을 제안합니다. 핵심 철학은 복합 이미지 복원을 구조화된 "사고(Thinking) $\rightarrow$ 계획(Planning) $\rightarrow$ 실행(Action)" 과정으로 재정의하는 것입니다.

1. 이론적 정식화:
   복원 작업은 다중 제약 최적화 문제로 정식화됩니다. 모델은 다음과 같은 중간 텍스트 표현을 생성하도록 유도됩니다:

• 사고(Thinking): 잠재 표현을 깨끗한 콘텐츠의 고유한 특징 묘사와 고차원적 저하 패턴 식별으로 분리합니다.
• 계획(Planning): 이러한 표현들 사이의 상호작용을 모델링하여 일관된 복원 전략을 도출합니다.
• 실행(Action): 단 한 번의 포워드 패스(forward pass)를 통해 엔드투엔드(end-to-end) 복원을 수행합니다.

이러한 중간 단계들은 미분 가능한 소프트 제약(soft constraints)을 통해 라그랑주 최적화(Lagrangian optimization) 정식화로 강제됩니다. 목적 함수는 중간 출력($\hat{C} = \{\hat{c}_s, \hat{c}_d, \hat{c}_p\}$)이 정답 추론 타겟과 정렬되도록 하는 제약 조건을 만족하면서 플로우 매칭(flow matching) 손실을 최소화합니다. 이는 모델 파라미터와 라그랑주 승수를 공동으로 최적화하기 위해 듀얼 옵티마이저 프라이멀-듀얼(dual-optimizer primal–dual) 절차를 사용하여 해결됩니다.

2. 아키텍처 및 초기화:

• 베이스 모델: CoTIR은 강력한 대규모 사전 학습 이미지 편집 모델인 FLUX의 디코더를 미세 조정하여 구현됩니다. 저자들은 이미지 복원이 이미지 편집의 특화된 하위 작업이라고 가설을 세웠습니다. 따라서 사전 학습된 편집 모델은 랜덤 초기화나 복원 전용 사전 학습에 비해 우수한 제로샷 능력과 일반화 성능을 제공하는 더 나은 최적화 시작점을 제공합니다.
• CoT 어댑터: 추론 과정을 내재화하기 위해 특화된 모듈이 포함됩니다. 이는 시각-텍스트 결합 입력을 처리하기 위해 게이트드 셀프 어텐션(gated self-attention) 메커니즘이 있는 CoTIRBlock 스택을 사용합니다. 어댑터는 속도장(velocity field) 예측을 가이드하는 CoT 강화 텍스트 임베딩을 생성합니다.
• 학습 전략: 본 프레임워크는 정밀한 저하 프롬프트로 시작하여 점진적으로 모호한 프롬프트를 도입함으로써, 모델이 단순히 명령을 실행하는 것을 넘어 저하 유형을 스스로 추론하도록 강제하는 점진적 학습 전략을 채택합니다. 효율적인 디코더 미세 조정을 위해 로우 랭크 적응(LoRA)을 활용합니다.

3. CoTIR-Bench:
   학습과 평가를 용이하게 하기 위해, 저자들은 520만 개의 샘로 구성된 대규모 벤치마크인 CoTIR-Bench를 구축했습니다. 이 데이터셋은 광범위한 저하 양상(예: 저조도, 안개, 비, 눈, 블러, 노이즈, 압축 아티팩트)과 그들의 복잡한 조합을 다루는 60개 이상의 공개 데이터셋을 집계한 것입니다. 결정적으로, 각 샘플은 Qwen2.5-VL과 같은 고급 시각-언어 모델(VLM)을 사용하여 생성된 고품질의 CoT 스타일 추론 궤적(장면 설명, 저하 식별 및 복원 계획)으로 주석이 달렸습니다.

주요 기여

• 새로운 패러다임: 복합 이미지 복원을 구조화된 추론 문제로 재정의하고, 단일 프레임워크 내에서 홀리스틱(holistic)한 엔드투엔드 모델링을 가능하게 하는 "사고 $\rightarrow$ 계획 $\rightarrow$ 실행" 패러다임을 도입했습니다.
• 내재화된 CoT: 라그랑주 최적화에 기반한 미분 가능한 소프트 제약을 통해 추론 과정을 내재화함으로써, 순차적 다회차 방식의 계산 오버헤드와 상호작용 간극을 제거한 CoTIR을 제안했습니다.
• 벤치마크 및 데이터: CoT 추론 궤적이 포함된 대규모 데이터셋인 CoTIR-Bench를 구축하고, 다양한 저하 시나리오에서 최첨단(SOTA) 성능을 입증했습니다.

실험 결과
CoTIR-Bench 및 실제 복합 저하 장면에서의 광범한 실험은 제안된 방법의 효능을 입증합니다:

• 성능: CoTIR은 비참조 지각 지표(CLIP-IQA+, Q-Align, LIQE)와 참조 지표(PSRE, SSIM, LPIPS) 모두에서 SOTA 또는 근접한 SOTA 성능을 달이트합니다. 특히, 보지 못한(unseen) 저하 조합을 처리하는 데 있어 기존의 올인원 모델 및 다회차 복원 방식(예: AutoDIR, AgenticIR, Q-Agent)보다 뛰어난 성능을 보입니다.
• 질적 우수성: 시각적 비교 결과, CoTIR은 더 일관된 장면 디테일을 생성하고 견고한 복원을 수행하며, 순차적 방식에서 발생하는 잔류 아티팩트를 효과적으로 제거함을 보여줍니다. 또한 복잡하고 미지의 저하 조합에 대해 강력한 일반화 능력을 입증합니다.
• 효율성: 추론을 단일 모델로 내재화함으로써, Co-TIR은 다회차 파이프라인보다 훨씬 높은 효율성을 달성합니다. 예를 들어, CoTIR(Flux.2-4B)은 1.84초(5단계) 만에 추론을 완료하여, AutoDIR(327초)이나 LucidFlux(8.11초)와 같은 다단계 방식보다 실질적으로 빠르면서도 경쟁력 있거나 더 우수한 복원 품질을 유지합니다.
• 절제 연구(Ablation Studies): 실험을 통해 CoT 어댑터의 필요성, 멀티모달 퓨전을 위한 크로스 어텐션 대비 게이트드 어텐션의 우수성, 그리고 복원 목적 함수와 CoT 제약 사이의 균형을 맞추는 데 있어 학습 가능한 라그랑주 승수의 결정적인 역할을 확인했습니다.

의의
본 논문은 CoTIR이 파편화된 순차적 처리에서 벗어나 통합된 추론 기반 접근 방식으로 전환함으로써 이미지 복원의 중요한 변화를 가져왔다고 주장합니다. 이미지 복원을 이미지 편집의 특화된 형태로 취급하고 미분 가능한 제약을 통해 CoT 추론을 내재화함으로써, 이 방법은 기존의 통합 모델(복잡한 혼합에 대한 낮은 일반화)과 다회차 방식(높은 비용 및 상호 의존성 무시)의 근본적인 한계를 해결합니다. 이 연구는 구조화된 추론이 생성 모델에 적절히 통합될 때, 실제 세계의 복잡한 저하 시나리오를 위한 더욱 견고하고 효율적이며 지각적으로 고품질인 복원 솔루션을 제공할 수 있음을 시사합니다.