CLEAR: Unlocking Generative Potential for Degraded Image Understanding in Unified Multimodal Models

1. 문제 정의 (Problem Statement)

실제 세계의 시각 데이터 (자율주행, 감시 카메라, 모바일 촬영 등) 는 흐림 (blur), 노이즈 (noise), 압축 (compression), 저조도 (poor illumination) 등으로 인해 심하게 열화 (degradation) 되는 경우가 많습니다. 이러한 열화는 다중 모달 모델이 의존하는 저수준 시각적 단서를 손상시켜 인식 및 추론 능력을 크게 저하시킵니다.

기존의 **통합 멀티모달 모델 (Unified Multimodal Models)**은 하나의 아키텍처 내에서 이미지 이해 (Understanding) 와 생성 (Generation) 능력을 모두 갖추고 있습니다. 그러나 열화된 이미지에 대한 질문을 할 때, 이러한 모델들은 다음과 같은 한계를 보입니다:

• 기능적 단절 (Functional Disconnect): 생성 경로 (Generative Pathway) 가 열화된 정보를 복구하여 추론을 돕는 데 활용되지 않습니다. 이해와 생성이 공존하지만 서로 연결되지 않은 채 작동합니다.
• 학습 부재: 기존 학습 방식에서는 모델이 추론 과정에서 생성을 호출하도록 훈련된 적이 없습니다.
• 구조적 병목 현상: 기존 아키텍처에서는 생성된 잠재 표현 (Latent Representation) 을 픽셀 공간으로 디코딩한 후, 다시 비동기화된 비전 인코더 (Vision Encoder) 를 통해 재인코딩해야만 추론에 활용됩니다. 이 과정에서 그래디언트 연결이 끊겨, 최종 답변의 정확도가 생성 과정에 영향을 미치지 못합니다.

2. 방법론 (Methodology: CLEAR Framework)

저자들은 이 단절을 해결하기 위해 CLEAR (Comprehension via Latent Enhancement and Adaptive Reasoning) 프레임워크를 제안합니다. 이는 세 가지 점진적인 단계로 구성됩니다.

2.1. 행동적 초기화 (Behavioral Initialization via SFT)

• 목표: 모델이 열화된 입력에 대해 "생성 후 답변 (Generate-then-Answer)"이라는 추론 패턴을 학습하도록 유도합니다.
• 데이터 구성: LLaVA-OneVision 데이터셋을 기반으로 16 가지 열화 유형을 적용한 데이터를 준비합니다.
  • 모델이 정답을 맞춘 경우: 직접 답변 (Direct-answer) 경로.
  • 모델이 틀린 경우: 중간 시각 상태 생성 후 답변하는 (Generate-then-answer) 경로.
• 학습: 감독 미세 조정 (SFT) 을 통해 모델이 언제 생성 토큰 <image_restore>을 호출해야 하는지, 그리고 생성된 내용을 어떻게 추론에 통합해야 하는지 학습시킵니다.

2.2. 잠재 표현 브리지 (Latent Representation Bridge)

• 문제 해결: 기존 방식의 "디코딩 - 재인코딩 (Decode-Reencode)" 경로를 제거합니다.
• 기술: 생성된 VAE 잠재 토큰 (Latent Tokens) 을 픽셀 공간으로 변환하지 않고, 추론 컨텍스트 (Reasoning Context) 에 직접 주입합니다.
• 효과:
  • 생성된 시각 정보가 원래의 열화된 이미지 특징과 함께 추론에 직접 참여합니다.
  • 생성과 추론 사이의 미분 가능한 (Differentiable) 연결 경로를 확보하여, 이후 강화 학습 단계에서 답변 정확도 보상이 생성 과정으로 역전파되도록 합니다.

2.3. 인터리브드 GRPO (Interleaved GRPO)

• 강화 학습: 텍스트 추론과 시각 생성을 동시에 최적화하는 강화 학습 방법을 도입합니다.
• 알고리즘: GRPO (Group Relative Policy Optimization) 와 Flow-GRPO 를 결합합니다.
  • 텍스트 토큰 생성과 이미지 디노이징 (Denoising) 단계를 하나의 순차적 시퀀스로 간주합니다.
  • 보상 (Reward): 최종 답변의 정확도 (Answer Correctness) 에 기반한 보상을 사용합니다. 픽셀 수준의 재구성 손실 (Reconstruction Loss) 은 제거됩니다.
• 적응형 전략: 모델은 입력 이미지의 열화 정도를 분석하여, 열화가 심할 때만 생성을 호출하고 깨끗한 이미지에서는 직접 답변하는 적응형 생성 전략을 스스로 학습합니다.

3. 주요 기여 (Key Contributions)

1. 기능적 단절의 규명 및 해결: 통합 멀티모달 모델 내에서 생성과 이해가 열화된 입력 하에서 협력하지 못하는 문제를 규명하고, 이를 해결하기 위해 생성을 추론 과정에 통합하는 새로운 패러다임을 제시했습니다.
2. CLEAR 프레임워크 제안:
   • SFT 를 통한 행동적 초기화.
   • 생성과 추론을 직접 연결하는 잠재 표현 브리지.
   • 답변 정확도 보상을 기반으로 한 인터리브드 GRPO 를 통한 공동 최적화.
3. MMD-Bench 구축: 6 가지 표준 멀티모달 벤치마크에 16 가지 열화 유형과 3 단계 심각도 (Low, Mid, Hard) 를 적용한 대규모 평가 벤치마크를 구축했습니다.
4. 역설적 발견 (Counter-intuitive Finding): 픽셀 수준의 재구성 감독 (Reconstruction Supervision) 을 제거하고 오직 답변 정확도 보상만 남겼을 때, 모델이 생성한 중간 시각 상태의 지각적 품질 (Perceptual Quality) 이 오히려 향상되었습니다. 이는 작업 지향적 최적화가 시각적 품질과 본질적으로 일치함을 시사합니다.

4. 실험 결과 (Results)

• 성능 향상: CLEAR-RL 은 MMD-Bench 및 R-Bench 에서 기존 통합 모델 (Bagel, Janus-Pro, Emu3 등) 보다 열화된 입력에 대해 상당한 강건성 (Robustness) 향상을 보였습니다.
  • Bagel 기반 모델 대비 Hard degradation 환경에서 평균 5.11 점 (상대적으로 8.5%) 향상.
  • 모든 오픈 소스 모델 중 가장 높은 성능 기록.
• 강건성 분석: CLEAN 이미지 성능은 유지하면서, Hard degradation 환경에서의 성능 저하 폭을 기존 모델 대비 24% 줄였습니다.
• 적응형 효율성: 모델은 열화 정도가 낮은 이미지에서는 생성을 호출하지 않아 추론 시간을 단축하고, 열화가 심한 경우에만 생성을 호출하여 정확도를 높이는 균형을 이룹니다.
• 외부 복구 모델 비교: 외부 이미지 복구 모델 (Restoration Model) 을 거친 후 Bagel 을 사용하는 방식보다 CLEAR-RL 이 더 높은 성능을 보였습니다. 이는 CLEAR 가 추론 태스크에 특화된 중간 표현을 학습했기 때문입니다.

5. 의의 및 결론 (Significance)

이 연구는 통합 멀티모달 모델이 가진 잠재된 생성 능력을 단순히 이미지 생성이 아닌, 열화된 환경에서의 시각적 이해를 강화하는 도구로 활용하는 방법을 제시했습니다.

가장 중요한 통찰은 **"작업 지향적 최적화 (Task-driven Optimization) 가 시각적 품질과 자연스럽게 정렬된다"**는 점입니다. 기존의 이미지 복원 연구가 픽셀 수준의 정밀도를 목표로 했던 것과 달리, CLEAR 는 최종 추론의 정확도만을 목표로 함으로써 오히려 더 선명하고 유용한 중간 시각 상태를 생성해냅니다. 이는 향후 열화된 환경에서 작동해야 하는 로봇, 자율주행, 감시 시스템 등 실세계 멀티모달 AI 의 강건성을 높이는 데 중요한 방향성을 제시합니다.