One Model, Two Minds: Task-Conditioned Reasoning for Unified Image Quality and Aesthetic Assessment

이 논문은 이미지 품질 평가 (IQA) 와 미적 평가 (IAA) 의 서로 다른 특성을 고려하여 작업별 추론 전략과 비대칭적 보상을 도입한 통합 프레임워크 'TATAR'를 제안함으로써, 기존 단일 모델의 한계를 극복하고 두 작업 모두에서 우수한 성능을 달성함을 보여줍니다.

핵심

이 논문은 **"하나의 모델, 두 개의 마음"**이라는 제목으로, 이미지 품질 평가 (IQA) 와 미적 평가 (IAA) 를 하나의 인공지능 (AI) 이 동시에 잘 처리할 수 있도록 만든 새로운 방법론을 소개합니다.

기존의 방식은 "모든 이미지에 똑같은 방식으로 생각하게" 만들었는데, 이 논문은 "기술적인 결함 찾기"와 "예술적인 아름다움 느끼기"는 뇌가 쓰는 방식이 완전히 다르기 때문에, AI 도 상황에 따라 사고방식을 바꿔야 한다고 주장합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

🎨 1. 문제: "한 가지 방식으로 모든 것을 판단하면 안 된다"

상상해 보세요. 여러분이 건축 현장 감리원과 미술관 큐레이터 두 가지 역할을 동시에 맡게 되었습니다.

• 건축 감리원 (IQA - 이미지 품질 평가):

  • 역할: 벽에 금이 갔는지, 배관이 삐뚤어졌는지, 시멘트가 잘 굳었는지 기술적인 결함을 찾아야 합니다.
  • 사고방식: "여기 금이 갔네. 저기 배관이 삐뚤었네." 짧고 명확하게 사실만 말해야 합니다.
  • 문제점: 만약 감리원이 "아, 이 금이 정말 예술적이야, 마치 강물처럼 흐르는 것 같네..."라고 길게 수필을 쓰면? 결함 찾기는 망가집니다. 불필요한 생각은 오히려 방해가 됩니다.

• 미술관 큐레이터 (IAA - 이미지 미적 평가):

  • 역할: 이 그림이 얼마나 감동적인지, 색감이 얼마나 조화로운지, 어떤 감정을 전달하는지 아름다움을 느껴야 합니다.
  • 사고방식: "빛의 흐름이 공간을 어떻게 비추는지, 색채가 어떤 감정을 자아내는지..." 길고 깊이 있게 고민하고 종합해야 합니다.
  • 문제점: 만약 큐레이터가 "금 하나 없으니 점수 100 점!"이라고 딱딱한 숫자만 던지면? 예술적인 감동은 사라집니다.

기존의 AI 는 이 두 가지 역할을 할 때 "똑같은 두뇌"를 사용했습니다. 그래서 감리원일 때는 너무 길게 생각하거나, 큐레이터일 때는 너무 짧게 판단하는 실수를 저질렀습니다.

---

🧠 2. 해결책: "TATAR" (상황에 맞춰 두뇌를 바꾸는 AI)

이 논문에서 제안한 TATAR은 **"하나의 몸 (모델) 에 두 개의 마음 (사고방식)"**을 심어줍니다.

① "빠른 생각"과 "느린 생각"을 가르치기 (Fast-Slow Reasoning)

• 기술적 결함 (IQA) 을 볼 때는: AI 에게 "빠르게, 짧게, 핵심만 말해라"라고 훈련시킵니다. 마치 수리공처럼 "여기 찢어졌네"라고 딱딱 끊어서 말합니다.
• 아름다움 (IAA) 을 볼 때는: AI 에게 "천천히, 깊이 있게, 여러 요소를 종합해라"라고 훈련시킵니다. 마치 시인처럼 "빛과 그림자의 조화가 주는 감동을..."이라고 길고 아름다운 문장으로 말합니다.

② "두 단계 학습" (SFT + GRPO)

• 1 단계 (형식 익히기): 먼저 AI 에게 "기술적인 건 짧게, 예술적인 건 길게"라는 습관을 심어줍니다. (수업 시간)
• 2 단계 (점수 다듬기): 그 습관을 바탕으로, 실제 점수를 더 정확하게 맞추도록 보상을 줍니다. (실전 훈련)

③ "달라진 보상 시스템" (Asymmetric Rewards)

• 기술적 점수 (IQA): "정답에 얼마나 가까운가?"를 봅니다. 오차가 작을수록 가aussian(종 모양) 곡선처럼 부드러운 보상을 줍니다. (예: 100 점 중 99 점이면 아주 잘했어!)
• 미적 점수 (IAA): "이 그림이 저 그림보다 더 예쁜가?"를 봅니다. 절대적인 점수보다는 상대적인 순위를 매기는 방식 (Thurstone 방식) 으로 보상을 줍니다. (예: "이 사진이 저 사진보다 감동적이니까 더 높은 점수를 줘.")

---

🏆 3. 결과: 왜 이것이 중요한가요?

기존의 AI 들은 "하나의 레시피"로 모든 것을 해결하려다 보니, 기술적인 부분에서는 엉뚱하게 길게 생각하거나, 예술적인 부분에서는 너무 딱딱하게 점수만 매겼습니다.

하지만 TATAR는:

1. 기술적인 결함은 수리공처럼 빠르고 정확하게 찾아냅니다.
2. 예술적인 아름다움은 큐레이터처럼 깊이 있게 감상합니다.

그 결과, 단 하나의 모델이면서도 전문가들 (각각의 일에 특화된 모델) 못지않게 두 가지 일을 모두 훌륭하게 해냈습니다. 특히 예술적인 평가에서는 AI 가 흔히 겪는 "점수 예측이 불안정해진다"는 문제를 해결하여 훨씬 더 안정적으로 작동합니다.

💡 한 줄 요약

**"이미지의 흠집을 찾을 때는 '수리공'처럼 빠르고 정확하게, 그리고 아름다움을 느낄 때는 '시인'처럼 깊고 감성적으로 생각하게 만든 AI"**가 바로 이 연구의 성과입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

이미지 품질 평가 (IQA, Image Quality Assessment) 와 이미지 미적 평가 (IAA, Image Aesthetic Assessment) 는 현대 시각 파이프라인에서 모두 필수적이지만, 기존 멀티모달 대규모 언어 모델 (MLLM) 을 활용한 통합 접근법에서는 두 가지 근본적인 불일치 (Mismatch) 가 존재했습니다.

• 추론 불일치 (Reasoning Mismatch):
  • IQA: 저수준의 객관적 지각 단서 (블러, 노이즈, 압축 왜곡 등) 에 의존하며, 왜곡을 식별하고 간결하게 결론을 내리는 '빠른 사고 (Fast Thinking)'가 유리합니다.
  • IAA: 구도, 조명, 의미적 표현 등 고수준의 주관적 선호도에 의존하며, 여러 요소를 종합하여 신중하게 판단하는 '느린 사고 (Slow Thinking)'가 필요합니다.
  • 문제점: 기존 통합 모델은 두 작업에 동일한 추론 전략 (예: 동일한 CoT 길이) 을 적용하여, IQA 에는 불필요한 망설임을 유발하거나 IAA 에는 지나치게 단순한 추론을 강요하는 비효율을 초래했습니다.
• 최적화 불일치 (Optimization Mismatch):
  • IQA: 절대적인 충실도 (Fidelity) 척도에 기반하므로 점수 회귀 (Point-wise Regression) 가 자연스럽습니다.
  • IAA: 주관적 선호도를 반영하므로 명확한 절대 점수보다는 상대적 순위 (Relative Ranking) 구조가 더 적합합니다.
  • 문제점: 동일한 보상 함수 (Reward) 를 사용하여 두 작업을 학습시키면, IAA 의 불안정한 최적화와 IQA 의 과도한 단순화를 초래하여 학습 동역학이 저하됩니다.

2. 제안 방법론: TATAR (Task-Aware Thinking with Asymmetric Rewards)

저자들은 단일 비전 - 언어 백본을 공유하되, 후학습 (Post-training) 단계를 작업별 특성에 맞게 조건화 (Conditioning) 하는 프레임워크인 TATAR을 제안했습니다.

2.1. 핵심 구성 요소

1. Fast-Slow 추론 구성 (Fast–Slow Reasoning Construction):

   • QACoT-Score 데이터셋 구축: 각 작업에 맞는 추론 패턴을 학습시키기 위해 데이터셋을 생성합니다.
     • IQA (Fast): 이미지와 점수 쌍을 기반으로 왜곡 (블러, 노이즈 등) 에 초점을 맞춘 간결한 설명을 생성 (역추론).
     • IAA (Slow): 전문가 주석 (구도, 감정, 원작성 등) 을 기반으로 통합적이고 긴 미적 서술을 생성.
   • 판단자 필터링 (Judge-based Filtering): 생성된 추론의 품질을 검증하여 저품질 샘플을 제거하고 정제된 코퍼스를 확보합니다.

2. 작업 조건화 2 단계 학습 (Task-Conditioned Two-Stage Learning):

   • 1 단계 (SFT, Supervised Fine-Tuning): 생성된 코퍼스를 사용하여 모델이 각 작업에 맞는 응답 모드 (IQA 는 짧고, IAA 는 길고 심층적인) 를 학습하도록 합니다. 이는 RL-only 학습 시 발생하는 응답 길이 붕괴를 방지하는 행동 사전 (Behavioral Prior) 역할을 합니다.
   • 2 단계 (GRPO, Group Relative Policy Optimization): SFT 로 초기화된 모델을 기반으로 그룹 샘플링을 통해 보상을 최적화합니다. 이 단계에서 두 작업은 비대칭 보상 (Asymmetric Rewards) 을 적용받습니다.

3. 비대칭 보상 설계 (Asymmetric Reward Design):

   • 공통 포맷 보상: <answer> 태그와 유효한 점수 형식을 준수하는지 확인.
   • IQA 보상 (가우시안 점수): 예측 점수와 정답 (MOS) 의 오차를 기반으로 가우시안 형태의 부드러운 점수 보상을 적용하여 절대적 정확도를 극대화합니다.
   • IAA 보상 (서스턴식 순위): 절대 점수 회귀 대신, 샘플 내 예측 점수 분포를 기반으로 상대적 순위 (Pairwise Ranking) 를 학습합니다. 이는 IAA 의 모호성을 완화하고 학습 안정성을 높입니다.

3. 주요 기여 (Key Contributions)

1. 불일치 식별: 통합 IQA-IAA 모델링에서 발생하는 '추론 모드 불일치'와 '최적화 목표 불일치'를 체계적으로 규명하고 실험적으로 증명했습니다.
2. TATAR 프레임워크 제안: Fast-Slow 추론 구성, 2 단계 SFT+GRPO 학습, 그리고 작업별 비대칭 보상 (가우시안 점수 vs. 순위 기반) 을 결합한 통합 MLLM 프레임워크를 개발했습니다.
3. 광범위한 실험 검증: 8 개의 벤치마크 (내부/외부 도메인 포함) 에서 기존 통합 모델 및 전문 단일 작업 모델 대비 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

• 성능: TATAR 은 8 개 벤치마크에서 IQA 와 IAA 모두에서 기존 통합 베이스라인 (UniPercept 등) 을 일관되게 능가했습니다.
  • IAA 평균 SRCC/PLCC: 51.0/52.5 (기존 최고 대비 +6.2/+7.4 향상).
  • IQA 평균 SRCC/PLCC: 76.7/76.5 (기존 최고 대비 +4.9/+4.0 향상).
• 전문 모델 대비 경쟁력:
  • IQA: 전문 IQA 모델 (DeQA 등) 과 유사하거나 더 나은 성능을 내면서 동시에 IAA 도 수행 가능합니다.
  • IAA: 전문 IAA 모델 (ArtiMuse) 과 비교하여 교차 도메인 (Cross-domain) 설정에서 훨씬 뛰어난 일반화 성능을 보였습니다.
• 학습 동역학:
  • 2 단계 학습을 통해 IQA 는 짧고 안정적인 추론을, IAA 는 길고 다양한 추론을 유지하며 학습되었습니다.
  • 순위 기반 보상 (Rank Reward) 을 도입함으로써 IAA 학습 중 보상 분산이 40~50% 감소하여 학습 안정성이 크게 향상되었습니다.

5. 의의 및 결론 (Significance)

이 논문은 **"단일 모델, 두 가지 마음 (One Model, Two Minds)"**이라는 개념을 통해, 통합된 지각 평가 시스템이 반드시 '일률적인 (One-size-fits-all)' 접근법을 취할 필요가 없음을 증명했습니다.

• 원칙적 패러다임 전환: 공통된 표현 (Representation) 은 공유하되, 작업 조건화된 추론과 보상 설계를 통해 각 작업의 고유한 특성을 존중하는 것이 통합 모델의 성능을 극대화하는 핵심임을 입증했습니다.
• 실용적 가치: 이미지 품질과 미적 가치를 동시에 평가해야 하는 실제 응용 분야 (콘텐츠 추천, 이미지 편집 보조, 전송 최적화 등) 에서 단일 모델로 높은 정확도와 안정성을 제공할 수 있는 길을 열었습니다.

결론적으로 TATAR 은 IQA 와 IAA 의 본질적 차이를 인식하고 이를 모델 아키텍처와 학습 전략에 반영함으로써, 멀티모달 평가 분야에서 새로운 표준을 제시합니다.