Fine-grained Image Aesthetic Assessment: Learning Discriminative Scores from Relative Ranks

이 논문은 미묘한 미적 차이를 구별하는 세밀한 이미지 미적 평가 (IAA) 를 위해 대규모 데이터셋 FGAesthetics 와 상대적 순위 기반의 차별적 점수 학습 프레임워크 FGAesQ 를 제안하여 기존 모델의 한계를 극복하고 정밀한 평가 성능을 입증합니다.

핵심

1. 문제: "완벽한 사진" vs "완벽한 사진의 미세한 차이"

과거의 사진 평가 프로그램 (IAA 모델) 은 "아주 좋은 사진"과 "아주 나쁜 사진"을 구분하는 데는 능숙했습니다.

• 비유: 마치 초보 미식가가 "맛있는 스테이크"와 "타버린 스테이크"는 확실히 구분하지만, "소금기 0.1g 차이"가 나는 두 스테이크를 구분하라고 하면 혼란스러워하는 것과 같습니다.

하지만 현실에서는 우리가 찍은 사진들이 대부분 비슷합니다. 같은 장소를 찍었는데, 조명 각도가 조금 다르거나, 색감이 살짝 다를 뿐이지요. 이런 매우 비슷한 사진들 사이에서 "어느 것이 조금 더 예쁜가?"를 판단하는 것이 바로 이 논문이 해결하려는 **'세밀한 미적 평가 (Fine-grained IAA)'**입니다.

2. 해결책 1: 새로운 시험지 만들기 (FGAesthetics 데이터셋)

기존의 데이터는 "좋음/나쁨"을 절대적인 점수로 매겼지만, 이 연구팀은 새로운 시험지를 만들었습니다.

• 비유: 기존 시험지가 "이 학생의 점수는 90 점, 저 학생은 50 점"이라면, 이 연구팀이 만든 FGAesthetics는 **"이 학생과 저 학생 중 누가 더 잘했나?"**를 비교하는 방식입니다.
• 어떻게 만들었나요?
  1. 자연 사진, AI 가 만든 사진, 같은 사진을 잘라낸 버전 등 다양한 종류를 모았습니다.
  2. 엄격한 필터링: 너무 비슷해서 구분이 안 되거나, 너무 달라서 비교할 수 없는 사진들은 버렸습니다. (예: 같은 사자 사진인데 하나는 코가 다르고 하나는 귀가 다르면 비교 불가)
  3. 사람들의 투표: 전문가들이 사진 두 장을 나란히 놓고 "어느 것이 더 예쁜가?"를 투표하게 했습니다. 이 투표 결과를 바탕으로 순위를 매겼습니다.

3. 해결책 2: 새로운 평가자 개발 (FGAesQ 모델)

이제 이 새로운 시험지를 잘 풀 수 있는 **초능력의 평가자 (AI 모델)**를 만들었습니다. 이름은 FGAesQ입니다. 이 모델은 세 가지 특별한 능력을 갖췄습니다.

① DiffToken: "중요한 부분만 확대해서 보기"

• 비유: 두 사진이 거의 똑같을 때, AI 는 보통 전체를 다 똑같이 봅니다. 하지만 FGAesQ 는 **"어디가 다른지"**를 찾아냅니다.
• 작동 원리: 두 사진의 배경은 비슷하지만, 한 사진의 '햇빛 반사'가 더 예쁘다면, AI 는 그 **햇빛 반사 부분만 확대 (고해상도)**해서 자세히 보고, 나머지 비슷한 부분은 축소해서 봅니다. 중요한 디테일에 집중하는 거죠.

② CTAlign: "비교 설명서를 함께 읽기"

• 비유: AI 가 "왜 이 사진이 더 예쁜가?"를 스스로 설명할 수 있도록 도와줍니다.
• 작동 원리: AI 가 두 사진을 비교할 때, 고급 언어 모델 (LLM) 이 "A 사진은 색감이 더 따뜻하고, B 사진은 어둡다"라고 설명하는 텍스트를 함께 학습시킵니다. 이렇게 하면 AI 는 단순히 점수만 매기는 게 아니라, 이유를 이해하며 더 정확하게 판단하게 됩니다.

③ RankReg: "순위를 통해 점수를 교정하기"

• 비유: "이 학생이 1 등, 저 학생이 2 등"이라는 순위를 알면, 점수를 더 정확하게 맞출 수 있습니다.
• 작동 원리: 절대적인 점수 (예: 85 점) 를 매기는 것보다, "이 사진이 저 사진보다 더 낫다"는 상대적인 순위를 학습하면 미세한 차이를 더 잘 포착할 수 있습니다. 이 모델은 순위를 통해 점수 예측을 보정합니다.

---

4. 결과: 왜 이 기술이 중요한가요?

이 기술은 다음과 같은 곳에서 유용하게 쓰일 수 있습니다.

• 앨범 정리: 스마트폰에 수천 장의 사진을 찍었을 때, "가장 예쁜 1 장"을 골라주거나, 비슷한 사진들 중 가장 좋은 순서대로 정렬해 줍니다.
• AI 그림 생성: "이 그림을 조금 더 예쁘게 만들어줘"라고 할 때, AI 가 어떤 부분이 조금 더 좋아졌는지 정확히 파악하고 개선해 줍니다.
• 사진 추천: 당신이 찍은 사진 중 가장 잘 나온 사진을 찾아서 추천해 줍니다.

요약

이 논문은 **"아주 비슷한 사진들 사이에서도 미세한 차이를 찾아내어, 어느 것이 더 예쁜지 판단하는 새로운 AI 기술"**을 소개합니다.

기존의 AI 가 "좋음/나쁨"을 대충 구분했다면, 이 FGAesQ는 "미식가처럼" 세밀한 맛 (미적 가치) 을 구분해 낼 수 있게 된 것입니다. 이를 위해 **새로운 비교 데이터 (FGAesthetics)**를 만들고, 중요한 부분만 확대해서 보는 기술을 개발했습니다.

이제 AI 도 "이 사진이 저 사진보다 햇빛이 더 잘 들어와서 더 예쁘네!"라고 정확히 말할 수 있게 된 셈입니다.

기술 요약

1. 문제 정의 (Problem Definition)

• 배경: 이미지 미적 평가 (Image Aesthetic Assessment, IAA) 는 콘텐츠 제작, 앨범 관리, 추천 시스템 등 다양한 분야에서 중요하게 활용됩니다.
• 현황: 기존 IAA 모델 및 데이터셋 (AVA, CUHK-PQ 등) 은 주로 **거시적 (Coarse-grained)**인 평가를 수행합니다. 즉, 미적 차이가 뚜렷한 이미지들을 절대적 점수 (Absolute Scale) 로 독립적으로 평가하는 데 최적화되어 있습니다.
• 문제점: 실제 응용 사례 (예: 연사 촬영, AI 생성 이미지 비교, 크롭 버전 비교) 에서는 **미세한 미적 차이 (Fine-grained differences)**를 가진 유사한 이미지들 사이에서 가장 좋은 이미지를 선택해야 하는 경우가 많습니다.
  • 기존 모델들은 의미론적 (Semantic) 유사성이 높은 이미지들 간의 미묘한 미적 차이를 구별하는 데 한계가 있습니다.
  • **FG-IAA (Fine-grained Image Aesthetic Assessment)**라는 새로운 과제를 정의하고, 이를 해결할 데이터셋과 모델의 부재를 지적합니다.

2. 주요 기여 (Key Contributions)

이 논문은 다음과 같은 세 가지 주요 기여를 합니다.

1. FGAesthetics 데이터셋 구축:

   • 규모: 총 32,217 개의 이미지를 10,028 개의 시리즈 (Series) 로 구성.
   • 데이터 소스: 자연 이미지 (Natural), AI 생성 콘텐츠 (AIGC), 크롭 (Cropping) 등 3 가지 다양한 소스에서 수집.
   • 레이블: 절대적 점수가 아닌, 시리즈 내 이미지 간의 **상대적 순위 (Relative Ranks)**를 쌍별 비교 (Pairwise Comparison) 를 통해 수집.
   • 정제 프로세스: 'Metrics-MLLMs-Human' 정제 프로토콜을 통해 시각적 유사성과 구분 가능성을 검증하고, 모호한 데이터를 필터링하여 신뢰성을 확보했습니다.

2. FGAesQ 모델 제안:

   • 상대적 순위에서 판별력 있는 미적 점수를 학습하는 새로운 IAA 프레임워크입니다.
   • 핵심 기술:
     • DiffToken (Difference-preserved Tokenization): 유사한 이미지 간의 미적 차이를 결정하는 영역은 고해상도로 유지하고, 나머지 영역은 다운스케일링하여 계산 자원을 효율적으로 분배합니다.
     • CTAlign (Comparative Text-assisted Alignment): MLLM 을 활용하여 이미지 쌍에 대한 비교적 텍스트 설명을 생성하고, 이를 시각적 특징과 정렬 (Alignment) 하여 미세한 미적 차이를 강화합니다.
     • RankReg (Rank-aware Regression): Bradley-Terry 모델과 ListMLE 손실 함수를 사용하여 절대적 점수 예측과 상대적 순위 일관성을 동시에 최적화합니다.

3. 성능 입증:

   • 미세한 평가 시나리오에서 기존 SOTA 모델들을 압도하는 성능을 보였으며, 동시에 거시적 평가 (AVA 등) 에서도 경쟁력 있는 성능을 유지하여 양면적 (Coarse & Fine) 평가 능력을 입증했습니다.

3. 방법론 (Methodology)

A. FGAesthetics 데이터셋 구축 파이프라인

1. 데이터 수집: SPS, LSVQ(자연), Pick-a-pic, Midjourney(AIGC), CPC, GAIC(크롭) 등 다양한 소스에서 연사 또는 유사 이미지 시리즈를 수집.
2. 시리즈 정제 (Series Refinement):
   • Metrics Filtering: SSIM, IoU, T2I 정렬 점수 등을 사용하여 시각적으로 너무 비슷하거나 (구분 불가) 너무 다른 (의미 불일치) 이미지를 제거.
   • MLLMs Checking: Gemini-2.5-pro 를 활용하여 시리즈 내 이미지들의 주제, 스타일, 구성의 일관성을 검증.
   • Human Qualification: 5 명의 어노테이터가 최종 품질을 확인.
3. 순위 보정 (Rank Calibration):
   • 각 시리즈 내 모든 이미지 쌍에 대해 10 명의 어노테이터가 "A 가 더 좋음", "B 가 더 좋음", "동일함" 중 선택하도록 지시.
   • 모호한 비교 (0.5 확률) 는 필터링하고, Bradley-Terry 모델을 통해 전역 순위 (Global Ranking) 를 도출.

B. FGAesQ 모델 아키텍처

1. DiffToken (차이 보존 토큰화):
   • 기준 이미지와 비교 대상 이미지의 패치별 유사도 (SSIM) 를 계산.
   • 유사도가 낮은 (미적 차이가 큰) 패치들은 원본 해상도로 유지하고, 유사도가 높은 패치들은 다운샘플링하여 토큰 수 제약을 충족시킴.
2. CTAlign (비교적 텍스트 보조 정렬):
   • GPT-4o 를 활용하여 이미지 쌍에 대한 비교적 설명 (예: "A 는 B 보다 색감이 더 선명함") 을 생성.
   • 생성된 텍스트 임베딩과 시각적 임베딩 차이를 CLIP 기반 손실 함수로 정렬하여 시각적 표현의 판별력을 높임.
3. RankReg (순위 인식 회귀):
   • 절대적 점수 예측 (Regression Head) 과 순위 기반 확률 분포 (Bradley-Terry) 를 결합.
   • ListMLE 손실 함수를 사용하여 예측된 순위가 실제 인간 어노테이션 순위와 일치하도록 조정.
4. 학습 전략:
   • 2 단계 학습: 먼저 거시적 데이터 (AVA) 로 사전 학습 (Coarse-grained) 후, 미세한 순위 데이터 (FGAesthetics) 와 거시적 데이터를 번갈아 학습 (Joint Learning) 하여 두 가지 과제를 모두 수행할 수 있도록 함.

4. 실험 결과 (Results)

• FGAesthetics 벤치마크 성능:
  • Pair-level (쌍별): Acc, F1 지표에서 기존 모델 (NIMA, MUSIQ, VILA, Q-Align 등) 대비 압도적인 성능 달성.
  • Series-level (시리즈 전체): 가장 아름다운 이미지를 식별하는 정확도 (s-Acc) 및 순위 상관관계 (s-SRCC) 에서 FGAesQ 가 1 위를 기록.
  • 특이점: MLLM 기반 모델 (Q-Align 등) 이 기존 CNN/ViT 모델보다 성능이 좋았으나, FGAesQ 가 이를 모두 상회함.
• 거시적 평가 유지 (Coarse-grained Robustness):
  • FGAesQ 는 미세한 평가를 위해 학습되었음에도 불구하고, AVA 데이터셋에서의 SRCC/PLCC 점수가 기존 SOTA 모델들과 유사하거나 더 높은 수준을 유지함. (기존 모델들은 미세 평가 학습 시 거시 평가 성능이 급격히 떨어지는 현상 발생).
• 일반화 능력 (Cross-dataset):
  • ICAA17K, AADB, TAD66K 등 다른 IAA 벤치마크에서도 우수한 일반화 성능을 보임. 특히 AADB(미적 속성) 에서 큰 향상을 보임.
• Ablation Study:
  • DiffToken, CTAlign, RankReg 각 모듈을 제거했을 때 성능이 저하됨을 확인하여 모든 구성 요소의 필수성을 입증.
  • ViT-B/16 백본이 ViT-B/32 보다 미세한 디테일 포착에 더 효과적임을 확인.

5. 의의 및 결론 (Significance)

• 새로운 패러다임 제시: 기존 IAA 연구가 '절대적 점수'에 집중했다면, 본 논문은 '상대적 순위'를 통해 미세한 미적 차이를 포착하는 FG-IAA라는 새로운 연구 방향을 제시했습니다.
• 실용적 가치: 사진 앨범 관리, AI 생성 이미지 최적화 (RLHF 등), 자동 크롭/구도 개선 등 실제 응용 분야에서 "가장 좋은 이미지"를 선택하는 데 직접적으로 활용 가능.
• 기술적 통찰: 미세한 차이를 구별하기 위해서는 의미론적 유사성을 유지하면서 시각적 디테일 (DiffToken) 과 언어적 비교 (CTAlign) 를 결합한 학습 전략이 필요함을 입증했습니다.

이 논문은 이미지 미적 평가 분야에서 **정밀도 (Precision)**와 **범용성 (Robustness)**을 동시에 달성할 수 있는 새로운 기준을 마련했다는 점에서 의의가 큽니다.