Enhancing Image Aesthetics with Dual-Conditioned Diffusion Models Guided by Multimodal Perception

이 논문은 모호한 미적 지시를 명확한 가이드로 변환하는 다중모달 미적 인식 (MAP) 과 완벽하게 짝지어지지 않은 데이터를 활용하는 이중-지도 학습 프레임워크를 도입한 '이중-지도 이미지 미적 향상 (DIAE)' 모델을 제안하여, 기존 방법들의 한계를 극복하고 이미지 미적 품질과 콘텐츠 일관성을 동시에 향상시켰음을 보여줍니다.

핵심

📸 문제: "왜 AI 는 사진을 예쁘게 못 고쳐?"

지금까지 AI 는 사진을 편집할 때 두 가지 큰 고민이 있었습니다.

1. "예쁘다"는 게 뭐지? (감각의 부재)
   • 사람이 사진을 볼 때 "색감이 너무 밋밋해", "구도가 엉망이야"라고 느끼는 건 매우 추상적인 감각입니다. AI 에게 "색감을 살려줘"라고 말하면, AI 는 "어떤 색감을? 얼마나?"를 정확히 이해하지 못해 엉뚱한 결과를 내놓곤 했습니다.
2. "완벽한 짝꿍"이 없어요 (데이터 부족)
   • AI 를 가르치려면 '원래 사진'과 '그걸 고친 예쁜 사진'이 딱 맞춰져 있는 데이터가 필요합니다. 하지만 실제로는 같은 장면을 찍었는데, 하나는 초보자가 찍고 하나는 프로가 찍은 사진을 찾기란 매우 어렵습니다. (프로가 찍은 사진을 AI 가 어떻게 고쳤는지 알려면, 프로가 직접 하나하나 수정해줘야 하는데 비용이 너무 비쌉니다.)

---

💡 해결책: DIAE (듀얼-슈퍼바이저 이미지 미적 향상)

이 논문은 이 두 문제를 해결하기 위해 DIAE라는 새로운 AI 모델을 제안했습니다. 이 모델은 두 가지 핵심 기술을 사용합니다.

1. "오감으로 느끼는 미적 감각" (다중 모달 미적 지각, MAP)

AI 가 단순히 글자만 읽는 게 아니라, 눈과 귀를 모두 쓰는 방식입니다.

• 비유: 요리사에게 "맛있게 해줘"라고만 말하면 망칩니다. 하지만 "소금기는 약간만, 식감은 바삭하게"라고 말하고, 실제 소금과 바삭한 빵을 보여주면 요리사는 정확히 이해하죠.
• DIAE 의 방식:
  • 글자 (지시): "색감을 채워줘", "구도를 삼분할로 해줘"라는 텍스트 설명을 줍니다.
  • 눈 (시각): 텍스트만으로는 부족하니까, **색감 지도 (HSV 맵)**와 **형상 윤곽선 (컨투어 맵)**이라는 그림을 함께 보여줍니다.
  • 결과: AI 는 글자만 보고 추측하는 게 아니라, "아, 이 그림처럼 색을 칠하고 저 그림처럼 선을 잡아야구나!"라고 눈으로 직접 보고 배워서 사진을 고칩니다.

2. "불완전한 짝꿍"도 활용하는 학습법 (이중 감독 프레임워크)

완벽하게 짝이 맞는 데이터가 없으니, 약간 다른 사진들을 이용해 가르칩니다.

• 비유: 그림 실력을 배우는데, 똑같은 배경에 똑같은 인물이 그려진 '완벽한 비교 자료'가 없다고 칩시다. 대신, **같은 주제 (예: '강변의 다리')**를 그린 초보자의 그림과 프로의 그림을 섞어서 보여줍니다.
• DIAE 의 방식:
  • 초반 학습 (의미 유지): AI 가 처음에 그림을 그릴 때는 **원래 사진 (초보자)**의 내용 (다리, 강, 배경) 을 잃지 않도록 집중합니다.
  • 후반 학습 (미적 향상): 그림이 거의 완성될 때쯤에는 **프로의 그림 (참조)**에서 배운 '색감'과 '구도'를 적용합니다.
  • 결과: 원래 사진의 내용은 그대로 유지하면서, 프로가 찍은 것처럼 예쁜 분위기를 입히는 것입니다.

---

🎨 DIAE 가 해낸 일 (실험 결과)

이 기술을 테스트해 보니 놀라운 결과가 나왔습니다.

• 예쁜 점수 상승: 다른 최신 AI 들보다 사진의 미적 점수가 훨씬 높게 나왔습니다. 특히 색감이 어두운 사진이나 구도가 엉망인 사진을 고칠 때 효과가 뛰어났습니다.
• 내용 왜곡 없음: "고양이를 찍었는데 AI 가 갑자기 건물을 추가했다"거나 "사람 얼굴이 변형되었다"는 일이 거의 없었습니다. 원래 사진의 정체성을 해치지 않고 옷만 갈아입힌 것처럼 예쁘게 만들어냈습니다.

🌟 요약

이 논문은 **"AI 가 예술가의 눈과 손끝을 갖게 했다"**고 할 수 있습니다.

1. **눈 (시각 지도)**과 **귀 (텍스트 설명)**를 동시에 써서 "예쁘다"는 게 뭔지 정확히 배웠습니다.
2. 완벽한 데이터가 없어도, 약간 다른 사진들을 교차 학습시켜서 원본의 맛은 살리면서 미적 감각만 업그레이드하는 방법을 찾았습니다.

이제 일반인도 "이 사진을 좀 더 드라마틱하게 만들어줘"라고 말하면, AI 가 전문가처럼 사진을 보정해줄 수 있는 시대가 열린 것입니다!

기술 요약

논문 요약: 다중 모달 지각에 기반한 이중 조건부 확산 모델을 활용한 이미지 미적 향상 (DIAE)

1. 문제 정의 (Problem)

이미지 미적 향상 (Image Aesthetic Enhancement, IAE) 은 이미지의 미적 결함을 감지하고 이를 수정하여 더 매력적인 결과물을 생성하는 작업입니다. 최근 생성형 AI 의 발전에도 불구하고, 확산 모델 (Diffusion Models) 기반의 이미지 편집 기술이 미적 향상 분야에서 직면한 주요 과제는 다음과 같습니다.

• 미적 지각의 어려움: 미적 감각은 문화적 배경, 개인적 경험, 감정 상태 등 통제하기 어려운 요소에 영향을 받는 고차원적인 인간 시각 능력입니다. 따라서 텍스트 인코더만으로는 모호한 미적 지시사항을 이해하고 확산 모델의 생성 방향을 효과적으로 안내하기 어렵습니다.
• 완벽하게 짝지어진 데이터 (Perfectly-paired Data) 의 부재: 완전한 감독 학습을 위해서는 동일한 콘텐츠이지만 미적 품질만 다른 '완벽하게 짝지어진' 이미지 쌍이 필요합니다. 그러나 이러한 데이터는 전문가의 수동 편집이 필요하여 구축 비용이 매우 높고, 실제 존재하기 어렵습니다. 기존 이미지 품질 평가 (IQV) 데이터는 콘텐츠 일치를 위해 고화질 이미지를 인위적으로 저하시킨 경우가 많아, 미적 (예술적) 인 관점에서는 적합하지 않습니다.

2. 제안 방법 (Methodology)

저자들은 위 문제를 해결하기 위해 이중 감독 이미지 미적 향상 (Dual-supervised Image Aesthetic Enhancement, DIAE) 모델을 제안했습니다. DIAE 는 확산 모델 기반의 생성 모델로, 다음과 같은 두 가지 핵심 요소를 도입합니다.

가. 다중 모달 미적 지각 (Multimodal Aesthetic Perception, MAP)

• 목적: 모호한 텍스트 기반 미적 지시를 명확한 시각적 및 언어적 가이드로 변환하여 확산 모델이 미적 속성을 이해하고 제어할 수 있도록 합니다.
• 구현:
  • 분류: 미적 평가를 '이미지 색상 (Color)'과 '이미지 구조 (Structure)'로 분류합니다.
  • 시각적 표현: 색상 속성에는 인간의 색상 지각과 일치하는 HSV 맵을, 구조 속성 (구도, 초점 등) 에는 객체 윤곽과 공간 배치를 강조하는 **컨투어 맵 (Contour Maps, HED 모델 생성)**을 사용합니다.
  • 지도 신호: 텍스트 설명 (색상/구조에 대한 구체적 평가) 과 위 시각적 맵을 결합하여 ControlNet 아키텍처를 통해 확산 모델에 주입합니다. 이를 통해 모델은 추상적인 미적 지시를 구체적인 편집 작업으로 수행할 수 있게 됩니다.

나. 불완전하게 짝지어진 데이터셋 (IIAEData) 및 이중 분기 감독 프레임워크

• IIAEData 구축: 완벽한 짝이 없는 '불완전하게 짝지어진 (Imperfectly-paired)' 데이터셋을 구축했습니다. 이는 동일한 의미 (Semantic) 를 가지지만, 구조, 스타일, 예술적 기법이 다른 이미지 쌍 (입력: 저품질, 참조: 고품질) 으로 구성됩니다. LLaVA 와 UNIAA-LLaVA 와 같은 MLLM 을 활용하여 이미지 캡션과 텍스트 기반 미적 평가를 자동 생성하고 인간 전문가가 검증합니다.
• 이중 분기 감독 (Dual-branch Supervision Framework): 콘텐츠 일치를 유지하면서 미적 품질만 향상시키기 위해 학습 과정을 두 단계로 나눕니다.
  • 의미 감독 분기 (Semantic Supervision Branch): 초기 노이즈 제거 단계 ($t \le t_s$) 에는 입력 이미지로 학습하여 원본 콘텐츠의 의미와 구조가 유지되도록 합니다.
  • 미적 감독 분기 (Aesthetic Supervision Branch): 후기 단계 ($t > t_s$) 에는 참조 이미지로 학습하여 색상, 조명, 구도 등 미적 속성을 참조 이미지의 고품질 수준으로 향상시킵니다.
  • 이 방식은 약한 지도 학습 (Weakly-supervised learning) 을 통해 콘텐츠와 미적 속성을 분리하여 제어합니다.

3. 주요 기여 (Key Contributions)

1. DIAE 모델 제안: 다중 모달 미적 지각 (MAP) 을 통합하여 모호한 미적 지시를 효과적으로 해석하고 실행하는 새로운 이미지 편집 방법론을 제시했습니다.
2. IIAEData 및 학습 프레임워크: 완벽한 짝이 없는 데이터셋 (IIAEData) 과 이를 활용하는 이중 분기 감독 프레임워크를 제안하여, 콘텐츠 일치를 유지하면서 미적 품질을 향상시키는 약한 지도 학습 문제를 해결했습니다.
3. 성능 입증: 기존 최첨단 (SOTA) 이미지 편집 방법들보다 우수한 미적 점수와 콘텐츠 일관성 점수를 달성함을 실험을 통해 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: AVA, TAD66K, KONIQ, FLICKR 등 기존 데이터셋을 기반으로 45,000 개의 훈련 샘플과 1,500 개의 테스트 샘플로 구성된 IIAEData 를 구축했습니다.
• 비교 모델: ControlNet, InstructPix2Pix, MGIE, DOODL 등 SOTA 확산 기반 이미지 편집 모델들과 비교했습니다.
• 성능 지표:
  • 미적 품질 (Aesthetic Quality): LAION-Aesthetic Predictor 와 MLLM 기반 평가 모델 (UNIAA-LLaVA 등) 을 사용했습니다. DIAE 는 512x512 해상도에서 LAION 점수가 기존 모델 대비 17.4%, MLLM 점수가 11.0% 향상되었습니다. 특히 저품질 이미지 (MOS < 4.0) 에서 색상, 밝기, 초점 개선 효과가 뚜렷했습니다.
  • 콘텐츠 일관성 (Content Consistency): CLIP-I 점수를 사용하여 원본 이미지와의 의미적 유사성을 평가했습니다. DIAE 는 다른 방법들보다 높은 CLIP-I 점수 (256x256 기준 0.772, 512x512 기준 0.784) 를 기록하며, 원본 이미지의 세부 사항을 유지하고 불필요한 객체 추가/삭제를 방지하는 능력을 입증했습니다.
• 추론 (Ablation Study):
  • $t_s$ 파라미터 조절을 통해 입력 이미지와 참조 이미지의 학습 비중을 조절할 수 있음을 확인했습니다.
  • MAP 의 시각적 모달리티와 텍스트 모달리티가 모두 미적 향상과 콘텐츠 유지에 필수적임을 증명했습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의: 이 연구는 확산 모델이 인간의 미적 감각을 모방하고 구체적인 편집 작업을 수행할 수 있는 가능성을 열었습니다. 특히, 고품질의 '완벽한 짝' 데이터 없이도 대규모 데이터셋을 활용하여 고품질의 미적 향상 모델을 학습할 수 있는 새로운 패러다임을 제시했습니다. 또한, MLLM 과의 연동을 통해 사용자가 직접 미적 지시를 제공하거나 MLLM 이 생성한 지시를 통해 다양한 사용자 취향에 맞춘 엔드 - 투 - 엔드 미적 향상 시스템 구축이 가능합니다.
• 한계: 현재 DIAE 는 풍경, 동물, 건축, 정물 등 일반적인 장면에서는 잘 작동하지만, 인물 (Portraits) 이나 군중이 포함된 이미지의 미적 향상에는 한계가 있습니다. 인물의 얼굴 특징이나 신체 형태는 미적 판단에 중요한 요소이나, 이에 대한 체계적인 연구와 데이터가 부족하여 현재 모델에는 포함되지 않았습니다.

이 논문은 생성형 AI 가 단순한 이미지 생성을 넘어, 인간의 미적 판단을 이해하고 적용하는 창의적인 AI 로 발전하는 중요한 단계로 평가됩니다.