기술 요약: XPASS-VIS: 교차 도메인 개인화 이미지 미학 평가를 위한 데이터셋

1. 문제 정의

개인화 이미지 미학 평가(Personalized Image Aesthetic Assessment, PIAA)는 인구 통계적 합의를 넘어 개별 수준에서의 주관적인 미적 판단을 모델링하는 것을 목표로 합니다. 미적 선호도는 매우 개인적인 것으로 알려져 있지만, 동시에 시각적 도메인 전반에 걸쳐 일관성을 보입니다. 예를 들어, 단순함에 대한 한 개인의 선호는 미니멀리즘 예술과 절제된 패션 모두에서 나타날 수 있습니다. 그러나 기존의 PIAA 데이터셋과 방법론은 주로 단일 도领域에 국한되어 있거나, 교차 도메인 분석을 지원할 만큼 각 도메인 내에 충분한 어노테이터별 샘플을 보유하지 못하고 있습니다. 결과적으로, 개인화된 미적 선호가 시각적 도메인 간에 어느 정도까지 전이될 수 있는지는 아직 탐구되지 않은 상태입니다. 더욱이, 새로운 도메인마다 충분한 레이블링된 데이터를 수집하는 것은 비용이 매우 많이 들기 때문에, 사용자 평점 이력이 없는 "콜드 스타트(cold-start)" 문제를 야기합니다. 이는 레이블이 있는 소스 도메인에서 레이블이 없는 타겟 도메인으로 모델을 전이하기 위한 비지도 도메인 적응(Unsupervised Domain Adaptation, UDA) 전략의 개발을 필요로 합니다.

2. 방법론

2.1 XPASS-Vis 데이터셋

교차 도메인 PIAA를 위한 데이터 인프라의 부족을 해결하기 위해, 저자들은 이 작업을 위해 명시적으로 설계된 최초의 데이터셋인 XPASS-Vis를 소개합니다.

• 자극물(Stimuli): 이 데이터셋은 세 가지 뚜렷한 시각적 도메인에 걸친 6,526개의 자극물로 구성됩니다: 예술(Artwork) (LAPIS 테스트 분할의 이미지 2,345개), 패션(Fashion) (Clothing Co-Parsing 데이터셋의 고해상도 이미지 2,082개), 그리고 풍경(Landscape) (Sekai-Real-Walking-HQ에서 추출하여 단일 프레임으로 변환된 1분 길이의 비디오 클립 2,099개).
• 어노테이터(Annotators): 129명의 어노테이터가 세 가지 도메인 모두에서 자극물을 평가했습니다.
• 주석(Annotations): 각 어노테이터는 자극물당 10개의 평점을 제공했습니다:
  1. 전반적인 미적 평가: 7점 리커트 척도 (1 = 매우 미적이지 않음, 7 = 매우 미적임).
  2. 미적-감정 평점: AESTHEMOS 설문지의 9개 항목 (예: "좋았다", "향수를 불러일으켰다" 등), 5점 척도로 평가.
• 사용자 속성: 어노테이터는 인구 통계(연령, 성별, 국적, 학력) 및 성격 특성(Ten-Item Personality Inventory/TIPI)을 제공했습니다.
• 규모: 이 데이터셋은 87,836개의 사용자-자극물 상호작용을 생성하며, 각 어노테이터는 도메인당 200개 이상의 자극물을 평가하여 개인화를 위한 충분한 커버리지를 보장합니다.

2.2 실험 설정 및 베이스라인

저자들은 모델이 레이블이 있는 소스 도메인에서 학습되어 타겟 레이블 없이 레이블이 없는 타겟 도메인으로 전이되는 비지도 도메인 적응(UDA) 환경 하에서 교차 도메인 PIAA를 위한 벤치마크를 구축했습니다.

• 전처리:
  • 사용자 속성: 인구 통계, 성격, 도메인 관심도를 포함한 원-핫 벡터(총 114차원)로 인코딩되었습니다.
  • 이미지 속처: 색상, 질감, 대칭성, 복잡성을 다루는 툴박스를 통해 추출된 45개의 저수준 정량적 이미지 속성(QIPs)을 사용했습니다.
• 훈련 파이프라인:
  • 일반 이미지 미학 평가(GIAA): 인구 통계적 집계 점수를 예측하도록 학습된 베이스라인 모델(CLIP 백본을 가진 NIMA).
  • 개인화 이미지 미학 평가(PIAA): 두 단계 접근 방식:
    1. 사전 훈련(인구 수준): 일반 사용자들을 대상으로 개인화 모듈을 학습시켜 인구 수준의 선호 패턴을 학습합니다.
    2. 미세 조정(개인 수준): 특정 타겟 사용자의 적은 수의 평점(100개 샘플)을 사용하여 모델을 미세 조정합니다.
  • 베이스라인: 본 연구는 제로샷 추론을 통한 독점 LLM(GPT-5.4, Claude Opus 4.6, Gemini 3.0 Flash)과 두 개의 확립된 PIAA 아키텍처(MIR 및 ICI)를 평가합니다.
• 도메인 적응 방법론: 저자들은 8가지 대표적인 UDA 방법을 체계적으로 평가했습니다:
  • 적대적 방식(Adversarial): DANN, CDAN, ALDA.
  • 불일치 기반(Optimal Transport): DeepJDOT, JUMBOT.
  • 불일치 기반(특징 정렬): DeepCORAL, RSD, DARE-GRAM.
  • 참고: RSD와 DARE-GRAM은 연속적인 점수 예측을 위해 특별히 설계된 회귀 인식(regression-aware) 변형 모델입니다.

2.3 평가

성능은 사용자 수준에서 **5-겹 교차 검증(5-fold cross-validation)**을 통해 측정되었습니다. 지표는 다음과 같습니다:

• SCC (Spearman's Rank Correlation Coefficient): 순위 상관관계를 측정합니다.
• CCC (Concordance Correlation Coefficient): 순위 상관관계와 절대적 일치도를 모두 측정합니다 (평가 척도 사용에 민감함).

3. 주요 결과

3.1 도메인 내 성능

• PIAA vs. GIAA: 개인화 모델(ICI 및 MIR)은 인구 수준의 GIAA 모델(NIMA) 및 제로샷 LLM보다 유의미하게 높은 성능을 보였습니다. ICI 모델이 가장 우수한 전체 성능(평균 SCC = 0.470, CCC = 0.423)을 달야했습니다.
• 도메인 난이도: 성능은 도메인별로 차이가 있었으며, 예술이 가장 높은 점수를, 패션이 가장 낮은 점수를 기록했습니다. 이는 패션 분야에서 더 낮은 어노테이터 간 일치도(ICC)와 상관관계가 있으며, 이는 패션 도메인이 더 높은 주관성과 인구 통계적 합의 모델링의 어려움을 시사합니다.
• LLM의 한계: 제로샷 독점 LLM들은 서로 유사한 성능을 보였으나 모든 도메인에서 NIMA 베이스라인을 능가하지 못했습니다. 이는 텍ک스트 속성만으로는 학습 데이터 없이 개인 수준의 판단을 추론하기 어렵다는 것을 나타냅니다.

3.2 교차 도메인 전이 (UDA)

• 도메인 시프트: "Source-Only" 베이스라인(적응 없음)은 성능이 저조했습니다(평균 SCC = 0.145). 이는 상당한 도메인 시프트가 존재함을 강조합니다.
• 적응 성공 여부: 대부분의 UDA 방법이 Source-Only 베이스라인보다 개선된 결과를 보였습니다.
  • 특징 정렬 vs. 적대적 방식: 특징 정렬 방식(DeepCORL, RSD, DARE-GRAM)이 적대적 및 최적 운송(optimal-transport) 방식보다 우수했습니다.
  • 회귀 인식: 가장 성능이 좋은 방법은 회귀 작업에 명시적으로 설계된 RSD와 DARE-GRAM이었습니다. 이들은 모든 UDA 방법 중 가장 높은 SCC 점수를 기록했습니다.
• 전이 가능성: 가장 우수한 적응 방법들은 SCC 측면에서 **타겟 전용 상한선(Target-Only upper bound, 타겟 레이블이 있을 때의 이론적 한계)**의 약 60%를 회복했습니다. 이는 개인화된 미적 선호가 시각적 도메인 간에 의미 있는 수준으로 전이 가능하다는 증거를 제공합니다.
• 절대적 vs. 상대적 성능: 패션 타겟의 경우 절대적 점수는 더 낮았지만, 도메인 난이도 대비 회복률은 대부분의 방향에서 일관되게 나타났습니다. 이는 선호의 적응성이 방향에 따라 결정되는 것이 아니라 타겟 도메인의 내재적 난이도에 의해 제약된다는 것을 시사합니다.
• CCC의 한계: CCC(절대적 일치도)의 회복률(~38%)은 SCC보다 낮았습니다. 이는 비지도 적응이 어노테이터 특유의 평점 경향(예: 척도 사용 방식)을 포착하는 데 어려움이 있음을 나타냅니다.

3.3 사용자 수준 분석

저자들은 특정 사용자 속성(인구 통계, 성격, 평점 스타일)이 누가 도메인 적응의 혜택을 받는지 예측할 수 있는지 조사했습니다.

• 발견: 기계적인 "평균으로의 회귀(regression-to-the-mean)" 효과를 제외하고, 어떠한 사용자 속성도 적응 이득을 체계적으로 예측하지 못했습니다. 유의미한 효과는 드물었으며 특정 전이 방향에 국한되었습니다.
• 시사점: 한계 정렬(marginal-alignment) UDA의 이점은 광범적이며 특정 인구 통계적 또는 성격적 하위 그룹에 의해 제한되지 않습니다. 성공은 정적인 특성보다는 더 미세한 개인 내적 속성(예: 도메인 간 선호 구조의 중첩 정도)에 의해 주도되는 것으로 보입니다.

4. 주요 기여

1. XPASS-Vis 데이터셋: 예술, 패션, 풍경에 걸쳐 6,526개의 자극물과 129명의 어노테이터를 포함하며, 충분한 도메인별 커버리지(사용자당 >200개 샘플)와 풍부한 사용자 속성 수집을 특징으로 하는 교차 도메인 PIAA 연구를 위한 최초의 데이터셋을 공개했습니다.
2. 벤치마크 및 베이스라인: 8가지 대표적인 UDA 방법과 독점 LLM을 체계적으로 평가하여 교차 도메인 PIAA를 위한 새로운 벤치마크 과제를 수립했습니다.
3. 전이 가능성에 대한 실증적 증거: 개인화된 미적 선호가 시각적 도메인 간에 전이 가능하다는 것을 입증하였으며, 회귀 인식 특징 정렬 방법이 완전 비지도 설정에서도 감독 학습 상한선의 약 60%를 회복함을 보여주었습니다.
4. 적응에 대한 통찰: 적응 이득이 표준 사용자 속성에 의해 예측되지 않음을 발견함으로써, 향후 PIAA 특화 적응 전략은 인구 통계적 대리 지표가 아닌 교차 도메인 선호 구조 자체를 모델링하는 데 집중해야 함을 시사했습니다.

5. 의의 및 주장

본 논문은 XASS-VIS가 기존 문헌의 중요한 공백(단일 도메인이거나 사용자 밀도가 낮은 데이터셋)을 메우며, 교차 도메인 PIAA 연구를 위한 기초적인 자원을 제공한다고 주장합니다. 결과는 미적 선호가 완전히 도메인 특화적인 것이 아니라 전이 가능한 도메인 불변 성분을 포함하고 있다는 것에 대한 "고무적인 증거"를 제공합니다.

저자들은 자신의 발견을 전이 가능성에 대한 질문에 대해 "조건부 긍정(qualified yes)"이라고 겸손하게 표현합니다. 그들은 현재의 비지도 방법들이 상당 부분의 성능을 회복하지만, 특히 절대적 평점 경향(CCC)을 포착하는 데 있어서는 여전히 상당한 격차가 존재함을 강조합니다. 논문은 다음 단계가 일반적인 UDA 기술에 의존하는 것이 아니라, 사용자 속성과 도메인 변화 사이의 상호작용을 명시적으로 모델링하는 PIAA 특화 적응 전략을 개발하는 것이라고 제언합니다. 또한, 교차 모달 적응 및 더 넓은 시각적 도메인에 대한 향후 연구의 필요성을 강조합니다.