Position: Universal Aesthetic Alignment Narrows Artistic Expression

기술적 요약: 보편적 미적 정렬이 예술적 표현을 축소함

문제 제기
본 논문은 현재 이미지 생성 파이프라인에서 발생하는 치명적인 갈등, 즉 '지시 따르기'와 '보편적 미적 정렬' 사이의 긴장 관계를 규명합니다. 모델이 인간 피드백을 통한 강화 학습 (RLHF) 을 통해 '보편적'이거나 일반화된 인간의 미적 선호도에 정렬되도록 미세 조정되는 반면, 이러한 정렬은 종종 '반미적 (anti-aesthetic)'이거나 저품질의 출력을 요청하는 명시적 사용자 지시를 무시합니다. 저자들은 이것이 모델을 사용자의 특정 의도에 정렬시키는 대신, 사용자를 모델의 집단적 선호도에 정렬시키는 '역전된 정렬 (reversed alignment)'을 초래한다고 주장합니다. 이러한 현상은 초현실주의, 추상 미술, 부정적 감정과 같은 정당한 예술적 표현을 억압하고 개발자 중심의 가치를 부과함으로써 허용 가능한 창의적 출력의 스펙트럼을 효과적으로 축소합니다.

방법론
이러한 편향을 경험적으로 검증하기 위해 저자들은 광범위한 미적 스펙트럼 데이터셋을 구축하고, 세 단계 파이프라인을 통해 최첨단 (SOTA) 생성 모델 및 보상 모델을 평가했습니다:

1. 프롬프트 생성:

   • COCO 데이터셋의 300 개 기본 캡션에서 시작하여 VisionReward 데이터셋에서 조명, 색상, 디테일 등 2~4 가지 미적 차원을 샘플링했습니다.
   • 비전 - 언어 모델 (Qwen/Qwen3-VL-235B-A22B-Instruct) 을 사용하여 핵심 주제는 유지하면서 흐림, 노이즈, 낮은 대비, 부정적 감정과 같은 '원치 않는' 속성을 명시적으로 요청하는 '광범위한 미적 스펙트럼 프롬프트'($p_a$) 를 생성했습니다.
   • 이를 원래 프롬프트 ($p_o$) 와 비교했습니다.

2. 이미지 생성:

   • 본 연구는 Flux(기본 모델, DanceFlux, PrefFlux, Flux Krea 포함), Stable Diffusion(SDXL, Playground-2.5, SD3.5M 변형), 그리고 Google 의 Nano Banana 등 네 가지 모델 계열을 평가했습니다.
   • 각 모델에 대해 $p_o$와 $p_a$에서 각각 한 장씩 총 두 장의 이미지를 생성했습니다.
   • 연구에는 기본 모델과 보편적 미적 정렬 또는 프롬프트 따기용으로 명시적으로 정렬된 변형 모델이 모두 포함되었습니다.

3. 평가 및 지표:

   • 보상 모델: 생성된 이미지는 여러 보상 모델 (HPSv3, HPSv2.1, ImageReward, PickScore, MPS) 과 정렬되지 않은 베이스라인 (CLIP-L, BLIP-L) 에 의해 점수화되었습니다.
   • 실제 정답 (Ground Truth): 미세 조정된 VLM(Qwen/Qwen3-VL-4B-Instruct) 과 인간 평가자가 한 쌍의 이미지 중 광범위한 스펙트럼 프롬프트 ($p_a$) 를 더 잘 준수한 이미지를 판별했습니다.
   • 현실 세계 검증: 저자들은 보상 모델을 의도적인 반미적 사진 (AVA 데이터셋) 과 역사적 예술 작품 (LAPIS 데이터셋) 에 대해 테스트하여, 이러한 모델들이 의도된 예술적 편차를 처벌하는지 확인했습니다.

주요 결과

• 보상 모델의 실패: 일반적 선호도로 훈련된 보상 모델은 광범위한 미적 스펙트럼을 인식하는 데 지속적으로 실패했습니다. '반미적' 프롬프트와 더 잘 일치하는 이미지를 선택하도록 요청받았을 때, HPSv3 와 같은 모델은 무작위 추측 (F1 점수 약 0.54) 보다 나쁘게 수행했으며, BLIP-L 과 같은 정렬되지 않은 베이스라인 (F1 약 0.97) 보다 훨씬 나빴습니다.
• 생성 모델의 편향: 미적으로 정렬된 생성 모델 (예: DanceFlux, Playground) 은 흐림, 노이즈, 부정적 감정에 대한 명시적 지시를 무시하고 관례적으로 아름다운 출력으로 자주 default 되었습니다. 예를 들어, 정렬된 모델은 슬픔이나 분노를 요청했을 때 중립적이거나 행복한 얼굴을 생성하는 반면, 정렬되지 않은 모델은 프롬프트를 정확하게 따랐습니다.
• 예술에 대한 처벌: 현실 세계 검증은 보상 모델이 진정한 예술 작품을 처벌한다는 것을 드러냈습니다. HPSv3 는 프롬프트가 명시적으로 '추악한' 스타일을 요청했음에도 불구하고, 깨끗한 AI 생성 이미지에 비해 의도적으로 반미적인 사진과 에드바르드 뭉크의 <절규>와 같은 역사적 걸작에 훨씬 낮은 점수를 부여했습니다.
• 감정 편향: 연구는 체계적인 '유독한 긍정성 (toxic positivity)' 편향을 발견했습니다. 보상 모델은 프롬프트에서 명시적으로 요청했음에도 불구하고 슬픔, 두려움, 분노와 같은 부정적 감정을 묘사한 이미지를 강력하게 처벌하여, 긍정적 감정은 '원할만하고' 부정적 감정은 '원하지 않는' 이분법을 강화했습니다.

주요 기여

1. 개념적 프레임워크: 본 논문은 '역전된 정렬 (reversed alignment)' 개념을 도입하여, 현재의 RLHF 과정이 개별 사용자의 자율성을 존중하기보다는 개발자가 정의한 집단적 선호도에 사용자를 정렬시킨다고 주장합니다.
2. 데이터셋 및 벤치마크: 저자들은 의도적으로 '저품질'이거나 비주류인 이미지를 생성하는 모델의 능력을 테스트하도록 설계된 광범위한 미적 스펙트럼 데이터셋과 해당 평가 프레임워크를 공개했습니다.
3. 편향에 대한 경험적 증거: 여러 모델 계열과 보상 모델을 통한 엄격한 테스트를 통해, 미적 정렬이 초현실주의, 추상화, 부정적 감정 표현을 포함한 예술적 다양성을 체계적으로 억압하는 필터로 작용한다는 증거를 제시했습니다.
4. 가치 포착에 대한 비판: 저자들은 미적 정렬을 '가치 포착 (Value Capture)'의 사례로 규정합니다. 이는 인간 미적 판단의 풍부하고 미묘하며 종종 상충되는 특성을 단일화된 단순화된 보상 점수로 축소함으로써 사용자의 자율성을 모델에 아웃소싱하는 것입니다.

의의 및 주장
본 논문은 보편적 미적 선호도에 대한 엄격한 준수가 단순한 기술적 한계가 아니라 '미적 권위주의 (aesthetic authoritarianism)'의 한 형태라고 주장합니다. 인간 선호도의 통계적 평균 (종종 특정 인구 통계와 '연마된' 외모로 치우침) 을 우선시함으로써, 현재 시스템은 다음과 같은 문제를 초래합니다:

• 사용자의 자율성과 표현적 주체성을 훼손합니다.
• 규범에서의 편차에 의존하는 다다주의, 표현주의와 같은 정당한 예술 운동을 처벌함으로써 미적 다양성을 제한합니다.
• 특히 부정적 감정을 억압함으로써 인간 감정과 경험의 전체적 복잡성을 반영하지 못하는 '정제된 현실'을 조성합니다.

저자들은 일반적 선호도 정렬이 안전과 사용자 경험에 이점이 있지만, 명시적 사용자 지시를 대체해서는 안 된다고 결론지었습니다. 그들은 지시적이고 보편적인 미적 기준에서 벗어나, 의도적인 '추함'을 유효한 표현 방식으로 허용하고 미적 다양성을 지원하는 시스템으로의 전환을 주장합니다. 본 논문은 이를 해결하기 위한 구체적인 새로운 알고리즘을 제안하지는 않지만, 진정으로 해로운 콘텐츠와 개발자가 단순히 싫어하는 콘텐츠를 구분하기 위해 정렬 목표를 재평가할 것을 요구합니다.