From pixels to pleasure: visual features explain dynamic aesthetic experiences across distinct movie content

이 연구는 시각적 특징 (특히 유창성과 색상) 이 자연주의적 및 예술적 영화 감상 중 발생하는 동적인 미적 경험을 예측할 수 있으며, 이러한 예측 모델이 서로 다른 콘텐츠와 스타일을 가진 영화 간에도 관찰자 간에 일관되게 적용됨을 보여줍니다.

핵심

이 논문은 **"왜 어떤 영화 장면은 우리를 감동시키고, 어떤 장면은 무심하게 지나치게 되는가?"**라는 질문에 답하기 위해 쓴 연구입니다.

연구진은 두 가지 매우 다른 영화 (자연 다큐멘터리 와 반 고흐의 그림으로 만든 애니메이션 <러빙 빈센트>) 를 보여주면서, 관객들이 매 순간 "얼마나 아름다운가?"를 실시간으로 평점하게 했습니다. 그리고 컴퓨터가 영화의 **화면 속 숫자 데이터 (색깔, 움직임, 대칭 등)**를 분석해 그 평점을 얼마나 잘 예측할 수 있는지 실험했습니다.

이 복잡한 연구를 일상적인 언어와 비유로 쉽게 설명해 드릴게요.

---

🎬 1. 연구의 핵심: "눈의 미각"을 컴퓨터로 읽다

우리는 영화를 볼 때 "아, 이 장면은 너무 예뻐!"라고 느끼거나 "음, 좀 지루한데?"라고 생각하죠. 보통은 이게 사람마다 다르고, 그날의 기분이나 취향에 따라 달라진다고 생각합니다. 마치 **"미각은 입맛에 달렸다"**는 말처럼요.

하지만 이 연구는 **"아니, 사실 우리 눈이 예쁜 것을 느끼는 방식에는 공통된 법칙이 있어!"**라고 주장합니다.

비유:
imagine(상상해 보세요) 우리가 요리를 할 때, 소금과 설탕의 양을 정확히 재서 맛있는 요리를 만들 수 있다면?
이 연구는 영화라는 '요리'에서 색깔 (소금), 움직임 (설탕), 대칭성 (향신료) 같은 '재료'를 컴퓨터가 정량적으로 재서, "이 장면은 미각적으로 80 점짜리다"라고 예측해 낸 것입니다.

🔍 2. 실험 내용: 두 가지 다른 영화, 같은 법칙

연구진은 두 가지 완전히 다른 영화를 사용했습니다.

1. : 실제 자연 풍경을 담은 다큐멘터리 (사자, 바다, 숲 등).
2. <러빙 빈센트>: 반 고흐의 유화 스타일로 그린 애니메이션 (인위적이고 예술적임).

사람들에게 이 영화들을 보게 하고, 매 순간 "아름답다/아름답지 않다"를 슬라이더로 조절하게 했습니다. 그리고 컴퓨터는 영화의 한 장면을 켜고 꺼 (프레임) 하면서 다음과 같은 12 가지 시각적 특징을 계산했습니다.

• 색깔 통계: 얼마나 다채로운가? 초록색/파란색이 많은가? (예: 파란 하늘과 초록 숲은 보통 좋아함)
• 유창함 (Fluency): 이미지의 부분들이 잘 어우러져 있는가? (예: 조각난 퍼즐보다 완성된 그림이 더 보기 좋음)
• 대칭성: 좌우가 균형 잡혀 있는가?
• 움직임 에너지: 화면이 얼마나 활발하게 움직이는가?

📊 3. 놀라운 결과: 컴퓨터가 사람의 마음을 읽다?

컴퓨터는 이 시각적 특징들을 조합해서 사람의 평점을 예측했습니다. 결과는 매우 놀라웠습니다.

• 사람마다 비슷하게 느낀다: "미각은 입맛에 달렸다"는 말과 달리, 대부분의 사람이 비슷한 시각적 특징을 보고 비슷하게 '아름답다'고 느꼈습니다. 컴퓨터가 만든 모델이 새로운 영화를 보여줄 때도 사람의 평점을 꽤 잘 맞췄습니다.
• 가장 중요한 재료는 '색깔'이었다: 모든 예측에서 색깔 (Color) 관련 데이터가 가장 강력한 역할을 했습니다. 특히 **다채로움 (Colorfulness)**과 밝은 대비가 아름다운 장면의 핵심이었습니다.
• 다른 영화에서도 통했다: 자연 다큐멘터리 () 로 학습한 컴퓨터 모델이, 완전히 다른 스타일의 애니메이션 (<러빙 빈센트>) 을 봐도 사람의 평점을 예측할 수 있었습니다. 이는 색깔의 아름다움은 영화의 장르나 스타일을 초월하여 보편적임을 의미합니다.

🎨 4. 재미있는 발견: "유창함"의 양면성

하지만 모든 것이 똑같지는 않았습니다.

• 자연 다큐멘터리 (): 이미지가 잘 어우러지고 (유창함), 복잡하지 않을 때 사람들이 더 좋아했습니다. (자연스러운 풍경처럼)
• 예술 애니메이션 (<러빙 빈센트>): 오히려 어색하거나 복잡할 때 (유창함이 낮을 때) 사람들이 더 흥미를 느꼈습니다.

비유:
자연 다큐멘터리는 편안한 산책과 같습니다. 길이 잘 닦여 있고 (유창함) 경치가 조화로우면 마음이 편안해지죠.
반면, 예술 영화는 미로 찾기와 같습니다. 길이 복잡하고 예측하기 어려울수록 (유창함이 낮을수록) 사람들은 "어? 이게 뭐지?"라며 더 집중하고 흥미를 느낍니다.

💡 5. 결론: 아름다움은 '공유된 감각'이다

이 연구의 결론은 매우 명확합니다.

"아름다움은 완전히 주관적인 것이 아니라, 우리 눈과 뇌가 공유하는 '시각적 법칙'에 기반한다."

우리가 영화를 볼 때 느끼는 감동은 단순히 개인의 취향만이 아니라, 화면의 색깔, 움직임, 구조 같은 물리적인 특징에 크게 영향을 받습니다. 특히 색깔은 어떤 영화를 보든 우리를 설레게 하는 가장 강력한 열쇠입니다.

한 줄 요약:

"컴퓨터가 영화의 '색깔'과 '구조'를 분석하면, 우리가 언제 감동할지 꽤 정확하게 예측할 수 있다! 아름다움은 우리 모두에게 공통된 시각적 언어로 되어 있다."

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 일상생활의 미적 경험은 끊임없이 변화하는 시각적 입력 하에서 발생합니다. 미적 경험은 관찰자와 맥락에 의존하지만, 입력의 시각적 특징 (visual features) 에 의해 부분적으로 설명될 수 있습니다.
• 기존 연구의 한계:
  1. 단일 특징 분석: 기존 연구들은 대부분 밝기, 대비, 대칭성, 복잡성 등 개별 시각 특징을 분리하여 분석했습니다. 여러 특징이 어떻게 결합되어 미적 판단에 영향을 미치는지에 대한 통합적 이해가 부족합니다.
  2. 단일 콘텐츠 제한: 연구 대상이 예술 작품, 얼굴, 자연 풍경 등 특정 유형의 시각 콘텐츠로 국한되어 있어, 서로 다른 콘텐츠 (예: 자연 다큐멘터리 vs 예술 애니메이션) 간에 미적 선호도가 어떻게 일반화되는지 알 수 없었습니다.
• 연구 목적: 다양한 시각적 특징의 조합이 자연스럽고 역동적인 영화 시청 중 발생하는 순간순간의 미적 경험을 얼마나 잘 예측할 수 있는지, 그리고 이러한 예측이 관찰자 간 및 서로 다른 영화 콘텐츠 간에 일반화되는지 규명하는 것입니다.

2. 방법론 (Methodology)

실험 설계

• 실험 1 (자연 다큐멘터리): 37 명의 참가자가 자연 다큐멘터리 영화 을 시청하며 미적 매력을 연속적으로 평가했습니다. 영화는 9 개의 세그먼트로 나뉘어졌습니다.
• 실험 2 (예술 애니메이션): 30 명의 참가자가 반 고흐의 그림을 기반으로 한 애니메이션 영화 을 시청하며 동일한 방식으로 평가했습니다. 영화는 8 개의 세그먼트로 나뉘어졌습니다.
• 평가 방식: 참가자들은 슬라이더 바를 사용하여 영화의 미적 매력을 순간순간 (moment-to-moment) 연속적으로 rating 했습니다.

특징 추출 (Visual Features Extraction)

각 영화 프레임에서 추출된 12 가지 이미지 계산 가능 (image-computable) 인 시각적 예측 변수를 4 가지 그룹으로 분류했습니다:

1. 시각 유창성 (Visual Fluency): VGG16 딥러닝 모델 (Places365 데이터셋 학습) 의 11 번째 레이어 활성화를 기반으로 추출.
   • Part-similarity: 이미지 부분 간의 유사성.
   • Integration: 부분들이 전체로 통합되는 정도.
   • L2 norm: 전체 활성화 강도 (희소성 지표).
2. 대칭성 (Symmetry): 수평 및 수직 반사 축을 통한 픽셀 값 상관관계.
3. 색상 통계 (Color Statistics): CIELab 및 RGB 공간 기반.
   • 색상 풍부함 (Colorfulness), 녹색/청색 편향, 평균 채도, 명도 대비, 색조 대비.
4. 시각 운동 (Motion): 시공간 가버 필터 (Spatiotemporal Gabor filter) 모델을 통한 운동 에너지.

모델링 및 분석

• 회귀 모델: 릿지 회귀 (Ridge Regression) 를 사용하여 시각적 특징 (X) 에서 미적 평가 (Y) 를 예측했습니다.
• 교차 검증 (Cross-validation):
  • 개인 내 (Within-subject): 한 참가자의 데이터 내에서 세그먼트를 나누어 학습 및 테스트.
  • 개인 간 (Cross-subject): $N-1$명의 데이터를 학습하여 남은 1 명의 데이터를 테스트 (그룹 평균 기반).
  • 영화 간 (Cross-movie): 한 영화 (예: Home) 로 학습된 모델을 다른 영화 (예: Loving Vincent) 에 적용하여 테스트.
• 모델 비교: 각 예측 변수 그룹을 하나씩 제거하여 모델 성능 ($\Delta r$) 이 얼마나 감소하는지 분석하여 특징의 기여도를 평가했습니다.

3. 주요 결과 (Key Results)

• 시각적 특징의 강력한 예측력:

  • 시각적 특징을 기반으로 한 선형 모델은 Home과 Loving Vincent 두 영화 모두에서 참가자의 순간순간 미적 평가를 유의미하게 예측했습니다 ($p < .001$).
  • 이는 시각적 특징이 역동적인 영화 콘텐츠에서 미적 경험을 설명하는 핵심 요소임을 시사합니다.

• 개인 간 일반화 (Cross-subject Generalization):

  • 한 참가자의 데이터로 학습된 모델이 다른 참가자의 미적 평가도 유의미하게 예측했습니다.
  • Home(자연 다큐) 에서의 예측 정확도가 Loving Vincent(예술 애니메이션) 보다 높았습니다. 이는 예술 작품은 자연 풍경보다 개인의 해석과 문화적 배경에 따라 미적 선호도가 더 다양하게 나타날 수 있음을 반영합니다.

• 주요 예측 변수 (Feature Importance):

  • Home: 시각 유창성, 대칭성, 색상 통계가 모두 모델 성능에 유의미하게 기여했습니다.
  • Loving Vincent: 시각 유창성과 색상 통계가 주요 기여 요인이었으며, 대칭성과 운동 에너지는 유의미하지 않았습니다.
  • 공통점: 시각 유창성과 색상 관련 특징이 두 영화 모두에서 가장 중요한 예측 인자였습니다.

• 콘텐츠 간 일반화 (Cross-movie Prediction):

  • 한 영화 (Home) 로 학습된 모델이 다른 영화 (Loving Vincent) 의 미적 평가를 유의미하게 예측할 수 있었습니다 (역방향도 동일).
  • **색상 통계 (Color features)**가 영화 간 예측을 주도하는 가장 일관된 요인이었습니다. 운동 에너지는 일부 유의미했으나 그 영향력이 작았습니다.
  • 흥미롭게도 시각 유창성은 영화 내 예측에는 강력했으나, 영화 간 예측에서는 일반화되지 않았습니다. (예: Home 에서는 유사성과 통합이 긍정적 기여, Loving Vincent 에서는 부정적 기여를 보임).

4. 핵심 기여 및 의의 (Contributions & Significance)

• 통합적 미적 경험 모델: 단일 특징이 아닌, 저수준 (low-level) 및 중수준 (mid-level) 시각적 특징의 조합이 역동적인 미적 경험을 설명할 수 있음을 입증했습니다.
• 보편적 미적 원리 발견: "미는 보는 사람의 눈에 있다"는 통념과 달리, **공유된 지각적 메커니즘 (shared perceptual mechanisms)**이 존재함을 보여줍니다. 즉, 서로 다른 사람과 서로 다른 콘텐츠 (자연 vs 예술) 에 걸쳐 시각적 특징 (특히 색상) 이 미적 매력에 일관된 영향을 미칩니다.
• 색상의 지배적 역할: 색상 통계 (특히 색상 풍부함과 명도 대비) 는 콘텐츠의 스타일이나 맥락과 무관하게 미적 선호도를 예측하는 가장 강력한 지표임을 확인했습니다. 이는 색상에 대한 선호가 생물학적 또는 생태학적 요인에 기반할 가능성을 시사합니다.
• 맥락에 따른 유창성의 이중적 역할: 시각 유창성 (처리 용이성) 은 자연스러운 장면에서는 미적 매력을 높이지만, 예술적인 장면 (Loving Vincent) 에서는 오히려 복잡성과 모호성이 미적 경험을 풍부하게 할 수 있어 그 영향이 반전될 수 있음을 발견했습니다.
• 해석 가능한 AI 접근: 딥러닝의 '블랙박스' 접근법과 달리, 해석 가능한 시각적 특징을 사용하여 미적 경험의 구체적인 원인을 규명하려는 시도를 제공했습니다.

5. 결론

이 연구는 미적 경험이 단순히 주관적인 것이 아니라, 공유된 시각적 특징에 기반한 객관적인 지각 과정과 깊이 연관되어 있음을 보여줍니다. 특히 색상과 시각 유창성과 같은 저수준 특징은 관찰자와 콘텐츠의 차이를 초월하여 미적 경험을 형성하는 핵심 요소로 작용합니다. 향후 연구에서는 이러한 저수준 특징 접근법과 고수준 인지 및 정서적 요인을 통합하여 미적 경험의 더 포괄적인 모델을 개발할 수 있을 것입니다.