🧬 biology

Beauty is in the ELBO of the Beholder: A Variational Account of Processing Fluency in Face Perception

이 논문은 인간의 얼굴 매력도에 대한 판단이 비지도 학습 방식으로 훈련된 변이형 오토인코더(variational autoencoders)의 증거 하한값(ELBO)과 일치함을 입증하며, 이는 미적 즐거움이 통계적으로 규칙적이고 전형적인 얼굴의 처리 유창성(processing fluency)으로부터 발생한다는 이론에 대한 경험적 근거를 제공한다.

원저자: Francisco M. López, Jochen Triesch

게시일 2026-08-26

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Francisco M. López, Jochen Triesch

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

수십 년 동안 과학자들은 왜 어떤 얼굴은 우리를 매료시키는 반면 다른 얼굴은 배경 속으로 사라져 버리는지 궁금해해 왔습니다. 인간 지각에 관한 이론들은 미(美)가 단순히 개인적인 취향의 문제가 아니라, 우리의 뇌가 보는 것을 얼마나 쉽게 처리할 수 있는지에 깊이 뿌리박고 있다고 오랫동안 제안해 왔습니다. 얼굴이 대칭적이거나, 평균적이거나, 혹은 친숙할 때, 우리의 마음은 더 적은 노력으로 그것을 인식하는 듯한데, 이를 '처리 유창성(processing fluency)'이라 불리는 현상이라고 합니다. 이러한 이해의 용이함은 즐거움이라는 감정을 생성하여, 우리가 그 얼굴들을 더 매력적이라고 평가하게 만든다고 여겨집니다. 이 아이디어는 인간 피험자를 대상으로 한 수많은 행동 실험을 통해 테스트되었지만, 이 정신적 용이함이 복잡한 학습 기제 내부에서 실제로 어떻게 발생하는지는 여전히 불분명한 상태로 남아 있었습니다. 어떤 얼굴이 아름다운지에 대해 전혀 배우지 않은 채 오직 얼굴을 보는 법만을 훈련받은 컴퓨터가 이와 유사한 선호도를 발달시킬 수 있을까요?

이를 규명하기 위해, 연구자 프란시스코 로페즈(Francisco López)와 요헨 트라이슈(Jochen Triesch)는 변이형 오토인코더(variational autoencoder)라고 불리는 인공지능의 한 유형에 주목했습니다. 이것은 인간의 지도나 아름다움에 대한 라벨 없이도 인간 얼굴 사진 수천 장과 같은 데이터의 기저 구조를 학습하도록 설계된 기계입니다. 이 시스템은 얼굴을 단순화된 내부 코드로 압축한 다음, 그 코도로부터 다시 재구성하는 방식으로 작동합니다. 이를 성공적으로 수행하기 위해 기계는 두 가지 상충하는 목표 사이에서 균형을 잡아야 합니다. 즉, 얼굴을 정확하게 재현할 수 있을 만큼 충분한 세부 정보를 유지해야 하는 동시에, 내부 코드를 단순하고 조직적으로 유지해야 합니다. 연구진은 기계가 이 두 목표 사이의 균형을 얼마나 잘 맞추는지 측정하는 수학적 점수가 인간의 처리 유창성을 직접적으로 나타내는 계산적 버전이라고 제안했습니다. 만약 어떤 얼굴이 기계가 이해하고 재구성하기 쉽다면, 그 얼굴은 이 척도에서 높은 점수를 받을 것입니다.

연구팀은 서로 다른 대규모 얼굴 이미지 컬렉션을 사용하여 네 개의 별도 AI 모델을 훈련시켰으며, 이때 어떤 모델도 인간의 매력도 평가를 접하지 않도록 보장했습니다. 그 후, 그들은 이미 인간의 매력도 평가가 알려져 있는 시카고 얼굴 데이터베이스(Chicago Face Database)의 597개 얼굴 세트를 사용하여 이 모델들을 테스트했습니다. 결과는 놀라웠습니다. 인간이 가장 아름답다고 평가한 얼굴들은 일관되게 기계가 처리하기 가장 쉽다고 판단한 얼굴들과 동일했습니다. 기계가 얼굴을 조직하는 수학적 공간 내에서, 아름다움이 증가하는 방향은 처리 용이성이 증가하는 방향과 거의 완벽하게 일치했습니다. 이러한 정렬은 기계가 훈련된 데이터셋이 무엇인지, 혹은 얼굴이 속한 인구 통계학적 집단이 누구인지와 관계없이 유효했습니다. 기계는 아름다움이 무엇인지 배울 필요가 없었습니다. 기계는 단지 얼굴을 효율적으로 보는 법을 학습함으로써 아름다움을 향한 경로를 발견한 것입니다.

나아가, 연구진은 이러한 선호도가 단일한 숫자가 아니라 기계의 내부 지도 내에서의 특정 방향임을 발견했습니다. 서로 다른 모델들에 의해 생성된 지도들을 비교했을 때, 그들은 '아름다움의 방향'이 매우 일관적이라는 사실을 찾아냈습니다. 비록 모델들이 서로 다른 시작점과 서로 다른 훈련 데이터를 가지고 처음부터 구축되었음에도 불구하고, 모델들은 모두 동일한 매력이라는 개념을 향하도록 얼굴을 조직했습니다. 이는 인간의 미적 감각이 무작위적인 문화적 구성물이 아니라, 얼굴이 표현되는 방식의 근본적이고 재현 가능한 구조와 연결되어 있음을 시사합니다. 또한 본 연구는 매력적인 얼굴이 더 '전형적(prototypical)'이라는 점을 확인했습니다. 즉, 매력적인 얼굴은 물리적 형태와 기계의 내부 코드 모두에서 해당 집단의 평균적인 얼굴과 더 닮아 있다는 의미입니다. 그러나 기계의 아름다움 예측 능력은 단순한 평균을 넘어, 기본적인 기하학적 평균이 놓칠 수 있는 미묘한 세부 사항까지 포착해 냈습니다.

이러한 발견은 고전적인 미학 이론과 현대 인공지능 사이의 새로운 가교를 제공합니다. 이는 우리가 아름다운 얼굴을 볼 때 느끼는 즐거움이, 기계가 최소한의 오류로 이미지를 압축하고 재구성할 수 있게 하는 효율성과 동일한 원천에서 비롯될 수 있음을 시사합니다. 인간의 지시 없이도 인간의 선호도를 예측해 낸 기계의 성공은, 특정 얼굴에 대한 우리의 끌림이 우리의 마음이 그것을 이해할 수 있는 용이함과 깊게 연결되어 있음을 암시합니다. 이 연구가 인간의 뇌가 이 컴퓨터 모델들과 정확히 똑같이 작동한다고 주장하는 것은 아니지만, 효율적인 표현의 원리가 이 이야기의 핵심적인 부분이라는 강력한 증거를 제공합니다. 연구는 결론적으로, 얼굴 지각의 맥순에서 아름다움은 정말로 보는 이의 눈에 달려 있지만, 그 눈은 정보가 처리되고 이해되는 방식에 담긴 깊고 공유된 논리에 의해 인도된다고 밝히고 있습니다.

기술 요약: 아름다움은 보는 이의 ELBO 안에 있다

문제 제기
본 논문은 무엇이 얼굴을 아름답게 만드는가라는 오래된 질문을 다룬다. 얼굴 지각에 관한 고전적 설명들은 대칭성, 평균성, 원형성(prototypicality)과 같은 통계적 규칙성을 매력도와 연결하며, 이는 미(美)가 자극의 "처리 유창성(processing fluency)"—즉, 자극이 얼마나 쉽게 지각되고 표현되는가—에 달려 있음을 시사한다. 행동 실험들은 처리 유창성 이론(Reber et al., 1998, 2004)을 뒷받침하지만, 이러한 유창성이 현대적인 생성 모델의 계산적 표현 학습에서 어떻게 발현되는지는 여전히 불분명하다. 기존의 계산적 접근 방식들은 현대적인 딥 생성 모델이 가진 상세한 표현적 특성이 결여된 추상적인 확률적 스칼라 모델에 의존해 왔다. 본 연구는 신경 미학의 처리 유창성 이론과 성능이 뛰어난 얼굴 생성 모델 사이의 간극을 메우고자 한다.

방법론
저자들은 변이형 오토인코더(VAE)를 사용하여 처리 유창성에 대한 변이적 해석을 제안한다. VAE에서 증거 하한(ELBO) 목적 함수는 두 가지 상충하는 구성 요소, 즉 왜곡(재구성 충실도)과 비율(사전 분포로부터의 KL 발산으로 측정되는 정규화 비용) 사이의 균형을 맞춘다. 저자들은 자극이 낮은 표현 비용(낮은 비율)으로 높은 충실도(낮은 왜곡)로 재구성될 수 있을 때 유창하게 처리된다고 가설을 세웠다.

이를 테스트하기 위해 본 연구는 다음과 같은 실험 설계를 채택하였다:

비지도 학습: 네 가지 다양한 얼굴 데이터셋(FairFace, FFHQ, CelebA, UTKFace)에 대해 매력도에 대한 감독 없이 합성곱 VAE를 독립적으로 학습시켰다.
평가: 학습된 표현을 인간의 매력도 점수가 존재하는 시카고 얼굴 데이터베이스(CFD)의 중립 표정 얼굴 597개에 대해 평가하였다.
인구통계학적 조건화: 혼란 변수를 통제하기 위해 모든 분석은 8개의 인구통계학적 그룹(4개의 인종 및 2개의 성별)에 걸쳐 계층화되었다.
기하학적 분석: 연구는 인간의 매력도 구배(gradient)와 VAE의 비율-왜곡 공간 사이의 정렬을 분석하였다. 또한, 프로크루스테스 정렬(Procrustes alignment)과 교차 모델 전이 분석을 통해 독립적으로 학습된 잠재 공간들이 공통된 "매력 방향"을 공유하는지 조사하였다.
원형성 비교: 저자들은 학습된 잠재 매력 방향의 예측력을 고전적인 형태적 원형성(얼굴 랜드마크 기반) 및 잠재 공간 원형성과 비교하였다.

주요 결과

ELBO와의 정렬: 모든 학습 데이터셋과 인구통계학적 그룹에 걸쳐, 인간의 매력도 점수는 VAE ELBO와 유의미한 양의 상관관계( $r \approx 0.25 - 0.31$ )를 보였다. 구체적으로, 매력적인 얼굴은 동시에 낮은 재구성 왜곡과 낮은 정규화 비율과 연관되어 있었다.
기하학적 일관성: 비율-왜곡 공간에서 인간의 매력도가 증가하는 경험적 방향은 ELBO 목적 함수 자체에 의해 정의된 방향과 강력하게 일치했다. 모델 간 이 방향들의 코사인 유사도는 0.905에서 0.997 사이로 나타났으며, 이는 변이적 목적 함수가 본질적으로 더 높은 매력도를 가진 영역을 선택함을 나타낸다.
잠재 방향의 전이 가능성: 독립적으로 학습된 잠재 공간들은 강력하게 보존된 "매력 방향"을 포함하고 있었다. 한 모델에서 학습된 방향을 다른 모델로 전이했을 때(서로 다른 학습 데이터셋 간에도 불구하고), 이는 인간의 매력도에 대해 높은 예측력을 유지했다( $r \approx 0.516$ ). 이는 인간의 선호도를 뒷받침하는 재현 가능한 기하학적 구조가 존재함을 시사한다.
원형성 대 잠재 기하학: 매력적인 얼굴은 랜드마크 공간과 잠재 공간 모두에서 원형적이었으나, 학습된 잠재 매력 방향은 원형성 척도 단독보다 인간의 점수를 훨씬 더 강력하게 예측했다. 잠재 방향은 기하학적 랜드마크가 완전히 포착하지 못하는 추가적인 이미지 구조(예: 피부톤, 눈 색깔)를 포착했다.

의의 및 주장
본 논문은 처리 유창성에 대한 변이적 해석에 대한 경험적 근거를 제공한다고 주장한다. 핵심 발견은 인간의 미적 판단이 생성 모델의 비지도 목적 함수(ELBO)와 밀접하게 일치한다는 것이다. 이는 얼굴을 처리하는 "용이함"이 학습된 생성 모델 내에서 정확하면서도(낮은 왜곡) 효율적인(낮은 비율) 표현에 대응함을 시사한다.

저자들은 본 연구를 다음 요소들을 연결하는 가교로 위치시킨다:

얼굴 지각에 관한 고전적 설명(대칭성, 평균성).
미적 즐거움에 관한 처리 유창성 이론.
현대적인 딥 생성 모델.

한계 및 겸허한 태도
저자들은 자신들의 결과가 인과 관계가 아닌 상관 관계임을 명시적으로 밝힌다. VAE가 단순화된 생성 모델이며, 이를 인간 시각 체계의 기계적 모델로 해석해서는 안 된다고 경고한다. 또한, 비지도 이미지 모델이 매력과 관련된 객관적인 얼굴 특성을 포착하기는 하지만, 훈련 데이터에 존재하지 않는 사회적 및 정서적 요인의 영향을 받는 인간의 미적 판단을 부분적으로만 포착한다는 점을 언급한다. 본 연구는 인구 통계학적 범주를 거칠게 분류하고 집단 평균 점수에 의존하므로, 개인차 및 문화적 선호에 대한 범위를 제한한다.

유사한 논문