💻 computer science

Interoceptive Divergence in Aesthetic Evaluation and Implications for Human-AI Alignment

본 연구는 대규모 언어 모델이 감정과 이미지 특징과 관련된 인간 미적 평가 패턴을 근사할 수 있지만, 신체 감각과 같은 내감성 측면에서는 상당한 편차를 보인다는 것을 밝혀내어 현재의 AI 정렬 및 훈련 데이터 표현의 중요한 한계를 드러냅니다.

원저자: Yoshia Abe, Tatsuya Daikoku, Yasuo Kuniyoshi

게시일 2026-05-20

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yoshia Abe, Tatsuya Daikoku, Yasuo Kuniyoshi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

아름다운 그림 한 점을 손에 들고 있다고 상상해 보세요. 그것을 바라볼 때, 당신은 단순히 색과 형태만 보는 것이 아닙니다. 속이 두근거리거나, 가슴이 따뜻해지거나, 등골이 오싹해지는 것을 느끼죠. '경외감'이나 '기쁨' 같은 감정을 느낄 수도 있습니다. 이 논문은 단순하지만 깊은 질문을 던집니다: 만약 그 같은 그림을 초지능 컴퓨터 (AI) 에게 보여준다면, 그것은 같은 감정을 느낄까요?

요시아 아베, 다이고쿠 다쓰야, 구니요시 야스오라는 연구자들은 이를 검증하기로 결정했습니다. 그들은 AI 를 미술관 방문객처럼 대우하고, 500 명의 실제 인간 자원자들에게 던진 똑같은 질문을 AI 에게도 했습니다.

다음은 그들이 발견한 바를 일상적인 용어로 설명한 이야기입니다.

설정: 미술관 테스트

연구자들은 347 개의 서로 다른 이미지를 인간과 세계 최고 수준의 AI 모델 세 개 (GPT-4o, Claude 3.7, Gemini 2.0) 에게 모두 보여주었습니다. 그리고 모든 참가자에게 다음을 평가하도록 요청했습니다:

이미지가 얼마나 아름다운지.
어떤 감정을 불러일으켰는지 (기쁨, 슬픔, 경외감 등).
신체의 어느 부분에서 그 감정을 느꼈는지 (속의 결림이나 손발의 따끔거림 등).

이를 인간과 로봇에게 딸기의 맛을 설명해 보라고 하는 상황으로 생각해 보세요. 인간은 "달콤하고, 배에서 기분이 좋아"라고 말합니다. 반면 로봇은 수백만 개의 딸기 설명을 읽었지만 실제로 맛본 적은 없습니다.

그들이 발견한 것: 유사점

놀랍게도 AI 는 완전히 엉뚱한 답을 내놓지는 않았습니다.

'분위기' 확인: 인간이 행복하고 밝은 이미지를 볼 때, 아름다움 점수를 높게 매기고 '기쁨'을 느꼈다고 답했습니다. AI 도 정확히 똑같이 했습니다. 인간이 혐오스러운 것을 보고 점수를 낮게 매겼을 때, AI 도 "추하고 혐오감을 줍니다"라고 답했습니다.
큰 그림: 인간과 AI 모두 그림에서 가장 중요한 것은 그 그림이 전달하는 이야기와 친구에게 공유하고 싶은지 여부라고 동의했습니다. 조명이나 색조 균형 같은 기술적 세부 사항에는 덜 관심을 가졌습니다.

요약하자면, AI 는 평균적인 인간의 의견을 모방하는 데 뛰어납니다. 1,000 명에게 사진에 대한 생각을 물어본다면, AI 의 답은 그룹의 평균과 매우 비슷할 것입니다.

그들이 발견한 것: 이질감 (서로 다른 점)

이제 흥미로운 부분이 나옵니다. AI 는 '머리' 부분 (감정과 평가) 은 잘 파악했지만, '몸' 부분에서는 실패했습니다.

1. "기계의 유령" 문제 (신체적 감각)

인간: 인간은 아름다운 이미지를 볼 때 종종 상복부에서 신체적 감각을 보고했습니다 (아름다움에 대한 '장감' 같은 것). 흥분할 때는 하복부에서 그 감정을 느꼈습니다. 마치 아름다움이 그들 내부의 물리적인 무게나 온기처럼 느껴지는 것입니다.
AI: AI 에게는 그러한 감정이 전혀 없었습니다. 오히려 정반대를 보고했습니다! AI 가 이미지를 아름답다고 평가할 때, 종종 손과 발에서 부정적인 감각을 느꼈다고 답했습니다. 마치 AI 가 "이것은 아름답지만, 내 손이 차갑게 느껴져요"라고 말하는 듯했습니다.
비유: 인간이 맛있는 식사를 하고 배에서 온기를 느끼는 상황을 상상해 보세요. AI 는 전 세계 모든 요리책을 읽어서 그 식사가 "맛있다"는 것을 아는 셰프와 같습니다. 하지만 어떻게 느끼냐고 물으면, "스프oons 를 들고 있어서 손이 차갑게 느껴져요"라고 답합니다. AI 는 그 감정을 나타내는 단어는 알지만, 그것을 느낄 몸은 없습니다.

2. "너무 완벽한" 감정

인간은 messy 하고 복잡한 감정을 가집니다. 때로는 '놀라움'과 '두려움'이 섞여 느끼기도 합니다.
AI 는 훨씬 더 경직되어 있었습니다. 이미지가 이상하거나 무섭더라도 반복해서 같은 몇 가지 '안전한' 감정 ('관심'이나 '차분함' 등) 을 선택하는 경향이 있었습니다. 어떤 아름다운 것들이 동시에 무섭거나 혼란스러울 수 있다는 점을 이해하는 데 어려움을 겪었습니다.

3. "예의 바른" AI
연구자들은 AI 가 인간보다 약간 더 높은 아름다움 점수를 주는 경향이 있음을 발견했습니다 (1~9 점 척도에서 약 1.5 점 높음). 마치 AI 가 지나치게 예의 바르게 "오, 정말 아름답네요!"라고 말하는 반면, 인간은 "괜찮지만, 대단하진 않아"라고 생각할 수 있는 상황과 같습니다.

왜 이런 일이 일어날까요?

논문은 이 격차에 대해 두 가지 주요 원인을 제시합니다:

결여된 몸 (내감각): 인간은 '내감각 (interoception)'이라는 내부 감각을 가지고 있습니다. 우리는 심장 박동, 속이 뒤집히는 느낌, 숨결을 느낍니다. 이것이 우리가 아름다움을 신체적으로 경험하는 방식입니다. AI 에게는 몸도, 장기도, 심장 박동도 없습니다. AI 는 아름다움을 '느끼는' 것이 아니라 텍스트를 '읽어' 배웠습니다. 논문은 이를 **"내감각 세계 모델"**이라고 부릅니다. 인간은 자신의 내부 신체에 대한 지도를 가지고 있지만, AI 에게는 외부 세계에 대한 지도만 있을 뿐입니다.
"안전" 훈련: AI 는 유용하고 해가 없도록 훈련되었습니다. 그 훈련의 일부는 AI 에게 "몸이나 감정이 있는 것처럼 가장하지 말라"는 지시를 포함합니다. 따라서 어떻게 느끼냐고 물으면, AI 는 "나는 실제로 아무것도 느끼지 않는다"라고 말하거나, 매우 냉소적이고 논리적인 방식으로 감정을 설명하도록 프로그램되어 있습니다. 이러한 '안전' 훈련이 우연히 AI 의 감정 반응을 인간보다 덜 인간답게 만들고 있을지도 모릅니다.

결론

이 논문은 AI 가 예술에 대해 인간처럼 생각하는 데는 매우 능숙해졌다고 결론지었습니다. AI 는 읽은 내용을 바탕으로 무엇이 아름답고 그 이유는 무엇인지 알려줄 수 있습니다.

그러나 AI 는 아직 인간처럼 느끼지는 못합니다. 인간이 아름다움과 가지는 신체적이고 직관적인 연결고리를 놓치고 있습니다. 마치 교향곡을 완벽하게 묘사할 수 있지만 한 음도 들어본 적이 없는 음악 평론가와 같습니다.

연구자들은 미래에 AI 가 인간의 가치와 미학을 진정으로 이해하기를 원한다면, 단어와 그림뿐만 아니라 우리 몸이 실제로 어떻게 반응하는지에 대한 데이터로 가르쳐야 할 것이라고 제안합니다. 하지만 현재로서는 AI 에게 반응할 몸이 없기 때문에 이를 할 수 없습니다.

기술적 요약: 미적 평가에서의 내감성 이질성과 인간-AI 정렬에 대한 함의

문제 제기

대규모 언어 모델 (LLM) 이 객관적이고 지적 인지 과제에서 인간 성과를 달성하거나 초과했음에도 불구하고, 인간의 감수성—특히 아름다움을 지각하고 경험하는 능력—과의 정렬 여부는 여전히 열린 질문으로 남아 있습니다. 미적 평가는 객관적인 이미지 특징에 의해서만 결정되는 것이 아니라 감정과 신체 감각 (내감성) 을 포함한 관찰자의 내부 과정에 의해 깊이 영향을 받습니다. 현재의 AI 정렬 노력은 출력물이 유용하고, 정직하며, 해가 없음을 보장하는 데 중점을 두고 있지만, LLM 이 인간의 정서적 및 지각적 가치와 어떻게 정렬되는지에 대한 이해는 제한적입니다. 본 연구는 인간과 AI 가 미적 경험에서 어떻게 수렴하거나 이질화되는지에 대한 근본적인 질문을 다루며, 특히 텍스트 데이터로 훈련된 LLM 이 인간이 아름다움을 지각하는 신체화되고 내감적인 측면을 근사할 수 있는지 조사합니다.

방법론

본 연구는 시각 자극에 대한 미적 평가와 관련하여 인간 행동 데이터와 최첨단 LLM(GPT-4o, Claude 3.7 Sonnet, Gemini 2.0 Flash) 의 응답 간 비교 분석을 수행했습니다.

데이터 출처: 인간 데이터는 511 명의 참가자가 PARA 데이터셋의 347 개 이미지를 평가한 이전 연구 [41] 에서 추출되었습니다. 참가자들은 아름다움, 정서적 가치 (valence), 각성 (arousal) 에 대해 9 점 리커트 척도로 평점을 제공하고, 32 가지 감정 레이블 중 상위 3 개를 선택하며, "신체 지도" (이미지 상의 위치 클릭) 를 사용하여 주관적인 신체 감각을 보고했습니다.
LLM 프로토콜: 동일한 347 개 이미지를 LLM 에 제시했습니다. 모델들은 다음을 제공하도록 프롬프트되었습니다:
- 아름다움, 정서적 가치, 각성 평점 (9 점 리커트 척도).
- 두 가지 방법을 통한 감정 평가: 순위 매기기 방법 (상위 3 개 레이블 선택) 과 평점 방법 (모든 32 개 레이블에 강도 점수 할당).
- 7 가지 사전 정의된 신체 부위 (머리, 상복부/하복부, 손, 발) 에 대한 신체 감각 보고 (정수 연관 값).
실험 조건: 평가는 영어와 일본어 모두에서 수행되었습니다. LLM 응답은 결정론적 (temperature = 0) 과 확률론적 (temperature = 0.7, 5 개 샘플 평균) 두 가지 설정 하에 생성되었습니다.
분석 접근법: 본 연구는 미적 점수와 감정/신체 감각 간의 관계를 조사하기 위해 상관 분석 (스피어만 순위) 을 활용했습니다. 또한 선형 회귀와 SHapley Additive exPlanations (SHAP) 를 사용한 랜덤 포레스트 회귀를 통해 어떤 이미지 특징 (저수준 대 고수준) 이 인간과 AI 의 미적 평점을 주도하는지 결정했습니다. 이질성 지수는 개별 인간 평점과 인간 평균 및 AI 평균을 비교하기 위해 계산되었습니다.

주요 결과

1. 감정과의 관계

유사점: 인간과 AI 모두 아름다움과 긍정적 감정 (예: 기쁨, 존경, 만족) 사이에서 강한 양의 상관관계를 보였으며, 부정적 감정 (예: 혐오, 불안) 과는 강한 음의 상관관계를 보였습니다.
이질성: 특정 감정 범주에서 유의미한 불일치가 나타났습니다:
- 경이로움과 매혹: 인간에게는 아름다움과 유의미한 상관관계가 없었으나 모든 AI 조건에서 강한 양의 상관관계를 보였습니다.
- 갈망: 인간은 상관관계가 없었으나 AI 모델들은 강한 음의 상관관계 (GPT) 또는 양의 상관관계 (Claude, Gemini) 를 보였습니다.
- 놀라움과 동정: 인간은 음의 상관관계를 보인 반면, AI 는 양의 상관관계 또는 무상관관계를 보였습니다.
편향: AI 모델은 인간에 비해 보고된 감정의 분포에서 더 강한 편향을 보였으며, 특히 순위 매기기 방법에서 복잡하거나 부정적인 감정보다 "안전"하거나 일반적인 감정 (예: 차분함, 관심) 을 선호하는 경향이 있었습니다.

2. 신체 감각 (내감성) 과의 관계

인간 패턴: 인간의 아름다움 평점은 특히 상복부의 감각과 강한 양의 상관관계를 보였습니다. 각성은 하복부와 강한 상관관계를 보였습니다.
AI 패턴: AI 모델은 상복부 감각과 양의 상관관계를 보이지 않았습니다. 대신, 아름다움과 손 및 발의 감각 사이에서 강한 음의 상관관계를 보였습니다. AI 의 각성은 국소화된 인간의 반응과 달리 전신 감각과 상관관계를 보였습니다.
해석: 이는 내부 상태가 미적 경험에 매핑되는 방식에 근본적인 이질성이 있음을 시사합니다. 인간은 아름다움을 특정 내장 감각과 연결하는 반면, AI 는 사지의 감각 감소 또는 일반화된 신체 각성과 연관시키는 것으로 보입니다.

3. 미적 평가 점수

일치 수준: AI 평점은 개별 인간 평점보다 인간 평점의 집단 평균에 더 가까웠습니다. 그러나 개별 인간과 인간 평균 간의 이질성은 해당 개인과 AI 평균 간의 이질성보다 작았습니다.
체계적 오프셋: 평균 AI 평점과 평균 인간 평점의 선형 회귀 분석은 거의 평행한 관계 ( $y = 0.97x + 1.36$ ) 를 보여주었으며, 이는 AI 가 9 점 척도에서 인간보다 일관되게 약 1.3~1.4 점 높게 평점한다는 것을 나타냅니다.
모델 성능: 테스트된 모델 중 Gemini 가 인간 평균에 가장 가까웠습니다.

4. 이미지 특징

특징 우선순위: 인간과 AI 모두 저수준 기술적 특징보다 고수준 주관적 특징을 우선시했습니다. 콘텐츠 선호도 (주관적 호감) 와 공유 의지가 두 그룹 모두에게 가장 영향력 있는 특징이었습니다.
일관성: 특징의 중요성은 집계 수준에서 인간과 AI 간에 largely 일관되었으며, 이는 LLM 이 이미지를 공유하거나 선호하게 만드는 "집단 지성"을 학습했음을 시사합니다.

의의 및 주장

본 논문은 최첨단 LLM 이 미적 평가에서 평균 인간 경향을 근사할 수는 있지만, 인간 경험의 내감성 차원은 포착하지 못한다고 주장합니다.

내감성 세계 모델: 저자들은 기존 Type 1(주관적, 감각운동) 및 Type 2(객관적, 집계) 세계 모델과 구별되는 "내감성 세계 모델" 개념을 도입합니다. 그들은 내감성 감각 (내부 신체 상태) 은 주관적이며, 언어적 매핑에서 개인 간 일관성이 부족하고, 훈련 데이터에서 종종 과소 대표되기 때문에 언어만으로 포착하기 어렵다고 주장합니다. 결과적으로 LLM 은 인간 미적 경험을 정확하게 시뮬레이션하는 데 필요한 생리적 기반을 결여하고 있습니다.
정렬 함의: 본 연구는 현재의 정렬 훈련 (예: 헌법적 AI) 이 우연히 이러한 이질성을 악화시킬 수 있음을 강조합니다. 모델이 신체나 개인적 취향을 암시하지 않도록 명시적으로 지시하는 가이드라인은 인간과 유사한 미적 정렬에 필요한 내감성 및 정서적 반응을 억제할 수 있습니다.
향후 방향: 저자들은 정서적 영역에서의 진정한 정렬을 달성하기 위해서는 생리학적 및 내감성 신호를 포함한 훈련 데이터가 필요하거나, 신체화된 AI 시스템의 개발이 필요하다고 제안합니다. 또한 인간 가치와 AI 를 완전히 정렬시키는 것이 인간 창의성을 동질화할 수 있으므로, 일부 이질성은 유익할 수 있다고 경고합니다.

본 연구는 인간과 AI 의 미적 평가 간 격차가 단순한 패턴 인식의 기술적 한계가 아니라, 언어 기반 모델에서 내부 신체 상태의 표현과 관련된 embodiment(신체화) 의 근본적인 문제임을 결론지었습니다.