💻 computer science

Seeing Differently: Modeling Interpretive Perspectives in Computational Creativity using a Four-World Framework

본 논문은 세 가지 뚜렷한 평가적 페르소나(형식주의적, 사회-역사적, 도상학적)를 채택하여 창의성을 관점 의존적 구성물로 모델링함으로써, 해석적 관점이 예술적 가치에 대한 평가를 어떻게 체계적으로 형성하고 시각적 표현 공간 내의 상응하는 지향 벡터를 드러내는지 입증하는 계산적 프레임워크를 제안한다.

원저자: Prerna Luthra

게시일 2026-08-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Prerna Luthra

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 거대한 미술관에 서 있다고 상상해 보십시오. 한쪽 구석에서는 로봇 하나가 어떤 그림이 가장 "창의적인지" 결정하려고 애쓰고 있습니다. 오랫동안 이 로봇들을 만드는 과학자들은 엄격한 심판처럼 행동하며 단 하나의 경직된 체크리스트를 제시해 왔습니다. 그들은 "새로운가? 놀라운가? 보기 좋은가?"라고 묻습니다. 그들은 로봇이 충분히 똑똑하다면, 마치 온도계가 방의 정확한 온도를 측정하는 것처럼 모든 예술 작품에 대해 단 하나의 진정한 점수를 찾아낼 수 있다고 가정합니다.

하지만 여기 반전이 있습니다. 인간은 예술을 그런 방식으로 보지 않습니다. 당신이 그림을 볼 때, 당신의 뇌는 단순히 캔버스 위의 물감을 보는 것이 아니라 하나의 이야기를 봅니다. 만약 당신이 역사학자라면, 당신은 왕에 대한 저항을 볼 수도 있습니다. 만약 당신이 시인이라면, 당신은 슬픈 연서(戀書)를 볼 수도 있습니다. 만약 당신이 과학자라면, 당신은 빛과 그림자에 대한 연구를 볼 수도 있습니다. 예술의 "의미"는 액자 안에 박제되어 있는 것이 아니라, 그림과 그것을 바라보는 사람 사이의 공간에서 발생합니다. 이 논문은 거대한 질문을 던집니다. 만약 로봇이 창의성을 이해하고 싶다면, 단 하나의 점수를 찾으려 노력해야 할까요, 아니면 다양한 눈으로 예술을 보기 위해 서로 다른 "모자"를 쓰는 법을 배워야 할까요?

"다르게 보기(Seeing Differently)"라는 제목의 이 연구는 바로 그 질문 속으로 뛰어듭니다. 연구진은 단순히 로봇에게 추측하라고 시킨 것이 아니라, 관점이 점수에 어떻게 변화를 주는지 테스트하기 위한 구체적인 도구 세트를 제공했습니다. 그들은 창의성을 12가지 서로 다른 특성으로 나누는 "4세계 프레임워크(Four-World Framework)"를 사용했습니다. 이 특성들을 집 안의 네 가지 서로 다른 방이라고 생각하십시오. 즉, 내적 세계(감정과 기억), 외적 세계(사회와 문화), 상상적 세계(초현실적인 꿈과 유희), 그리고 도덕적 세계(윤리와 정의)입니다.

이 이론을 테스트하기 위해 연구진은 SemArt라는 디지털 컬렉션에서 가져온 1,069점의 유명한 유럽 회화 작품들을 가져왔습니다. 그러고 나서 강력한 AI(GPT-4.1)가 세 가지 서로 다른 "페르소나" 또는 모자를 쓰며 각 그림을 세 번씩 살펴보도록 프로그래밍했습니다.

형식주의자(The Formalist): 이 모자는 색상, 모양, 물감이 어떻게 발라졌는지와 같은 시각적인 요소에만 집중합니다. 역사나 이야기는 무시합니다.
사회 역사학자(The Social-Historian): 이 모자는 그림을 과거를 들여ดู보는 창으로 봅니다. "이것이 사회, 정치, 혹은 이를 만든 사람들에 대해 무엇을 말하고 있는가?"라고 묻습니다.
도상학자(The Iconographer): 이 모자는 상징을 찾는 탐정입니다. 그림 속에 숨겨진 의미, 종교적 이야기, 혹은 사물 속에 숨겨된 비밀 메시지를 찾아냅니다.

AI는 이 세 가지 모자를 쓴 상태에서 각 그림에 대해 12가지 특성을 모두 점수 매겼습니다. 결과는 어떠했을까요? 로봇은 단순히 약간 다른 숫자를 내놓은 것이 아니라, 완전히 다른 이야기들을 들려주었습니다.

가장 놀라운 발견은 로봇이 쓴 "모자"가 그림 자체보다 점수를 더 많이 변화시켰다는 점입니다. 예를 들어, 사회적 반성성(Social Reflexivity, 예술이 사회에 대해 얼마나 이야기하는가)이라는 특성은 로봇이 사회 역사학자 모자를 썼을 때 2.60이라는 높은 점수를 받았습니다. 하지만 동일한 로봇이 똑같은 그림을 형식주의자 모자를 쓰고 보았을 때, 그 동일한 특성에 대해 단 1.35라는 점수만을 주었습니다. 이는 엄청난 차이입니다! 로봇은 혼란스러워한 것이 아니라, 단지 자신이 쓰고 있는 모자의 규칙을 따르고 있었을 뿐입니다. 형식주의자 모자는 사회적 이야기를 무시하라고 명령했기에 보지 못했던 것이고, 사회 역사학자 모자는 그것을 찾으라고 명령했기에 찾아낸 것이었습니다.

어떤 특성들은 어떤 모자를 쓰더라도 크게 변하지 않고 고집스럽게 유지되었습니다. 문화적 위치성(Cultural Situatedness, 예술이 자신의 문화에 얼마나 부합하는가)과 같은 것들은 모두에게서 3.83에서 3.98 사이의 높은 점수를 받았습니다. 그러나 상징적 밀도(Symbolic Density, 숨겨진 상징이 얼마나 많이 담겨 있는가)와 같은 다른 특성들은 보는 이에 따라 격렬하게 요동쳤습니다. 도상학자 모자는 상징의 보물창고를 보았지만(점수 3.18), 형식주의자 모자는 매우 적다고 보았습니다(점수 2.20).

연구진은 AI의 뇌 내부를 들여다보며 AI가 이러한 차이를 어떻게 보고 있는지 확인했습니다. 그들은 AI가 모자를 바꿀 때 단순히 마음을 바꾸는 것이 아니라, 글자 그대로 이미지의 서로 다른 부분을 보고 있다는 것을 발견했습니다. AI가 이미지를 저장하는 수학적 "공간"에서, 형식주의자 모자는 한 방향을 가리켰고, 사회 역사학자 모자는 완전히 다른 방향을 가리켰습니다. 마치 형식주의자는 붓터치를 보고 있는 반면, 사회 역사학자는 시간을 짐작하기 위해 그림자를 보고 있는 것과 같았습니다.

이 논문은 창의성이 무게나 크기처럼 그림의 고정된 속성이 아니라고 제안합니다. 대신, 창의성은 하나의 '관계'입니다. 그것은 특정한 방식의 바라봄이 특정한 예술 작품과 만날 때 나타납니다. 이 연구는 창의성의 미스터리를 영원히 해결했다고 주장하는 것이 아니라, 단 하나의 자로만 창의성을 측정하려는 것은 실수라는 점을 증명합니다. 만약 우리가 컴퓨터를 진정한 창의적 파트너로 만들고 싶다면, 우리는 단 하나의 안경이 아니라 다양한 종류의 안경을 통해 세상을 보는 법을 배워야 합니다. 이러한 다양한 관점을 모델링함으로써, 우리는 예술을—그리고 서로를—더 풍요롭고 다양한 방식으로 이해하도록 돕는 시스템을 구축할 수 있을 것입니다.

기술 요약: 계산적 창의성에서의 해석적 관점 모델링

문제 제기
현재의 계산적 창의성(Computational Creativity, CC) 프레임워크는 일반적으로 창의적 가치를 인공물이나 시스템의 객관적 속성으로 평가하며, 일관된 루브릭이 관찰자 전반에 걸쳐 안정적인 평가를 산출한다고 가정한다. 이러한 접근 방식은 미학과 미술사에서 오랫동안 강조되어 온 통찰, 즉 창의적 저작의 의미는 고정된 것이 아니라 인공물과 적용된 해석적 관점 사이의 관계로부터 창발한다는 견해와 대조된다. 본 연구가 다루는 핵심 문제는, 동일한 인공물의 창의적 특성에 대해 서로 다른 분석적 틀을 적용하는 인간 평가자들이 체계적으로 불일치할 때, 계산적 평가 시스템이 이러한 해석적 다양성을 단일 지표로 축소하기보다 이를 모델링해야 하는가 하는 점이다.

방법론
본 연구는 구조화된 특성 프레임워크, 대규모 페르소나 조건부 평가, 그리고 시각적 임베딩의 선형 프로빙(linear probing)을 결합한 혼합 방법론을 채택한다.

프레임워크 및 특성: 본 연구는 "네 가지 세계(Four-World)" 창의성 프레임워크(Luthra 2025)를 채택하여, 12개의 특성을 네 가지 개념적 영역인 내적 세계(예: 정서적 강렬함, 기억의 각인), 외적 세계(예: 문화적 상황성, 사회적 성찰성), 상상적 세계(예: 초현실적 이질성, 상징적 밀도), 도덕적 세계(예: 윤리적 도발, 집단적 공명)로 분류한다. 이 프레임워크는 창의성의 내재적 속성을 예측하는 모델이라기보다, 해석적 발산(interpretive divergence)을 조사하기 위한 구조화된 어휘로서 기능한다.
데이터셋: 분석에는 유럽 회화의 메타데이터(제목, 작가, 연도, 기법, 학파)와 텍스트 설명을 포함하는 표준화된 테스트 파티션인 SemArt 데이터셋의 예술 작품 1,069점을 활용한다.
페르소나 조건부 평가: 확립된 미술 비평 전통에서 유래한 세 가지 해석적 관점을 페르소나로 구체화한다:
- 형식주의자(Formalist): 시각적 구성, 형태, 색채, 양식적 실행에 집중한다.
- 사회-역사적 관점(Social–Historical): 문화적, 정치적, 역사적 조건의 관점에서 작품을 해석한다.
- 도상학적 관점(Iconographic): 상징적 내용, 서사적 의미, 시각적 모티프에 집중한다.
  GPT-4.1을 시각-언어 모델로 사용하여, 각 예술 작품을 세 가지 페르소나 하에서 모두 평가한다. 모델은 이미지와 부수적인 메타데이터를 바탕으로 12개 특성 각각에 대해 점수(0–4)를 부여한다. 이 과정을 통해 38,484개의 특성 점수가 생성된다.
통계 분석: 페르소나 간의 특성 점수를 비교하기 위해 비모수 반복 측정 검정(Friedman rank-sum 및 Wilcoxon signed-rank)을 사용한다. Kendall의 일치 계수( $W$ )는 페르소나 조건부 차이의 효과 크기를 측정한다.
표현 공간 분석: 관점이 서로 다른 시각적 특징 가중치에 대응하는지 확인하기 위해, CLIP (ViT-B/32) 이미지 임베딩에 리지 회귀 프로브(ridge regression probes)를 훈련시킨다. 이 프로브들은 임베딩을 페르소나별 특성 점수로 매핑한다. 결과로 도출된 가중치 벡터 간의 코사인 유사도는 서로 다른 페르소나가 동일한 특성을 위해 서로 다른 시각적 특징을 우선시하는지를 정량화한다.

주요 결과

체계적 발산: 창의성 평가는 관점에 따라 체계적으로 달라진다. 12개 모든 특성에 대해 Friedman omnibus test가 유의미하게 나타났으며( $p < 10^{-49}$ ), 이는 해석적 렌즈의 선택이 점수 산정에 유의미한 변화를 일으킴을 의미한다.
특성 민감도: 모든 특성이 관점에 똑같이 민감한 것은 아니다.
- 높은 민감도: *사회적 성찰성(Social Reflexivity)*은 가장 큰 발산을 보였으며(Kendall's $W = 0.79$ ), 사회-역사적 페르소나가 형식주의자(평균 1.35)보다 훨씬 높은 점수(평균 2.60)를 부여했다. *상징적 밀도(Symbolic Density)*와 집단적 공명(Collective Resonance) 또한 관점에 대한 의존도가 높게 나타났다.
- 낮은 민감도: 문화적 상황성(Cultural Situatedness), 환경적 대화성(Environmental Dialogicity), *정서적 강렬함(Emotional Intensity)*과 같은 특성들은 효과 크기가 작았으며, 이는 이들이 공유된 시각적 단서나 관습에 더 많이 의존함을 시사한다.
경계 대상(Boundary Objects): 샤르댕의 *물잔과 주전자(Water Glass and Jug)*와 같은 특정 작품들은 해석적 공동체(페르소나로 시뮬레이션된)가 동일한 인공물에 대해 극단적으로 다른 점수를 부여하는 동시에(예: 사회적 성찰성 점수가 페르소나에 따라 0, 1, 3으로 나타남), 다른 요소(예: 정서적 강렬함 점수가 모두 1로 일치)에 대해서는 합의를 이루는 "경계 대상"으로서 기능한다.
표현 공간에서의 방향성: 선형 프로빙은 페르소나 조건부 평가가 CLIP 임베딩 공간 내에서 뚜렷한 방향 벡터와 대응함을 밝혀냈다.
- 사회적 성찰성과 같이 발산이 큰 특성의 경우, 페르소나 벡터 간의 코사인 유사도는 낮았다(평균 0.48). 이는 서로 다른 페르소나가 해당 특성을 예측하기 위해 서로 다른 시각적 특징에 가중치를 둔다는 것을 의미한다.
- *초현실적 이질성(Surreal Divergence)*과 같이 발산이 적은 특성의 경우, 벡터 유사도는 높았다(0.82). 이는 시각적 특징에 대한 의존도가 중첩됨을 시사한다.

의의 및 주장
본 논문은 창의성의 의미가 인공물만의 내재적 속성이 아니라, 인공물, 해석적 틀, 그리고 문화적 맥락 사이의 상호작용으로부터 창발한다는 **관계적 창의성 관점(relational view of creativity)**에 대한 경험적 근거를 제공한다고 주장한다.

본 연구는 다음을 입증한다:

해석적 다원성의 다루기 가능성: 페르소나 조건부 프롬프트와 대규모 데이터셋을 사용하여 다수의 평가 관점을 모델링하는 것은 계산적으로 가능하다.
구조화된 발산: 창의성 평가의 불일치는 무작위적인 노이즘이 아니라, 서로 다른 분석적 렌즈가 증거를 우선시하는 방식(예: 사회적 맥락 vs 시각적 형태)의 안정적이고 체계적인 차이를 반영한다.
계산적 메커니즘: 해석적 관점은 공유된 시각적 표현 공간 내의 구별되는 방향성(orientation)으로 이해될 수 있다. 서로 다른 페르소나는 반드시 기초적인 이미지 표현을 변경하는 것이 아니라, 특성을 예측하기 위해 서로 다른 가중치 방향을 적용한다.

저자는 여러 평가 관점을 통합하는 것이 단일한 객관적 지표를 넘어, 해석적 맥락이 창의적 가치를 정의하는 역할을 인정함으로써 다양한 인간 협력자를 더 잘 지원할 수 있는 공동 창의적 시스템을 구축할 수 있게 할 것이라고 결론짓는다. 본 연구는 평가적 관점이라는 차원을 통해 창의성 프레임워크(예: Rhodes의 4Ps, Giya-levanu의 5A's)의 "압력(press)" 또는 "환경(environment)" 구성 요소를 구체화하는 단계로 자리매김한다.

유사한 논문