How LLMs See Creativity: Zero-Shot Scoring of Visual Creativity with Interpretable Reasoning

기술 요약: LLM은 창의성을 어떻게 보는가: 해석 가능한 추론을 통한 시각적 창의성의 제로샷 점수 산정

문제 제기
시각적 이미지의 독창성을 평가하는 것은 창의성 연구에서 여전히 중요한 병목 구간으로 남아 있다. 대규모 언어 모델(LLM)을 이용한 자동화된 점수 산정은 언어 영역(예: 대안적 용도 검사)에서는 효과적임이 입증되었으나, 시각적 창의성에 대한 적용은 아직 덜 확립되어 있다. 형상(figural) 영역의 기존 접근 방식은 종종 특정 작업에 특화된 학습이나 대규모의 인간 평가 데이터셋에 대한 미세 조정(fine-tuning)에 의존하며, 이는 일반화 능력을 제한한다. 나아가, AI 모델이 어떠한 잠재적 과정을 거쳐 점수를 부여하는지에 대한 이해도 부족하다. 본 연구가 다루는 핵심 질문은 범용 멀티모달 LLM이 추가적인 학습, 예시 제공, 또는 별도의 훈련 없이도 '제로샷(zero-shot)' 방식으로 시각적 창의성을 판별하는 판사 역할을 수행할 수 있는지, 그리고 이들의 명시적인 추론 체인이 그들의 평가 논리를 보여주는 해석 가능한 창 역할을 할 수 있는지 여부이다.

연구 방법론
본 연구는 두 가지 서로 다른 시각적 창의성 데이터셋을 대상으로 6개의 멀티모달 LLM(Gemini 3 Flash, Gemma 4 31B IT, GPT-5.4 Mini, GLM-5v Turbo, Kimi K2.5, Qwen 3.6 Plus)을 평가하기 위해 두 단계의 연구 설계를 채택하였다:

1. AI 생성 이미지: 인간이 작성한 단어 프롬프트로부터 DALL-E 3가 생성한 992개의 이미지로, 인간 전문가가 1~5점 척도로 평가하였다.
2. 손으로 그린 스케치: AuDrA 플랫폼의 스케치 1,500개로, 참가자들이 불완전한 시작 형태를 확장하여 완성한 것이다. 이는 JRT(Judge Response Theory) 모델을 사용하여 연속적인 창의성 점수를 도출하였다.

연구 1: 제로샷 정렬(Zero-Shot Alignment)
6개 모델 모두 제로샷 설정에서 테스트되었으며, 이미지와 함께 창의성을 1~5점 척도로 평가하라는 텍스트 프롬프트만을 제공받았다. 연구에서는 다음을 측정하였다:

• 정렬도(Alignment): 모델의 점수와 인간의 기준 점수 간의 피어슨 상관계수.
• 복잡성 통제(Complexity Control): 모델이 단순히 정교함(elaboration)에 높은 점수를 주는 것이 아님을 확인하기 위해 '에지 밀도(edge density, 시각적 복잡성의 대리 지표)'를 통제한 편상관관계를 측정하였다.
• 편향 분석(Bias Analysis): 인간 평가자와 비교하여 관대함 또는 엄격함의 편향을 식ạch하기 위한 점수 분포 조사.

연구 2: 추론 체인 분석(Reasoning Chain Analysis)
추론 능력이 있는 3개의 모델(GLM-5v Turbo, Kimi K2.5, Qwen 3.6 Plus)을 대상으로 추론 기능을 활성화하여 재평가하였다. 연구는 최종 점수를 내기 전 생성된 명시적인 '사고의 사슬(chains of thought)'을 분석하였다:

• 체인 검증(Chain Validation): 별도의 텍스트 전용 LLM이 (숫자를 제외한) 추론 체인만을 바탕으로 최종 점수를 예측하도록 하여, 해당 체인에 평가 신호가 포함되어 있는지 검증하였다.
• 과정 코딩(Process Coding): 추론 체인을 문장 단위로 분해하고 이를 네 가지 평가 차원인 지각(내용 기술), 독창성(새로움 판단), 품질(미학/구도 판단), 정당화(점수의 근거 제시)로 분류하였다.
• 지각 정확도(Perceptual Accuracy): 스케치에 묘사된 객체를 식별하는 모델의 능력을 인간의 합의된 라벨과 비교하여, 객체 인식 오류가 창의성 정렬에 영향을 미치는지 확인하였다.

주요 결과

• 제로샷 실현 가능성: 6개 모델 모두 미세 조정 없이 두 데이터셋 모두에서 인간의 평가와 상당한 정렬을 보였다. 상관계수는 AI 생성 이미지의 경우 $r = .57$에서 $.68$, 손 그림 스케치의 경우$r = .29$에서$.68$ 사이였다. Gemini 3 Flash가 두 데이터셋 모두에서 가장 강력한 정렬($r = .68$)을 보였다.
• 시각적 복잡성을 넘어: 에지 밀도를 통제한 편상관관계에서도 결과가 견고하게 유지되었으며, 이는 모델이 단순히 시각적 정교함을 보상하는 것이 아니라 더 높은 수준의 창의적 특징을 감지함을 나타낸다.
• 체계적 편향: 모델들은 세련된 AI 생성 이미지에 대해 '관대함 편향'(인간보다 높게 평가)을, 빈약한 손 그림 스케치에 대해 '엄격함 편향'(인간보다 낮게 평가)을 보였다. 이는 모델이 자신의 학습 분포와 유사한 출력물을 선호함을 시사한다.
• 추론의 영향: 추론 체인을 활용하는 것이 비추론 베이스라인에 비해 인간과의 정렬도를 개선하지 못했다. 어떤 경우(예: Qwen 3.6 Plus)에는 추론이 오히려 정렬도를 감소시키기도 했다.
• 해석 가능성: 추론 체인은 매우 해석 가능했으며, 점수를 유도하는 평가 신호를 포함하고 있었다(텍스트 전용 모델이 체인으로부터 점수를 예측한 상관계수 $r = .82$). 체인은 일관된 구조(지각 $\rightarrow$ 독창성/품질 평가 $\rightarrow$ 정당화)를 따랐다.
• 차이의 동인: 체인 내 '독창성' 문장의 비율은 인간에 비해 낮은 모델 점수와 상관관계가 있었던 반면, '품질' 문장은 높은 점수와 상관관계가 있었다.
• 지각적 독립성: 객체의 정확한 식별이 높은 정렬의 전제 조건은 아니었다. 객체를 잘못 식별하더라도 모델과 인간 간의 상관관계는 강하게 나타났다(정확히 일치할 때 $r = .49$ vs. 오식별 시 $r = .43$). 특히, 인간조차 범주화하기 어려운 '합의 없는 그림(No-Consensus Drawings)'에서 가장 높은 정렬이 나타났는데, 이는 객체의 정체가 모호할 때 모델과 인간이 구조적 및 구도적 특징에서 수렴함을 시사한다.

의의 및 주장
본 논문은 범용 멀티모달 LLM이 별도의 작업 특화 훈련 없이도 제로샷 설정에서 시각적 창의성에 대한 인간의 판단과 일치할 수 있다는 첫 번째 증거를 제공한다고 주장하며, 이를 통해 자동 평가를 언어적 과업에서 형상 영역으로 확장하였다.

주요 기여는 다음과 같다:

1. 제로샷 점수 산정의 타당성 검증: 프롬프트 기반 평가가 다양한 자극 유형에 걸쳐 시각적 창의성 평가에 충분함을 입증하였다.
2. 평가의 해석 가능성: LLM이 일관된 4단계 추론 과정(지각, 독창성, 품질, 정당화)을 통해 창의성을 평가함을 밝혀, AI 평가 메커니즘에 대한 투명한 시각을 제공하였다.
3. 인식과 평가의 분리: LLM의 창의성 점수 산정이 객체 인식으로 환원될 수 없음을 확립하였다. 즉, 모델은 특정 대상을 식별하지 못하더라도 창의적 가치를 평가할 수 있다.
4. 편향 탐지: 향후 자동화된 점수 산정 파이프라인에서 반드시 다뤄야 할 특정 편향(AI 생성 콘텐츠에 대한 관대함, 스케치에 대한 엄격함)을 강조하였다.

저자들은 멀티모달 LLM이 확장 가능한 시각적 창의성 평가를 위한 유망한 도구이지만, 그 추론 흔적은 점수의 원시 정확도를 높이기보다는 '어떻게' 평가하는지를 감사(audit)하는 데 가장 가치 있다고 결론지었다. 또한, 검증되지 않은 과업에 이러한 제로샷 방법을 적용하는 것에 주의를 기울일 것을 권고하며, 내재된 편향을 완화하기 위한 세심한 캘리브레이션의 필요성을 강조하였다. 연구를 촉진하기 위해 이 파이프라인을 구현한 오픈 소스 웹 앱이 제공된다.