기술 요약: 인간 창의성 벤치마크 (The Human Creativity Benchmark)

문제 정의

현재의 창의적 영역 AI 평가 프레임워크는 평가자 간의 이견을 해결해야 할 노이즈로 취급하며, 다양한 전문가적 판단을 단일한 "지면 진실(ground truth)"이나 통합된 품질 점수로 수렴시키곤 한다. 저자들은 이러한 접근 방식이 창의적 작업에 있어서 근본적으로 결함이 있다고 주장한다. 전문적인 창의적 맥락에서 이견은 측정 오류가 아니라, 미적 방향성, 취향, 그리고 창의적 의도의 실질적인 차이를 반영하는 경우가 많다. 기존 벤치마크들은 강제로 수렴을 유도함으로써, 전문가들이 공유된 모범 사례(수렴)에 대해 일치하는 차원과 개인의 선호가 정당하게 변하는 차원(발산) 사이의 구분을 모호하게 만든다. 이러한 환원주의는 창의적 실무의 다양성을 지원하고 서로 다른 워크플로 단계에 있는 창작자들의 구체적인 요구를 충족시키는 데 실패하는, 균질화된 AI 출력을 초래할 위험이 있다.

방법론

본 논문은 창의적 평가에서 수렴과 발산을 분리하는 것을 체계화하기 위해 설계된 데이터셋이자 프레임워크인 **인간 창의성 벤치마크(Human Creativity Benchmark, HCB)**를 소개한다.

데이터 수집 및 구조

• 참가자: 13개국에 걸친 독립 전문 크리에이티브 네트워크인 Contra의 도메인 전문가 28명.
• 도메인: 다섯 가지 창의적 도메인을 평가함: 랜딩 페이지, 데스크톱 애플리케이션, 광고 이미지, 브랜드 이미지, 제품 영상.
• 워크플로 단계: 본 벤치마크는 실제 창의적 워크플로를 반영하여 세 가지 뚜렷한 단계로 구분함:
  1. 아이데이션(Ideation): 창의적 방향의 발견 및 탐색.
  2. 목업(Mockup): 선택된 방향을 일관된 사양으로 구체화.
  3. 리파인먼트(Refinement): 제작 준비 및 일관성을 위한 정밀한 수정.
• 모델: GPT-Image-1.5, Flux-2-Pro와 같은 이미지 생성 모델, Veo3.1, Kling-v3.0과 같은 비디오 생성 모델, Claude-Opus-4.6, GPT-5.3-Codex와 같은 코드 생성 모델을 포함한 13개의 최첨단 생성 모델을 평가함.
• 평가 지표: 각 모델의 출력물은 세 가지 상호 보완적인 신호를 통해 평가됨:
  1. 쌍체 선호도(Pairwise Preferences): 모델 출력물 간의 강제 순위 매기기로, Bradley-Terry 모델을 통해 집계되어 ELO 레이팅을 산출함.
  2. 스칼라 레이팅(Scalar Ratings): 세 가지 특정 축에 대한 리커트 척도(1~5점) 평가:
     • 프롬프트 준수도(Prompt Adherence): 프롬프트에 대한 충실도 (가장 주관성이 낮음).
     • 사용성(Usability): 전문적인 맥락에서의 기능적 실행 가능성.
     • 시각적 매력(Visual Appeal): 미적 흥미 및 완성도 (가장 주관적임).
  3. 질적 근거(Qualitative Rationales): 선택에 대한 개방형 설명으로, 주제별 코딩을 통해 분석됨.

분석 접근 방식

본 연구는 평가자 간의 합의가 단계 및 차원에 따라 어떻게 변화하는지 분석하기 위해 통계적 척도(Kendall's W를 통한 합의, Krippendorff's $\alpha$를 통한 신뢰도, 유의성 검정을 위한 Friedman 테스트)를 사용한다. 분석은 모델이 수렴-발산 스펙트럼 전반에서 일관되게 성능을 발휘하는지, 그리고 모델 순위가 단일 통합 평가가 아닌 단계별 평가 시 어떻게 변하는지를 구체적으로 테스트한다.

주요 기여

1. 인간 창의성 벤치마크 (HCB): 프롬프트-이미지 쌍, 쌍체 순위, 스칼라 레이팅, 질적 근거를 포함하여 다섯 가지 도메인과 세 가지 워크플로 단계에 걸친 15,000개의 전문적 판단을 담은 공개 데이터셋.
2. 수렴-발산 프레임워크: 창의적 평가를 다음 두 가지로 구분하는 이론적 및 운영적 구분:
   • 수렴(Convergence): 전문가들이 검증 가능한 기준(예: 기술적 정확성, 시각적 위계)에 대해 일치하는 차원.
   • 발산(Divergence): 개인의 취향에 따라 다수의 유효한 판단이 존재할 수 있는 차원(예: 미적 방향성, 개념적 위험성).
3. 창의적 워크플로에 대한 실증적 분석: 창의적 요구사항이 정적이지 않으며, 아이데이션에서 리파인먼트로 진행됨에 따라 크게 변화한다는 증거 제시. 또한 단일 모델이 모든 단계나 도메인에서 균일하게 탁월한 성과를 내지는 못함을 입증함.

결과

• 기준과 취향의 분리: 평가 축은 서로 대체될 수 없음. 평가자 간의 합의는 프롬프트 준수도(검증 가능한 기준)에서 가장 높고, 시각적 매력(취향 기반)에서 가장 낮게 나타남. 사용성은 그 중간 위치를 차지함. 예를 들어, 광고 이미지의 경우 프롬프트 준수도에 대한 합의는 높게 유지되었으나, 시각적 매력 점수는 개인의 선호에 따라 넓게 분포함.
• 단계 의존적 요구사항: "좋은" 출력물에 대한 기준은 워크플로가 진행됨에 따라 변화함.
  • 아이데이션 단계에서는 생성 잠재력과 구조적 방향성을 우선시함.
  • 목업 단계에서는 프롬프트 준수, 그리드 구조, 색상 일관성에 초점이 맞춰짐.
  • 리파인먼트 단계에서는 타이포그래피 및 특정 편집과 같은 제작 준비 요소로 기준이 좁혀짐에 따라 합의가 정점에 달함.
• 보편적 리더의 부재: 어떤 개별 모델도 모든 도메인의 세 단계 모두에서 선두를 차지하지 못함. 예를 들어, 데스크톱 앱의 경우 Claude 4.6이 아이데ation과 목업에서 앞섰으나, GPT 5.3은 리파인먼트에서 앞섬. 제품 영상의 경우 Veo 3.1이 아이데이션을 주도했으나, Grok Imagine이 리파인먼트를 주도함.
• 집계 시 발생하는 신호 손실: 이러한 별개의 신호들을 단일 품질 지표로 통합하면 실행 가능한 정보를 버리게 됨. 어떤 모델은 수렴적 축(프롬프트 충실도)에서는 매우 신뢰할 수 있지만 발산적 축(미적 다양성)에서는 부족할 수 있고, 그 반대일 수도 있음.

의의 및 주장

본 논문은 창의적 AI를 평가하기 위해서는 수렴과 발산 신호를 모두 보존해야 한다고 주장한다. 저자들은 다음과 같이 주장한다:

• 이견은 노이즈가 아니라 신호이다: 창의적 영역에서의 전문가적 이견은 종종 오류가 아니라, 취향의 본질적인 주관성을 반영하는 특징이다.
• 맥락적 최적화: 모델 개발자는 기술적 정확성(수렴적 축)에 대한 신뢰성을 최적화하는 동시에, 창의적 변주를 허용할 수 있는 조종 가능성(발산적 축)을 유지해야 한다.
• 워크플로 정렬: 도구는 창의적 프로세스의 특정 단계에 따라 선택되어야 한다. 아이데이션에 적합한 모델이 리파인먼트에도 적합한 것은 아니다.
• 균질화 방지: 발산을 인정함으로써, AI 시스템이 평균으로 수렴하여 발생하는 "모드 붕괴(mode collapse)"를 피하고, 다양한 창의적 목소리와 스타일의 다원성을 보존할 수 있다.

저자들은 결론적으로, 창의적 AI 평가의 미래는 단일 차원의 순위를 넘어—객관적 표준과 주관적 선호 사이의 균형을 맞추고—창의적 작업의 하이브리드적 특성을 인식하며, 워크플로 전반에 걸친 창작자의 역동적인 요구를 지원하는 프레임워크로 나아가는 데 있다고 밝힌다.