기술 요약: CreativityPrism

문제 정의

대규모 언어 모델(LLM)이 창의적인 텍스트를 생성하는 데 있어 급격한 발전을 이루었음에도 불구하고, 현재 LLM의 창의성을 평가하기 위한 통합적이고, 교차 도메인적이며, 확장 가능한 프레임워크는 존재하지 않는다. 기존의 평가 방법들은 다음과 같은 두 가지 주요 한계점을 가진다:

1. 파편화(Fragmentation): 현재의 연구는 특정 도메인(예: 확산적 사고, 창의적 글쓰기, 코딩, 수학)에 흩어져 있으며 창의성에 대한 정의도 좁다. 벤치마크들은 종종 단일 차원(예: 어휘적 다양성 또는 비전형적인 아이디어)에 집중하며, 테스트하는 모델도 제각각이라 상호 비교가 어렵다.
2. 확장성(Scalability): 창의성은 본질적으로 주관적이어서, 많은 기존 벤치마크들이 인간 평가에 과도하게 의존한다. 이러한 접근 방식은 비용이 매우 많이 들고, 느리며, 대규모로 복제하기 어려워 현대 AI 연구에 필요한 빠른 반복 과정을 가로막는 병목 현상을 초래한다.

방법론

저자들은 창의성 평가를 확장 가능한 자동화 파이프라인으로 통합하도록 설계된 교차 도메인 평가 프레임워크인 CreativityPrism을 제안한다.

프레임워크 설계

• 태스크 선정: 이 프레임워크는 세 가지 구별된 도메인에 걸친 8가지 태스크를 통합한다:
  • 확산적 사고(Divergent Thinking): 대안적 용도 검사(AUT), 확산적 연상 과제(DAT), 토런스 창의적 사고 검사(TTCT).
  • 창의적 글쓰기(Creative Writing): 토런스 창의적 글쓰기 검사(TTCW), 창의적 단편 소설, 창의성 지수.
  • 논리적 추론(Logical Reasoning): 창의적 수학 및 네오코더(NeoCoder, 제약 조건 하의 코딩).
• 차원의 분류 체계(Taxonomy of Dimensions): 단순한 태스크 집합을 넘어, 저자들은 모든 평가 지표를 토런스 창의적 사고 검사(TTCT)에 근거한 세 가지 이론적 차원으로 분류한다:
  1. 품질(Quality): 일관되고 잘 형성되었으며 기능적인 응답을 생성하는 능력 (예: 코드 정확성, 서사적 유창성).
  2. 참신성(Novelty): 일반적이거나 기존의 솔루션에서 벗어난 출력을 생성하는 능력 (예: 학습 코퍼스 또는 참조 솔루션과 비교했을 때의 독특함).
  3. 다양성(Diversity): 출력 분포의 폭을 측정하며, 생성된 명사들 사이의 의미적 거리와 같이 모델이 생성 과정에서 응답을 얼마나 넓게 변화시키는지 측정한다.
• 확장 가능한 평가 (LLM-as-a-Judge): 확장성을 보장하기 위해 프레임워크는 자동 평가를 활용한다. 주관적 판단이 필요한 지표의 경우, 저자들은 LLM-as-a-Judge 패러다임을 채택한다. 결정적으로, 저자들은 선택된 LLM 판독기가 고품질의 인간 주석과 밀접하게 일치하는지(Fleiss Kappa $\ge$ 0.4) 확인하기 위해 Alternative Annotator Test(Calderon et al., 2025)를 통해 이 판독들을 검증한 후 배포한다.

실험 설정

• 평가 대상 모델: GPT-4.1, Claude 3, Gemini 2.0, DeepSeek-V3/R1과 같은 프런티어 규모 모델과 Mistral, Qwen, Llama, OLMo 제품군과 같은 로컬 배포 가능 오픈 모델을 포함한 17개의 최첨단(SoTA) LLM을 벤치마킹하였다.
• 추론(Inference): 표준화된 추론 설정(Temperature 0.75, max tokens 4096)을 적용하였으며, 창의적 수학(Temperature 0.0) 및 창의성 지수(Temperature 1.0)와 같은 태스크를 위해 특정 조정을 가했다.
• 점수 산정(Scoring): 원시 지표들은 min-max 정규화를 거쳐 세 가지 차원(품질, 참신성, 다양성) 및 전체 창의성 점수로 통합되었다.

주요 결과

17개의 LLM을 평가한 결과 다음과 같은 중요한 발견이 도출되었다:

1. 성능 격차(Performance Gap): 프런티어 규모의 모델들은 로컬 배포 가능한 오픈 모델들을 유의미하게 능가한다. 가장 우수한 프런티어 모델들은 창의성 차원에서 가장 우수한 오픈 모델보다 약 0.10 (15%) 앞선다.

   • 이 격차는 논리적 추론과 창의적 글쓰기에서 가장 두드러진다.
   • 확산적 사고에서의 격차는 더 작았는데, 이는 이 도메인이 추론 및 글쓰기에 비해 현재의 사후 학습(post-training) 체계에서 덜 우선시되고 있음을 시사한다.
   • 품질 차원은 가장 큰 성능 차이를 보였으며, 이는 아마도 프런티어 모델 학습에서 추론 작업에 대한 강조가 크기 때문일 것이다.

2. 일반화의 결여(Lack of Generalization): 하나의 창의적 차원이나 도메인에서의 높은 성능이 다른 영역에서의 성공을 보장하지 않는다.

   • 참신성 지표는 다른 지표들과 약하거나 심지어 음의 상관관계를 보인다. 예를 들어, 어떤 모델은 매우 다양한 출력(높은 다양성)을 생성하면서도 개별적으로는 독창적이지 않을 수 있고, 혹은 단 하나의 참신한 출력만을 생성하면서 변동성이 없을 수 있다(높은 참신성, 낮은 다양성).
   • 이러한 파편화는 창의성이 단일한 능력이 아님을 확인시켜 준다. 즉, 모델의 "창의성"은 매우 태스크 및 차원에 의존적이다.

3. 모델 순위(Model Rankings): 오픈 모델 중에서는 Qwen2.5-72B가 최고의 성능을 보였다. 프런티어 모델 중에서는 DeepSeek-V3와 GPT-4.1이 가장 높은 전반적인 창의적 역량을 입증했다.

의의 및 기여

본 논문은 다음과 같은 기여를 주장한다:

1. 통합 프레임워크: 8가지 태스크를 3가지 도메인에서 체계적으로 결합하여 단일한 확장 가능한 평가 파이프라인을 구축한 최초의 프레임워크인 CreativityPrism을 소개한다.
2. 차원 분류 체계: "품질, 참신성, 다양성"이라는 분류 체계를 제안하며, "독창성"을 "참신성"(깊이/편차)과 "다양성"(폭/변동성)으로 분리하는 것이 미묘한 LLM 평가에 필수적이라고 주장한다.
3. 신뢰할 수 있는 자동화: 엄격한 인간 정렬 테스트(Alternative Annotator Test)를 통해 창의성 평가를 위한 LLM-as-a-Judge의 사용을 검증함으로써, 수동 채점의 확장 가능한 대안을 제시한다.
4. 경험적 통찰: 이 벤치마크는 현재의 LLM들이 파편화된 창의적 능력을 보인다는 점을 밝혀냈다. 특히 프런티어 모델들은 추론 기반의 창의성에는 뛰어나지만, 확산적 사고에서는 유의미한 우위를 보이지 않는다. 이는 오해의 소지가 있는 모델 역량 결론을 피하기 위해 교차 도메인 프레임워크가 필요함을 강조한다.

한계점

저자들은 몇 가지 한계점을 인정한다:

• 모달리티(Modality): 이 프레임워크는 현재 텍스트로 제한되어 있으며, 멀티모달 창의성은 자동 평가 방법론의 미성숙함으로 인해 다뤄지지 않았다.
• 도메인 범위: 과학적 발견 및 발명적 설계와 같이 고도의 창의성을 요구하는 분야는 신뢰할 수 있는 자동 평가 지표의 부재로 인해 제외되었다.
• 인간 검증: LLM 판독기는 검증되었으나, 인간 주석자들은 주로 CS 연구자들이었으며 창의성 분야 전문가가 아니었고, 자원 제약으로 인해 표본 크기가 제한적이었다.
• 데이터 오염(Data Contamination): 출시일이 늦은 모델들은 벤치마크의 참조 코퍼스와 학습 데이터가 겹칠 경우 참신성 지표에서 이득을 얻을 수 있다.

결론적으로, 본 논문은 단일 도메인 또는 단일 지표 평가는 기계 창의성의 복잡성을 포착하지 못하므로, CreativityPrism과 같은 교차 도메인, 다차원적 프레임워크가 LLM의 창의성을 의미 있게 평가하는 데 필수적이라고 주장한다.