기술 요약: 창의성 평가에 대한 재고

문제 정의

대규모 언어 모델(LLM)은 논리적 추론이나 질의응답과 같은 구조화된 작업에서는 능숙함을 보여왔으나, 창의적인 콘텐츠를 생성하는 능력은 여전히 제한적이며 평가하기 어렵다. 창의성은 본질적으로 다차원적이고 도메인 특수적이지만, 다양한 창의적 도메인 전반에서 LLM의 성능을 효과적으로 벤치마킹할 수 있는 신뢰할 수 있는 자동화된 지표가 부족한 실정이다. 기존의 평가 방법들은 인간이 인지하는 창의성과 일치하지 않는 경우가 많아, 어떤 출력이 "창의적"인지 식별하고 측정하는 방식에 일관성 결여를 초래한다. 본 논문은 다음과 같은 핵심 질문을 다룬다: 서로 다른 도메인에서 인간이 인지하는 창의성을 정확하게 반영하는 평가 지표를 어떻게 선택할 것인가?

방법론

저자들은 네 가지 대표적인 창의성 지표를 세 가지 구별되는 창의적 도메인에 걸쳐 종합적으로 분석하였다:

1. 도메인:

   • 창의적 글쓰기 (Creative Writing): 예술적 및 미학적 콘텐츠 생성 (예: 영화 줄거리, 시).
   • 비전형적 문제 해결 (Unconventional Problem-Solving): 인지적 편향을 깨뜨리는 기능적 사고 (예: 맥가이버 과제).
   • 연구 아이디어 구상 (Research Ideation): 새로운 과학적 아이디어를 생성하기 위한 기존 사실들의 논리적 합성 (예: ICLR 논문 제출물).

2. 데이터셋:
   각 도메인에 대해 저자들은 인간의 판단에 따라 "창의적"인 출력과 "비창의적"인 출력을 쌍으로 라벨링한 데이터셋을 큐레이션하였다.

   • 창의적 글쓰기: 150개의 인간 작성 내러티브 vs 150개의 LLM 생성 내러티브.
   • 문제 해결: 573개의 비전형적 솔루션 vs LLM 생성 전형적 솔루션.
   • 연구 아이디어 구상: ICLR 2024에서 채택된 논문 513편 vs 탈락된 논문 513편 (창의성을 차별화 요소로 고립시키기 위해 건전성 및 발표 점수를 기준으로 필터링함).

3. 평가된 지표:
   본 연구는 서로 다른 수준의 세밀도(granularity)에서 작동하는 네 가지 지표를 평가하였다:

   • 창의성 지수 (Creativity Index, CI): 대규모 웹 코퍼스(DJ SEARCH/Infini-Gram 알고리즘 사용)와의 n-gram 중복도를 계산하여 구절 수준의 독창성을 측정한다.
   • 퍼플렉시티 (Perplexity, PPL): 언어 모델 예측 확률에 기반한 토큰 수준의 통계적 의외성을 측정한다.
   • 구문 템플릿 (Syntactic Templates): 공통 품사(POS) 패턴에 대한 의존도를 탐지하여 구조적 다양성을 평가한다 (예: CR-POS, 템플릿 비율, 토큰당 템플릿 수).
   • LLM-as-a-Judge: 사고 사슬(Chain-of-Thought, CoT) 추론과 루브릭 기반 프롬프팅을 사용하는 LLM(최적의 구성에서 Claude 3.7 Sonnet 사용)을 사용하여 총체적이고 개념적인 수준의 평가를 제공한다.

주요 결과

분석 결과, 도메인 간 그리고 지표 간에 상당한 불일치가 드러났다:

• 창의성 지수 (CI):

  • 도메인 민감도: CI는 창의적 글쓰기에서는 창의적 텍스트와 비창의적 텍스트를 효과적으로 구분했으나, 문제 해결 및 연구 아이디어 구상에서는 구분하는 데 실패했다.
  • 한계점: CI는 개념적 참신함보다는 어휘적 다양성을 주로 측정한다. CI 점수는 n-gram 길이($L$)의 범위 및 참조 코퍼스의 선택과 같은 구현 방식에 매우 민데 민감하다. $L$의 작은 변화(예: 5–7 vs 5–11)나 코퍼스의 변화는 점수를 극적으로 변화시켜, 때로는 인간과 LLM 출력 사이의 구분을 무의미하게 만들기도 한다.

• 퍼플렉시티 (PPL):

  • 불일치: Pelles는 모든 도메인에서 창의적 집단과 비창의적 집단 간의 점수 분포가 겹치는 모습을 보였다. 어떤 경우(예: 창의적 글쓰기)에는 LLM 생성 콘텐츠가 더 높은 퍼플렉시티를 가졌던 반면, 다른 경우(예: 연구 아이디어 구상)에는 탈락된 논문들이 더 낮은 퍼플렉시티를 보였다.
  • 결론: PPL은 참신함이나 창의성이 아닌 유창성과 모델의 확신도를 반영한다.

• 구문 템플릿:

  • 효과성: 이 지표는 새로운 아이디어가 정형화된 언어를 통해 표현되는 도메인(연구 아이디어 구상 및 문제 해결)에서 어려움을 겪었다.
  • 관찰 사항: 창의적 글쓰기에서 LLM은 반복적인 구문 구조(예: 특정 8-gram 템플릿을 활용한 반전)에 크게 의존하는 것으로 나타났으나, 인간의 글쓰기는 더 큰 구조적 다양성을 보였다. 그러나 이 지표는 다른 도메인에서의 개념적 창의성을 포착하는 데 실패했다.

• LLM-as-a-Judge:

  • 성능: 단독으로는 중간 정도의 성능을 보였으나, LLM 판정가들은 상당한 불안정성과 편향을 보였다.
  • 편향: 모델들은 한쪽으로 치우친 예측 경향(예: 대부분의 솔루션을 "전형적"이라고 분류하거나, 플롯을 "독창적이지 않음"으로 분류)을 보였다.
  • 불안정성: 평가는 미세한 프롬프트 변화에 매우 민적이었다 (예: 프롬프트에서 "conventional"을 "unconventional"로 바꾸는 것만으로도 모델의 선호도가 뒤바뀜). 동일한 사례에 대해 동일한 판정가가 반복 수행한 평가의 일관성은 약 40%에 불과했다.
  • 상관관계: 연구 아이디어 구상에서 LLM 점수와 인간 전문가 점수 사이의 상관관계는 매우 낮았다 (Pearson $r \approx 0.16$).

• 탐색적 의미론적 참신성 점수 (Exploratory Semantic Novelty Score, SNS):

  • 의미론적 임베딩을 사용하여 개념 수준의 거리를 측정하는 실험적 파이프라인은 창의적 출력과 비창의적 출력을 일관되게 구분하는 데 실패하였으며, 이는 아이디어 수준의 참신함을 자동으로 포착하는 것이 얼마나 어려운지를 강조한다.

주요 기여

1. 기존 지표에 대한 비판적 분석: 본 논문은 현재의 자동화된 지표들(CI, PPL, 구문 템플릿, LLM-as-a-Judge)이 창의적 도메인 전반에 걸쳐 일반화 가능성과 일관성이 부족함을 체계적으로 입증한다.
2. 구체적 한계점 식별:
   • CI는 개념적 참신함이 아닌 어휘적 희귀성을 측정한다.
   • PLL은 창의성이 아닌 유창성을 측정한다.
   • 구문 템플릿은 정형화된 맥락에서의 의미론적 혁신을 놓친다.
   • LLM-as-a-Judge는 편향, 프롬프트 민감성 및 낮은 일관성에 취약하다.
3. 진단적 프레임워크: 본 연구는 현재의 지표들이 어떻게, 그리고 왜 스타일적 참신함에 치중하고 개념적 참신함을 간과하는지를 명확히 함으로써 분야의 진단적 기초를 제공한다.
4. 리소스 공개: 저자들은 향후 연구를 촉진하기 위해 큐레이션된 데이터셋과 평가 코드를 공개하였다.

의의 및 주장

본 논문은 현재의 창의성 평가 지형이 파편화되어 있고 신뢰할 수 없다고 결론짓는다. 연구 결과는 인간의 창의성 판단과 더 잘 부합하는 더욱 견고하고 일반화 가능한 평가 프레임워크가 시급히 필요함을 강조한다.

저자들은 자신들의 작업이 완벽한 새로운 지표를 제안하는 것이 아니라, 필수적인 **진단적 기초(diagnostic groundwork)**를 제공하는 것이라고 겸허히 주장한다. 기존 방법론의 구체적인 격차를 밝힘으로써, 본 연구의 목적은 다음과 같다:

• 실무자들이 기존 지표를 적절한 주의를 기울여 해석하도록 안내한다.
• 연구자들이 향후 작업에서 해결해야 할 구체적인 개념적 격차를 알 수 있도록 한다.
• 표면적 패턴(어휘적 또는 구문적)을 넘어, 미래의 발전된 기술(예: Large Concept Models(LCM) 및 연속적 사고 사슬 아키텍처)을 활용하여 아이디어 수준의 참신함을 포착할 수 있는 방법론의 필요성을 강조한다.

궁극적으로, 본 논문은 인간과 기계의 창의적 성능 간의 격차를 좁히기 위해 창의성 평가를 발전시키는 것이 필수적이라고 주장한다.