기술 요약: 발산적 창의성을 넘어: 대규모 언어 모델의 창의성에 대한 인간 기반 평가

1. 문제 정의

대규모 언어 모델(LLM)은 스토리텔링 및 아이디어 생성과 같이 언어적 창의성을 요구하는 작업에 점점 더 많이 배치되고 있습니다. 그러나 LLM의 창의성을 평가하기 위한 현재의 벤치마크는 창의성을 **신규성(novelty)**과 **적절성(appropriateness)**의 결합으로 정의하는 인간의 창의성 이론에 대한 견고한 근거가 부족합니다.

발산적 사고를 평가하는 표준 지표인 **발산 연상 과제(Divergent Association Task, DAT)**는 생성된 단어들 사이의 의미적 거리(신규성)만을 측정합니다. 저자들은 이러한 신규성 중심의 접근 방식이 LLM 평가에 부적절하다고 주장하는데, 그 이유는 다음과 같습니다:

• 인간 창의성의 핵심 요소인 적절성을 무시합니다.
• 무작위적인 출력을 높은 점수로 연결하여, 무작위성(randomness)을 창의성과 혼동하게 합니다.
• 이전 연구들에 따르면 비창의적 베이스라인(예: 무작위 샘플링)이 최첨단(SotA) LLM보다 DAT에서 더 높은 성능을 보일 수 있으며, 이는 해당 지표가 모델 평가 도구로서 유효하지 않음을 입증합니다.

결과적으로, 신규성과 맥락적 적절성이라는 두 가지 기준을 준수하면서 창의성을 객적으로 측정할 수 있는 평가 프레임워크가 필요합니다.

2. 방법론

발산 연상 과제(DAT)에 대한 비판

저자들은 먼저 다양한 최첨단(SotA) LLM을 사용하여 표준 DAT를 재평가했습니다.

• 과제: 모델은 서로 최대한 다른 10개의 명사를 생성하도록 프롬프트됩니다.
• 채점: 첫 7개의 유효한 단어 사이의 평균 쌍별(pairwise) 의미적 거리를 통해 신규성을 계산합니다.
• 임베딩 변화: 표준 DAT는 Glovene 임베딩을 사용하지만, 저자들은 희귀 단어가 신규성 점수를 부풀리는 현상을 완화하기 위해 **Sentence BERT (SBERT)**를 활용했습니다.
• 베이스라인: 두 가지 비창의적 베이스라인을 도입했습니다:
  1. 과제 무관형(Task-agnostic): WordNet에서 무작위로 10개의 명사를 샘플링함.
  2. 과제 인지형(Task-aware): 모델에게 DAT 점수를 명시적으로 극대화하도록 유도함 (테스트 목적 함수를 직접 최적화).

조건부 발산 연상 과제(CDAT)의 도입

DAT의 한계를 해결하기 위해, 저자들은 창의성이 신규성과 적절성 모두를 필요로 한다는 심리학적 정의(Heinen and Johnson, 2018)에 근거하여 CDAT를 제안합니다.

• 과제 명세: 특정 단서 명사(cue noun)가 주어졌을 때, 모델은 해당 단서와 의미적으로 연관된 10개의 서로 다른 명사를 생성해야 합니다.
• 평가 프로토콜:
  • 신규성: 생성된 단어들 사이의 평균 쌍별 의미적 거리로 측정합니다 (DAT 채점 방식과 동일).
  • 적절성: 생성된 단어들과 단서 단어 사이의 평균 의미적 유사도로 측정합니다.
  • 적절성 게이트(Appropriateness Gate): 모델이 생성한 단어들이 무작위 베이스라인(과제 무관형)의 적절성을 통계적으로 초과해야만 유효한 것으로 간주하는 필터링 메커니즘입니다. 신규성은 이 게이트를 통과했을 때만 점수가 부여됩니다.
  • 최종 점수: 주요 지표는 적절성 게이트를 통과한 것을 조건으로 한 평균 신규성 점수입니다.
• 시각화: 저자들은 2D 랜드스케이프와 **파레토 프런트(Pareto front)**를 사용하여 신규성과 적절성 사이의 트레이드오프를 분석하고, 최적의 균형을 제공하는 비지배적(non-dominated) 모델을 식별합니다.

실험 설정

• 모델: 다양한 크기와 계열을 가진 다양한 독점 및 오픈 소스 SotA LLM.
• 조건: 세 가지 온도 설정(0.5, 1.0, 1.5) 및 결정론적 설정(0.0)에서 평가를 수행했습니다.
• 단서: Brown 코퍼스에서 추출한 539개의 고유한 단서 명사.
• 베이스라인: 2D 진단 분석을 위해 무작위(과제 무관형) 및 공통(Common, 과제 인지형 - 최대 연상을 유도하는 프롬프트 사용) 베이스라인을 포함했습니다.

3. 주요 결과

DAT 유효성 실패

SBERT 기반 평가에서, 어떤 LLM 계열도 모든 온도 설정에서 과제 무관형(무작위) 베이스라인의 DAT 점수를 넘어서지 못했습니다. 또한, 점수를 최적화하기 위해 "속임수"를 쓰는 과제 인지형 베이스라인이 표준 모델 생성보다 일관되게 높은 성능을 보였습니다. 이는 DAT가 실제 창의적 능력을 분리하는 것이 아니라 무작위 샘플링과 프롬프트 친숙도에 민감하다는 것을 확인시켜 줍니다.

CDAT 결과

CDAT로 평가했을 때, 모델 계열과 신규성-적절성 트레이드오프에 관한 뚜렷한 패턴이 나타났습니다:

1. 게이트 통과: 모든 모델이 적절성 게이트를 통과하였으며, 이는 신의 맥락적 정렬을 조건으로 신규성을 측정할 수 있음을 입증합니다.
2. 모델 계열 간 차이:
   • 소규모/기본 모델 계열: 일반적으로 더 높은 CDAT 점수를 기록하며, 높은 신규성을 갖지만 낮은 적절성을 보이는 영역을 차지합니다.
   • 고급/대규모 모델 계열: 높은 적절성을 선호하는 대신 낮은 신규성을 보이는 경향이 있으며, 결과적으로 더 보수적인 CDAT 점수를 나타냅니다.
3. 파레토 프런트: 두 전략(높은 신규성/낮은 적절성 vs. 균형 잡힌 모델) 모두 비지배적 파레토 프런트에 나타났으며, 이는 단일 모델 계열이 두 차원을 동시에 극대화할 수 없음을 나타냅니다.
4. 온도 효과: 온도 효과는 혼재되어 있었으며 모델 계열마다 달랐고, 모든 모델에 걸쳐 일관된 경향성은 나타나지 않았습니다.

4. 주요 기여

• DAT에 대한 비판적 평가: 본 논문은 비창의적 베이스라인이 최첨단 모델보다 높은 성능을 보이고, 해당 지표가 무작위성과 창의성을 구분하지 못한다는 점을 들어 표준 DAT가 LLM 창의성 평가에 부적절함을 입증합니다.
• CDAT 제안: 창의성을 맥락적 적절성에 대한 조건부 신규성으로 구조화하여, 노이즈와 창의적 출력을 분리하는 조건부 발산 연상 과제(CDAT)를 도입합니다.
• 미세한 프로파일링: CDAT는 모델 계열 간의 체계적인 창의성 프로필 차이를 드러내며, 작은 모델이 종종 더 높은 원시 신규성을 보이는 반면, 정렬된 대형 모델은 적절성을 우선시한다는 점을 보여줍니다. 이는 훈련 및 안전 정렬(alignment)의 변화 때문일 가능성이 높습니다.

5. 의의 및 주장

저자들은 CDAT가 확립된 심리학적 창의성 이론과 일치하는 단순하고 객관적이며 인간이 해석 가능한 지표를 제공한다고 주장합니다. 창의성을 신규성과 적절성 모두에 기반하여 평가함으로써, CDDT는 신규성만을 따지는 지표의 함정을 피합니다.

본 논문은 고급 모델이 신규성을 희생하여 적절성을 얻는 트레이드오프 현상이, 모델을 보수적이고 예측 가능한 출력으로 이동시키는 훈련 및 정렬 과정의 결과일 것이라고 상정합니다. 다만, 저자들은 이것이 추가적인 인과적 절제 연구(예: 정렬 목적 함수 및 디코딩 정책에 대한 연구)를 통해 확인되어야 하는 상관관계적 해석임을 언급하며 신중한 입장을 유지합니다.

이 연구는 LLM이 가장 빈번하게 배치되는 결정화된 텍text 기반 지식 과제, 특히 발산적 언어 창의성의 최소 구성 요소를 정량화하기 위한 실용적인 운영화 방안으로 제시되었습니다. 이는 모든 형태의 인간 창의성을 예측하는 보편적 지표라고 주장하는 것이 아니라, 기계 창의성을 위한 보다 엄격하고 이론에 근거한 벤치마크를 향한 필수적인 단계로 기능합니다.