Assessing the Creativity of Large Language Models: Testing, Limits, and New Frontiers

기술적 요약: 대규모 언어 모델의 창의성 평가

문제 제기
본 논문은 대규모 언어 모델 (LLM) 을 평가하는 데 인간 창의성 검사를 사용하는 것의 타당성이 확립되지 않았음을 다룹니다. 수렴적 사고 (단일 정답 찾기) 와 발산적 사고 (독창적인 응답 생성) 를 측정하는 검사를 LLM 에게 실시하는 것은 일반적인 관행이지만, 이러한 검사가 기계의 실제 창의적 성취를 예측하는 능력은 입증되지 않았습니다. 더 나아가 기존 검사들은 종종 일반 모델 능력과 특정 창의적 능력 사이를 구분하지 못하며, 다양한 창의적 영역에서 일관되지 않은 성능을 보입니다. 특히 LLM 의 창의적 글쓰기와 과학적 아이디어 도출 점수는 시간이 지남에 따라 상승해 온 반면, 발산적 사고 점수는 감소했습니다. 이는 현재의 평가 지표가 기계 창의성의 전체 스펙트럼을 포착하지 못하거나 일반 능력과 혼동되고 있음을 시사합니다.

방법론
저자들은 10 개 제공업체의 54 개 지시 튜닝 LLM 을 대상으로 대규모 체계적 연구를 수행했습니다. 그들은 세 가지 목표 구성 요소를 아우르는 6 개의 벤치마크에 대해 기존 자동화된 창의성 검사를 평가했습니다:

1. 창의적 글쓰기: Chatbot Arena Creative Writing, EQ-Bench Creative Writing, Mazur Creative Writing.
2. 발산적 사고: Hivemind 및 NoveltyBench.
3. 과학적 아이디어 도출: LiveIdeaBench.

검사 효과를 엄격하게 평가하기 위해 저자들은 두 가지 평가 지표를 도입했습니다:

• 타당성 (Validity): 검사 점수와 벤치마크 점수 간의 피어슨 상관계수 ($r$).
• 특이성 (Specificity): 일반 능력 대리 변수 ($g$) 에 대한 벤치마크 점수를 잔차화한 후, 검사 점수와 벤치마크 간의 반부분 상관계수 ($r|g$). 여기서 $g$는 Arena 전체 Elo 와 MMLU-Pro 정확도의 조합으로 정의됩니다. 이 지표는 일반 모델 능력으로 이미 설명되는 변이를 제외한 창의적 성취의 변이를 분리합니다.

또한 이 연구는 주어진 타당성과 벤치마크의 일반 능력과의 상관관계에 따라 검사가 달성할 수 있는 최대 특이성에 대한 이론적 상한선 (유효성 - 특이성 프론티어) 을 증명했습니다.

주요 기여

1. 체계적 평가: 세 가지 서로 다른 구성 요소를 아우르는 LLM 의 창의적 성취에 대한 인간 창의성 검사의 예측력을 평가한 최초의 대규모 연구.
2. 평가 프레임워크: 창의성 검사가 일반 지능/능력과 독립적으로 창의적 능력을 측정하도록 보장하는 핵심 지표로서 '특이성'을 도입.
3. 이론적 경계: 어떤 창의성 검사의 결합된 타당성과 특이성에 대한 이론적 한계 (프론티어) 를 확립하는 증명.
4. 기존 검사에 대한 실증적 발견:
   • **발산적 연관 과제 (DAT)**는 창의적 글쓰기의 가장 좋은 예측 변수입니다.
   • **조건부 발산적 연관 과제 (CDAT)**는 발산적 사고의 가장 좋은 예측 변수입니다.
   • 기존 검사는 과학적 아이디어 도출을 신뢰할 수 있게 예측하지 못합니다.
   • PACE(병렬 연관 사슬 평가) 와 같은 검사는 높은 타당성을 보이지만 낮은 특이성을 보여, 창의성을 독립적으로 측정하기보다는 일반 능력의 대리 변수로 주로 기능함을 나타냅니다.
5. 새로운 검사 제안 (DRAT): 수렴적 사고와 발산적 사고를 동시에 평가하는 새로운 도구인 **발산적 원격 연관 검사 (DRAT)**의 도입.

결과

• 구성 특이성: 단일 검사가 세 가지 구성 요소를 모두 잘 예측하지는 못한다는 사실이 발견되었습니다. 검사의 효과성은 측정하는 특정 구성 요소에 크게 의존합니다.
• 과학적 아이디어 도출 격차: CDAT 와 같이 새로움과 적절성을 모두 측정하는 검사를 포함한 기존 검사들은 과학적 아이디어 도출에 대해 유의미한 타당성이나 특이성을 달성하지 못했습니다.
• DRAT 성능: 서로 최대한 다르게 (발산적) 생성되되, 여러 앵커 단어에 비유적으로 적용 가능해야 (수렴적) 하는 단어 생성을 요구하는 DRAT 는 과학적 아이디어 도출을 예측하는 데 유의미한 타당성 ($r = +0.57$) 과 특이성 ($r|g = +0.50$) 을 달성했습니다.
• 비선형성 필요성: 회귀 분석 결과, DRAT 의 예측력은 별도의 DAT 와 원격 연관 검사 (RAT) 점수의 선형 결합으로 회복될 수 없음을 보여주었습니다. 이는 과학적 창의성을 예측하기 위해 단일 도구 내에서 수렴적 사고와 발산적 사고를 평가하는 것이 필수적임을 나타냅니다.
• 견고성: DRAT 성능은 다양한 임베딩 모델과 앵커 세트 크기에서 견고했으며, ConceptNet 의 무작위 명사보다 과학적 용어를 앵커로 사용할 때 더 좋은 결과를 보였습니다.

의의 및 주장
본 논문은 인간 창의성 검사가 기계 창의성 평가로 균일하게 전환되지 않는다는 최초의 엄격한 증거를 제공한다고 주장합니다. 다음과 같이 주장합니다:

• 현재 검사들은 종종 일반 능력과 창의성을 혼동하므로 특이성 지표의 사용이 필요합니다.
• 기존 검사들이 이론적 유효성 - 특이성 프론티어보다 훨씬 아래에 있으므로, 더 나은 검사를 설계할 수 있는 상당한 '여유 공간'이 존재합니다.
• LLM 의 과학적 창의성은 수렴적 사고와 발산적 사고를 통합하는 특정 유형의 인지 평가가 필요하며, 이는 DRAT 가 채운 격차입니다.
• DRAT 는 LLM 의 과학적 아이디어 도출 능력을 유의미하게 예측한 최초의 검사로, AI 시스템의 과학적 창의성을 평가하고 잠재적으로 개선하기 위한 연구자들에게 새로운 도구를 제공합니다.

저자들은 그들의 발견이 특정 창의적 구성 요소에 적합한 검사를 선택하는 데 실용적인 지침을 제공하며, AI 에서 과학적 창의성 측정을 발전시키기 위한 새로운 방법론을 제안한다고 결론지었습니다.