기술 요약: 개방형 과업에 대한 언어 모델의 자동화된 창의성 평가

문제 정의

대규모 언어 모델(LLM)은 추론과 생성 측면에서 상당한 진보를 보여주었으나, 그들의 창의적 잠재력을 체계적으로 정량화하는 것은 여전히 어려운 과제로 남아 있다. 기존의 창의성 평가 프레임워크는 다음과 같은 세 가지 주요 한계를 지닌다:

1. 과업 특정적 결합(Task-Specific Coupling): 대부분의 지표는 특정 도메인(예: 코딩, 수학)에 밀접하게 결합되어 있어, 일반성을 제한하는 강력한 도메인 가정을 내포하고 있다.
2. 확장성 문제: 선별된 정답 집합, 수작업으로 제작된 루브릭, 광범위한 인간 주석에 의존하기 때문에 평가가 주관적이고 자원 집약적이며 확장성이 떨어진다.
3. 참조 없는 지표(Reference-Free Metrics)의 부재: 현재의 자동화된 방법들은 진정한 개념적 다양성과 표면적인 수준의 변이(예: 패러페이징/말바꾸기)를 구분하지 못하는 경우가 많다.

결과적으로, 이 분야에는 다양한 개방형 과업 전반에 걸쳐 LLM의 창의성을 평가할 수 있는 표준화되고 자동화되며 도메인에 구애받지 않는 방법론이 부족한 실정이다.

방법론

저자들은 측정 장치를 창의적 과업 자체로부터 분리하는, 완전히 자동화되고 도메인 일반적인 프레임워크를 제안한다. 이 프레임워크는 확산적(divergent) 사고와 수렴적(convergent) 사고(Guilfield, 1950)라는 인지 과학적 구분을 기반으로 창의성을 구체화한다.

1. 확산적 창의성: 의미론적 엔트로피 (Semantic Entropy, SE)

아이디어의 폭과 참신함(확산적 사고)을 측정하기 위해, 저자들은 본래 단일 답변 QA에서의 환각 탐지(Farquhar et al., 2024)를 위해 제안된 **의미론적 엔트로피(Semantic Entropy)**를 응용한다.

• 개념: 개방형 과업에서, 의미론적으로 구별되는 아이디어들에 분포된 확률 질량은 모델이 오류를 범하는 것이 아니라 대안적인 해결 경로를 탐색하고 있음을 반영한다.
• 구현:
  • 주어진 쿼리에 대해 모델은 $n=10$개의 후보 솔루션을 샘플링한다.
  • 생성된 결과물들은 양방향 함의(bi-directional entailment)를 사용하여 의미적 동등성에 따라 클러스터링된다.
  • SE는 이러한 의미적 클래스들에 대한 확률 분포의 엔트로피로 계산된다: $H(x) = -\sum P(C_i|x) \log P(C_i|x)$.
  • 이 지표는 의미 수준에서 작동하여, 단어 수준의 다양성 지표(예: Distinct-n, Self-BLEU)가 겪는 표면적인 패러페이징에 의한 수치 팽창을 방지한다.

2. 수렴적 창의성: 검색 기반 멀티 에이전트 판정 (Retrieval-Based Multi-Agent Judge)

과업 완수도, 실행 가능성, 맥락 적절성을 측정하기 위해, 저자들은 새로운 검색 기반 멀티 에이전트 판정 프레임워크를 도입한다.

• 동기: 기존의 멀티 에이전트 토론 프레임워크(예: ChatEval)는 매 턴마다 전체 토론 이력을 첨부하는데, 이는 대규모 벤치마킹 시 토큰 비용을 감당할 수 없을 정도로 증가시킨다.
• 메커니즘:
  • 특화된 에이전트들(문제, 솔루션, 기준)이 과업을 분석하고 통찰을 "파편(fragments)" 형태로 기록한다.
  • 전체 이력을 재생하는 대신, 에이전트들은 벡터 데이터베이스에 파편을 임베딩한다.
  • 각 턴에서 에이전트들은 코사인 유사도를 통해 가장 관련성이 높은 $k$개의 이전 파편만을 검색한다.
  • 이 설계는 멀티 에이전트 간의 심의를 유지하면서도 ChatEval 대비 토큰 사용량을 약 63% 감소시켜, 정확도를 희생하지 않으면서도 확장 가능한 평가를 가능하게 한다.

3. 실험 설정

본 프레임워크는 세 가지 질적으로 구별되는 도메인에서 검증되었다:

• MacGyver: 비전형적인 물리적 문제 해결 (실행 가능성, 안전성, 효과성 평가).
• HypoGen: 과학적 연구 아이디어 생성 (실행 가능성, 과학적 정확성, 관련성 평가).
• BookMIA: 창의적 글쓰기 (일관성, 현실성, 플롯 완성도 평가).

평가 프로토콜은 두 단계 과정을 포함한다: SE를 계산하기 위해 여러 단계의 다음 단계 연속형(next-step continuations)을 샘플링한 후(확산적), 그리디 디코딩(greedy decoding)을 통해 최종 솔루션을 구축하여 멀티 에이전트 판정기에 전달한다(수렴적).

주요 결과

확산적 창의성 결과

• 타당성: Semantic Entropy는 코사인 유사도, Self-BLEU, Distinct-n 지표와 비교했을 때 인간의 아이디어 폭 판단과 가장 높은 일치도($\kappa = 0.56$)를 보였다.
• 상관관계: 단계별 SE는 고유한 의미적 클러스터의 수와 양의 상관관계를 가지며, 쌍별 코사인 유사도와는 음의 상관관계를 가지는데, 이는 SE가 진정한 개념적 다양성을 포착함을 확인해 준다.
• 스케일링 동작: 수렴적 지표와 달리, 확산적 창의성은 모델 크기나 최신성에 따라 단조롭게 증가하지 않는다. 더 크고 최신인 모델(예: LLaMA 3.3, GPT-4o)은 오히려 작은 모델들에 비해 안정적이거나 심지어 감소된 SE를 보이기도 한다. 저자들은 현재의 학습 패러다임이 창의적 탐색보다는 솔루션의 정확성을 우선시하는 경향이 있다고 제안한다.

수렴적 창의성 결과

• 성능: 검색 기반 멀티 에이전트 프레임워크는 인간 주석가와 유사한 정확도(예: MacGyver 과업에서 GPT-4o와 인간의 비교 시 84.7% vs 82.7%)를 달성하면서도 훨씬 효율적이다.
• 스케일링 동작: 수렴적 창의성(과업 완수도)은 모델 크기, 최신성, 그리고 추론 능력의 포함 여부에 따라 스케일링이 이루어진다. GPT-4o 및 LLaMA 3.1 70B와 같은 모델들은 더 작거나 오래된 모델들보다 일관되게 우수한 성능을 보인다.

차원 간의 관계

• 경험적 분리 가능성: Semantic Entropy(확산적)와 수렴적 창의성 지표 사이에는 낮은 상관관계가 존재한다. 높은 다양성이 반드시 낮은 과업 완수도로 이어지는 것도 아니며, 높은 과업 완수도가 높은 다양성을 보장하는 것도 아니다.
• 해석: 이는 "창의적 폭"과 "과업 정확도"가 독립적으로 최적화될 수 있는 별개의 차원임을 시사한다.

의의 및 주장

본 논문은 자동화된 LLM 창의성 평가를 위한 재현 가능하고 일반화 가능한 표준을 확립한다고 주장한다. 주요 기여는 다음과 같다:

1. 참조 없는 지표: 참신함 및 유연성에 대한 인간의 판단과 일치하는, 견고하고 과업 불가지론적인 확산적 창의성 측정법으로서 Semantic Entropy를 도입하였다.
2. 확장 가능한 평가: 계산 비용을 60% 이상 절감하면서도 높은 평가 충실도를 유지하는 검색 기반 멀티 에이전트 프레임워크를 개발하여 대규모 벤치마킹을 가능하게 하였다.
3. 모델 행동에 대한 통찰: 현재의 LLM 학습 패러다임이 구조적 추론과 정확성(수렴적)은 최적화하지만, 창의적 탐색(확산적)을 반드시 확장시키지는 않는다는 경험적 증거를 제공하였다.

저자들은 측정 방식을 창의적 과업으로부터 분리함으로써, 본 프레임워크가 건축적 및 학습적 선택이 창의적 행동을 어떻게 형성하는지 연구할 수 있는 토대를 제공하며, 나아가 "창의적 AI" 개발을 위한 길을 열어준다고 결론짓는다.

한계점

저자들은 본 프레임워크가 LLM 기반의 판단에 의존하고 있으며, 이는 본질적으로 모델에 내재된 주관적 해석과 사전 지식을 수반한다는 점을 인정한다. 이로 인해 비전형적인 솔루션이 실행 불가능한 것으로 잘못 판단될 수 있다. 또한, 과업당 여러 출력을 생성하고 클러스터링하는 데 드는 계산 오버헤드는 매우 큰 데이터셋을 다룰 때 제약 요인이 될 수 있다.