기술 요약: 대규모 언어 모델(LLM)과 인간의 창의성 평가가 수렴하고 발산하는 이유

문제 제기

대규모 언어 모델(LLM)이 개인 및 조직적 맥락 모두에서 창의적인 아이디어를 평가하는 데 점점 더 많이 활용되고 있지만, 인간의 판단과 LLM의 정렬(alignment)에 관한 실증적 증거는 여전히 엇갈리고 있습니다. 기존 문헌은 상충하는 결과들을 제시합니다. 일부 연구는 LLM이 인간의 창의성 판단을 근사할 수 있다고 제안하는 반면, 다른 연구들은 약한 정렬 또는 모델별로 나타나는 상당한 변동성을 지적합니다. 본 연구가 다루는 핵심 문제는 LLM이 창의성을 평가할 때 어떤 기준을 적용하는지, 이러한 기준이 인간의 기준과 어디에서 수렴하거나 발산하는지, 그리고 이러한 차이가 다운스트림(downstream) 평가 결과에 어떻게 나타나는지에 대한 이론적 및 실증적 이해가 부족하다는 점입니다. 저자들은 정렬이 이진적인(binary) 능력이 아니라, 판단이 요구하는 구체적인 증거와 각 모델이 우선시하는 기준에 따라 달라진다고 가정합니다.

연구 방법론

본 연구는 LLM의 평가 표준을 매핑하고 그 다운스트림 결과를 조사하기 위해 3단계 연구 설계를 채택했습니다.

연구 1: 평가 표준 매핑

• 목적: 6개의 최첨단 LLM(GPT-4.1 mini, Grok 4 Fast, DeepSeek V3, ERNIE 3.5-8K, Claude Haiku 4.5, Gemini 2.5 Flash-Lite)이 사용하는 창의성 평가 표준을 식별하고 이를 확립된 인간의 표준과 비교합니다.
• 절차: 인간의 창의성 평가에 대한 기성 척도(7개 차원에 걸친 26개의 별도 표준 식별)를 사용하여, 각 LLM에 각 표준의 중요도를 평가하도록 프롬프트를 입력했습니다.
• 분석: 95% 신뢰 구간이 척도 중간값보다 위에 있는 경우 해당 표준을 "중요함"으로 간주했습니다. 저자들은 집계된 LLM 표준을 분석하고 문화적 합의 이론(Cultural Consensus Theory)을 적용하여 모델들이 보편적인 표준을 공유하는지, 아니면 모델별 패턴을 보이는지 결정했습니다.

연구 2: 수렴의 다운스트림 결과

• 목적: LLM 표준의 폭(breadth)이 인간 대비 창의성 평가의 정확도와 상관관계가 있는지 테스트합니다.
• 절차: 293명의 인간 참가자가 세 가지 과업(두 개의 인박스(in-basket) 비즈니스 시나리오와 한 개의 환경 과업)을 통해 1,103개의 창의적 아이디어를 생성했습니다. 훈련된 3명의 인간 평가자와 6개의 LLM이 이 아이디어들을 독립적으로 평가했습니다.
• 분석: 저자들은 집계된 및 개별 LLM 평가와 인간의 평가(합의적 평가 기법(Consensual Assessment Technique)을 통해 도출됨) 사이의 피어슨 상관계수를 계산했습니다. 또한, 더 넓은 표준(인간의 표준과 더 많이 일치하는)을 가진 모델이 인간의 판단과 더 높은 상관관계를 보이는지 테스트했습니다.

연구 3: 발산의 다운스트림 결과

• 목적: LLM과 인간이 가장 크게 차이를 보이는 "맥락적(contextual)" 차원에서 발생하는 발산이 창의성 평가에 어떤 영향을 미치는지 조사합니다.
• 절차: 15개의 킥스타터(Kickstarter) 제품을 대상으로 2 (제품 설명: 제품 단독 vs. 제품+맥락) × 2 (평가자 출처: 인간 vs. LLM) 실험 설계를 사용했습니다. 제품 설명에 맥락적 정보(예: 브랜드 명성, 시장 포지셔닝)를 추가했습니다.
• 분석: 다층 모형 조절 분석(Multilevel moderation analyses)을 통해 맥락적 정보가 인간과 LLM의 창의성 평가를 서로 다르게 변화시키는지 테스트했습니다.

주요 결과

1. LLM은 더 좁고 아이디어 중심적인 표준에 의존함

• 부분적 중첩: 인간은 식별된 26개 창의성 표준을 모두 활용하지만, 일반적인 LLM 표준은 17개만을 포함합니다 (65.38% 중첩).
• 수렴: LLM은 참신성(Novelty) 차원(모든 참신성 표준이 포함됨)과 쾌락적(Hedonic) 차원에서 인간과 가장 강력하게 수렴합니다.
• 발산: 가장 뚜렷한 발산은 맥락적(Contextual) 차원에서 발생합니다. 인간은 사회적, 시장적, 평판적 요소(예: "유명 브랜드", "대중 시장", "유행성")를 중요하게 여기지만, LLM은 일반적으로 이러한 요소들을 배제하고 이를 창의성의 약한 증거로 취급합니다. 오직 "신뢰성(credibility)"만이 미미하게 포함되었습니다.
• 모델 가변성: LLM은 단일한 보편적 표준을 공유하지 않습니다. 문화적 합의 이론에 따르면 6개의 뚜렷한 클러스터(모델당 하나씩)가 나타났습니다.
  • 넓은 표준: GPT와 Grok은 각각 20개의 표준을 포함했습니다.
  • 중간 표준: DeepSeek과 ERNIE는 14개를 포함했습니다.
  • 좁은 표준: Claude와 Gemini는 각각 12개와 11개를 포함하며 참신성에 엄격하게 고착되어 있었습니다.

2. 표준의 폭은 인간의 판단과의 정렬을 예측함 (연구 2)

• 집계 정렬: 집계된 LLM 평가와 인간 평가 사이에는 중간 정도의 상관관계($r = 0.50$)가 있었습니다.
• 모델 계층 구조: 정렬 강도는 모델의 표준 폭과 직접적으로 상관관계가 있었습니다.
  • GPT와 Grok (가장 넓음)은 가장 강력한 정렬($r \approx 0.50$)을 보였습니다.
  • DeepSeek과 ERNIE (중간)는 중간 정도의 정렬($r \approx 0.46$)을 보였습니다.
  • Claude와 Gemini (가장 좁음)는 가장 약한 정렬($r \approx 0.41$)을 보였습니다.
• 결론: 더 넓은 범위의 인간 표준을 보존하는 모델이 인간이 더 창의적이라고 판단하는 아이디어를 더 잘 구별해냅니다.

3. 맥락적 정보는 비대칭적 평가를 유도함 (연구 3)

• 인간의 민감도: 맥락적 정보(예: 브랜드 명성)를 제공하는 것은 인간의 창의성 평가를 유의미하게 높였습니다 ($b = 0.18, p < 0.001$).
• LLM의 둔감성: 동일한 맥락적 정보는 LLM의 평가에 유의미한 영향을 미치지 않았습니다 ($b = 0.01, p = 0.367$).
• 특이성: 이러한 둔감성은 연구 1에서 LLM이 가중치를 낮게 두었던 "유명 브랜드", "대중 시장", "유행성" 변수들에서 가장 두드하게 나타났습니다.
• 결론: LLM은 인간의 창의성 판단을 형성하는 데 실질적인 역할을 하는 맥락적 증거에 덜 민감하며, 이러한 정보가 존재할 때 체계적인 편차를 일으킵니다.

의의 및 기여

이론적 기여

• 혼재된 증거에 대한 설명: 본 논문은 LLM-인간의 정렬이 단일한 "예/아니오" 능력이 아니라, 요구되는 특정 평가 표준에 달려 있음을 보여줌으로써 선행 문헌의 불일치를 해결합니다. 정렬은 내재적 특성(참신성)을 강조하는 과업에서는 높지만, 맥락적 판단을 요구할 때는 낮습니다.
• 창의성 이론의 재검토: 연구 결과는 공식적인 창의성 이론(참신성과 유용성을 모두 강조함)과 LLM 표준 사이의 불일치를 드러냅니다. LLM은 참신성에 불균형적으로 높은 가중치를 두는데, 이는 참신성이 텍스트 데이터에서 더 명시적이고 일관되게 언어화되는 반면, 유용성이나 사회적 승인과 같은 표준은 인간에 의해 더 암묵적으로 적용되어 텍스트 코퍼스에서 덜 가시적이기 때문인 것으로 보입니다.
• 모델 이질성: 본 연구는 "LLM"을 하나의 범주로 취급하는 것에 도전하며, 서로 다른 모델이 서로 다른 모델 특유의 표준을 적용하여 어떤 아이디어가 창의적인 것으로 인식될지를 유의미하게 변화시킨다는 것을 보여줍니다.

실무적 시사점

• 맥락 의존적 유용성: LLM은 내재적 아이디어 품질(예: 참신성, 개념적 잠재력)을 평가하면서 사회적 또는 평판적 신호(예: 초기 단계 과학 제안서 심사)로부터의 편향을 최소화하고자 할 때 효과적인 평가자입니다.
• 맥락이 풍부한 환경에서의 한계: 시장 적합성, 사회적 규범, 또는 이해관계자의 신뢰도가 창의성의 핵심적인 부분인 영역(예: 제품 디자인)에서 LLM 평가는 인간의 판단에 의해 보완되지 않는 한 불완전하거나 오도될 수 있습니다.
• 선택 전략: 조직은 LLM 평가자를 선택할 때, 해당 모델의 특정 표준 폭이 평가 목표와 일치하는지를 고려하는 것이 중요한 결정임을 인지해야 합니다.

한계 및 향-후 연구 방향
저자들은 연구 1이 자기 보고식 중요도 평가에 의존했으므로, 이것이 모든 맥락에서 행동적 표준을 완벽하게 반영하지 못할 수 있음을 인정합니다. 또한 본 연구가 6개의 독점적 모델에 집중했음을 언급하며, 오픈 소스, 도메인 특화 또는 멀티모달 모델에 대한 질문을 남겨두었습니다. 마지막으로, 본 논문은 LLM 평가자와의 반복적인 상호작용이 결국 인간의 평가 표준을 변화시킬 수 있는 피드백 루프의 가능성을 제기하며, 이는 향후 조사가 필요한 영역입니다.