Death of the Novel(ty): Beyond n-Gram Novelty as a Metric for Textual Creativity

이 논문은 n-그램 신규성 (n-gram novelty) 만으로는 텍스트 창의성을 제대로 평가할 수 없으며, 인간 전문가의 평가와 달리 고도화된 LLM 은 높은 신규성이 오히려 실용성 저하와 연결되는 경향이 있음을 8,618 개의 전문가 주석을 통해 규명하고, 창의성 평가에 n-그램 지표보다 LLM 기반 평가가 더 적합할 수 있음을 시사합니다.

핵심

이 논문은 **"대기모형 (AI) 이 글을 쓸 때, '새로움'만 쫓는 것이 정말 '창의성'을 의미하는가?"**라는 질문에 대해 깊이 있게 탐구한 연구입니다.

간단히 말해, **"남이 한 번도 안 써본 낯선 단어들을 섞어 쓰는 것"이 정말로 "재미있고 훌륭한 글"을 만드는 걸까요?**라는 의문에서 시작합니다.

이 복잡한 연구 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

🎨 1. 연구의 핵심: "새로움 (Novelty)" vs "창의성 (Creativity)"

과거에는 AI 가 글을 쓸 때, 자신이 배운 책 (훈련 데이터) 에 없는 단어 조합을 얼마나 많이 쓰는지를 세어 '창의성'의 척도로 삼았습니다. 마치 **"남이 안 쓴 색칠공방 도안을 얼마나 많이 찾아냈는가?"**로 창의성을 잰 것과 비슷하죠.

하지만 이 논문은 **"아니요, 그건 창의성이 아닙니다"**라고 말합니다.

• 비유: 상상해 보세요. 누군가 **"하늘을 나는 보라색 코끼리가 치즈를 먹는다"**라고 썼다고 칩시다.
  • 이 문장은 책에 없으니 매우 '새롭고 (Novelty)' 있습니다.
  • 하지만 이 문장은 상식적이지도 않고 (Non-sensical), 문맥에도 맞지 않습니다.
  • 진정한 창의성은 '새로움'과 '적절함 (의미가 통함)'이 만나야 합니다. 마치 **"비 오는 날, 우산이 피는 꽃처럼"**이라는 표현은 낯설지만, 비와 우산의 관계를 아름답게 연결해 의미 있는 창의성이 되는 것이죠.

🔍 2. 연구 방법: "전문가들의 정밀한 독해"

연구팀은 AI 가 쓴 글과 사람이 쓴 글을 26 명의 **전문 작가 (소설가 등)**들에게 보여주고, 문장 하나하나를 유심히 읽어보게 했습니다. (이걸 'Close Reading', 즉 정밀 독해라고 합니다.)

작가들에게 질문했습니다.

1. 이 문장은 의미가 통하나요? (Sensicality)
2. 이 문장은 앞뒤 흐름에 자연스러운가요? (Pragmaticity)
3. 이 문장은 재미있고 새로워 보이나요? (Novelty)

그리고 AI 가 얼마나 '새로운' 문장을 썼는지 (n-gram novelty) 를 수치로 계산해 비교했습니다.

📉 3. 충격적인 발견: "새로움"은 "창의성"의 함정이다

연구 결과는 놀라웠습니다.

• 통계적 사실: AI 가 가장 '새로운 (남이 안 쓴)' 문장을 많이 쓴 그룹 중 **약 91%**는 전문가들이 **"창의적이지 않다"**고 평가했습니다.
• 왜일까요? AI 가 무작정 '새로운' 단어를 찾으려다 보니, 문맥을 무시하거나 말이 안 되는 (Non-pragmatic) 이상한 문장들을 만들어냈기 때문입니다.
  • 비유: 요리사가 "새로운 재료"만 찾아서 넣다가, 소금 대신 설탕을 넣고, 비누를 넣은 요리를 만든 것과 같습니다. 재료는 '새로울지' 몰라도, 그건 맛있는 요리 (창의적인 글) 가 될 수 없습니다.

반면, 사람이 쓴 창의적인 글은 오히려 익숙한 단어를 쓰더라도, 문맥을 잘 살려 감동을 주는 경우가 많았습니다.

🤖 4. AI 의 딜레마: "더 새로워지려 할수록, 더 어색해진다"

연구팀은 흥미로운 패턴을 발견했습니다.

• 사람: 글을 쓸 때 '새로움'을 추구해도, 문맥이 어색해지지는 않습니다.
• AI (오픈소스 모델): '새로움' 지수가 높을수록, 문장이 어색하고 말이 안 되는 확률이 급격히 높아집니다.
  • AI 는 "남이 안 쓴 걸 써야지!"라고 너무 열심히 노력하다가, 의미를 잃어버리는 것입니다.

🧠 5. AI 가 스스로를 평가할 수 있을까? (LLM-as-a-Judge)

그렇다면 AI 가 스스로 "이 문장이 창의적인가?"를 판단할 수 있을까요?
연구팀은 최신 AI 모델들에게 전문가처럼 글을 분석하게 했습니다.

• 결과: AI 는 완벽하지는 않지만, 무작위 추측보다는 훨씬 잘합니다.
• 약점: AI 는 '의미가 통하지 않는 이상한 문장'을 찾아내는 것은 여전히 어려워합니다. (창의적인 '새로움'은 찾아내지만, '어색함'은 놓치는 경향이 있습니다.)
• 의의: 하지만 기존에 쓰이던 '단순히 단어 조합이 새로운지'를 세는 방식보다는, AI 가 글을 읽고 판단하는 방식이 전문가의 취향과 더 잘 맞았습니다.

💡 결론: "창의성"을 다시 정의하자

이 논문은 우리에게 중요한 메시지를 줍니다.

"단순히 남과 다른 것 (새로움) 만이 창의성이 아닙니다. 의미 있고, 상황에 잘 어울리며, 감동을 주는 것 (적절함) 이 있어야 진정한 창의성입니다."

AI 를 평가할 때, "얼마나 많은 새로운 단어를 썼는가?"만 보는 것은 요리사의 '새로운 재료 사용량'만 보고 '맛있는 요리'를 평가하는 것과 같습니다. 이제는 AI 가 문맥을 이해하고, 의미 있는 연결을 만들어낼 수 있는지를 더 중요하게 봐야 한다는 것입니다.

한 줄 요약:
"남이 안 써본 말을 섞는 것만으로는 창의적인 글이 되지 않습니다. 의미 있고 자연스러운 '새로운 연결'이 진짜 창의성입니다."

기술 요약

1. 문제 정의 (Problem)

• 기존 지표의 한계: 최근 LLM 의 창의성을 평가하기 위해 'n-gram novelty'(학습 데이터에 없는 텍스트 조각을 생성하는 정도) 를 기반으로 한 지표 (예: CREATIVITY INDEX) 가 널리 사용되고 있습니다.
• 심리학적 정의와의 괴리: 창의성 심리학 (Runco & Jaeger, 2012 등) 에 따르면, 창의성은 **'새로움 (Novelty)'**과 **'적절성 (Appropriateness)'**의 두 가지 요소가 동시에 충족되어야 합니다.
  • 새로움: 텍스트가 얼마나 독창적인가?
  • 적절성: 텍스트가 문맥상 의미가 통하고 실용적인가? (논리적 일관성, 자연스러움)
• 핵심 문제: n-gram novelty 만으로는 텍스트가 문맥상 nonsensical(말도 안 되는) 이거나 비실용적일 수 있다는 점을 간과합니다. 즉, 학습 데이터에 없는 낯선 문장이라도 의미가 없으면 창의적이라고 볼 수 없습니다.

2. 방법론 (Methodology)

연구진은 창의성을 새로움 (Novelty), 의미론적 타당성 (Sensicality), **실용성/문맥 적합성 (Pragmaticality)**으로 세분화하여 평가하는 대규모 데이터셋을 구축하고 분석했습니다.

• 데이터 수집 및 주석 (Annotation):
  • 참여자: 전문 작가 26 명 (MFA 프로그램 졸업자 및 출판 작가).
  • 자료: 인간이 쓴 소설 (New Yorker 등) 50 편과 오픈소스 LLM(OLMo 7B, 32B) 이 생성한 50 편, 그리고 프런티어 모델 (GPT-5, Claude 4.1) 이 생성한 5 편 등 총 100 개의 텍스트.
  • 작업: 'Close Reading(세밀한 독해)' 기법을 적용하여 문장 단위 (expression-level) 로 주석을 달았습니다.
    • 의미론적 타당성 (Sensicality): 문장 자체로 의미가 통하는가?
    • 실용성 (Pragmaticality): 문맥상 자연스럽고 논리적인가?
    • 지각된 새로움 (Perceived Novelty): 문장이 독특하고 놀라운가?
  • 규모: 총 8,618 개의 표현에 대한 전문가 평가 데이터 수집.
• n-gram Novelty 측정:
  • infini-gram 패키지를 사용하여 학습 코퍼라 (trillion-token 규모) 대비 n-gram 확률 (Perplexity) 을 계산하여 '새로움'을 정량화했습니다.
• 통계적 모델링:
  • 평가자 간 편차와 문장 주제를 통제하기 위해 **계층적 로지스틱 회귀 모델 (Mixed-effects logistic regression)**을 사용했습니다.
  • LLM-as-a-Judge(모델이 평가자 역할) 가 인간 전문가의 판단을 모방할 수 있는지 검증하기 위해 제로샷, 퓨샷, 파인튜닝 모델을 실험했습니다.

3. 주요 결과 (Key Results)

A. n-gram Novelty 와 창의성의 비일관성

• 새로움은 창의성의 충분 조건이 아님: n-gram novelty 가 높은 표현 중 **약 91%**는 전문가들에 의해 '창의적'이라고 평가받지 못했습니다. (대부분 실용성이나 의미론적 타당성이 부족함)
• 낮은 새로움도 창의적일 수 있음: n-gram perplexity 가 낮아도 (학습 데이터에 흔함), 문맥적으로 감동적이거나 독창적인 비유로 평가받아 '창의적'으로 간주된 경우가 약 25% 존재했습니다.

B. 오픈소스 LLM 의 '새로움 - 실용성' 역상관 관계

• 중요 발견: 인간이 쓴 텍스트에서는 새로움과 실용성 사이에 유의미한 상관관계가 없었지만, 오픈소스 LLM(OLMo 등) 에서는 새로움 (n-gram novelty) 이 증가할수록 실용성 (Pragmaticality) 이 감소하는 강한 음의 상관관계가 발견되었습니다.
• 해석: LLM 이 학습 데이터에 없는 '새로운' 단어를 생성하려 할수록, 문맥에 맞지 않거나 논리적 오류를 범하는 '비실용적'인 표현을 만들어낼 확률이 높아집니다.

C. 프런티어 모델의 창의성 부족

• GPT-5, Claude 4.1 등 최첨단 폐쇄형 모델조차 인간 작가에 비해 창의적인 표현을 생성할 확률이 유의미하게 낮았습니다 (Odds Ratio < 1).

D. LLM-as-a-Judge 의 성능

• 새로운 표현 탐지: 최신 추론 모델 (Reasoning Models, 예: GPT-5) 은 인간 전문가가 '새로운' 것으로 판단한 표현을 찾는 데 있어 무작위 추측보다 훨씬 높은 성능 (F1 ≈ 41%) 을 보였습니다.
• 비실용적 표현 탐지: '비실용적 (non-pragmatic)'인 표현을 찾는 과제는 훨씬 어려웠으며 (F1 < 20), 모델들이 여전히 개선이 필요한 것으로 나타났습니다.
• 전문가 선호도 정렬: LLM-as-a-Judge 가 부여한 '새로움' 점수는 인간 전문가의 선호도와 n-gram 기반 지표 (CREATIVITY INDEX) 보다 더 높은 일치도를 보였습니다.

4. 주요 기여 (Key Contributions)

1. 창의성 평가 패러다임의 전환: 단순히 '학습 데이터에 없으면 창의적이다'라는 n-gram novelty 중심의 접근을 비판하고, **새로움 + 적절성 (실용성/의미)**을 모두 고려해야 함을 실증적으로 증명했습니다.
2. 대규모 전문가 주석 데이터셋 구축: 인간과 AI 텍스트에 대한 8,000 개 이상의 표현 단위 주석 (의미, 실용성, 새로움) 을 포함하는 공개 데이터셋을 구축했습니다.
3. LLM 의 생성 한계 규명: LLM 이 '새로움'을 추구할 때 '실용성'을 희생하는 경향이 있음을 통계적으로 입증했습니다. 이는 RLHF 나 창의성 최적화 시 발생할 수 있는 'AI slop(무의미한 AI 텍스트)' 문제의 근본 원인을 시사합니다.
4. 새로운 평가 도구 제안: n-gram 기반 지표보다 LLM-as-a-Judge(추론 모델) 를 활용한 평가가 인간 전문가의 창의성 판단을 더 잘 반영할 수 있음을 보였습니다.

5. 의의 및 시사점 (Significance)

• 평가 지표의 재정의: 현재 LLM 창의성 평가에 널리 쓰이는 n-gram novelty 기반 지표는 신뢰할 수 없으며, 이를 대체할 수 있는 다차원적 평가 프레임워크가 필요합니다.
• AI 생성 텍스트의 품질 관리: LLM 이 창의적인 글을 쓰도록 유도할 때, 단순히 '새로운' 단어를 생성하도록 하는 것만으로는 부족하며, 문맥적 일관성과 실용성을 유지하는 것이 필수적입니다.
• 미래 연구 방향: 추론 모델 (Reasoning Models) 이 인간 전문가의 미묘한 창의성 판단을 모방할 수 있는 잠재력을 보여주었으므로, 이를 활용한 자동화된 창의성 평가 시스템 개발이 가능해졌습니다.

결론적으로, 이 논문은 "창의성은 단순히 낯선 것이 아니라, 낯설면서도 의미 있고 적절한 것"임을 강조하며, LLM 의 창의성 평가와 향상을 위해서는 n-gram 통계 이상의 심층적인 문맥 이해와 실용성 평가가 필수적임을 역설합니다.