논문 개요: 페르시아어 문학 텍스트 생성에서 LLM 의 창의성 평가

이 논문은 대규모 언어 모델 (LLM) 이 비영어권, 특히 페르시아어 (Persian) 문학 텍스트 생성에서 보여주는 창의성 능력을 체계적으로 평가하고, 이를 위해 새로운 데이터셋과 평가 프레임워크를 제안합니다. 기존 연구가 영어 중심이었고 창의성 평가에 표준화된 방법이 부재했던 한계를 극복하기 위해, 문화적 맥락을 고려한 평가 체계를 구축하고 6 개의 최첨단 LLM 을 분석했습니다.

---

1. 연구 배경 및 문제 제기 (Problem)

• 영어 중심의 편향: 기존 LLM 의 창의성 연구는 주로 영어와 영어권 문화에 집중되어 있으며, 페르시아어와 같은 저자원 (low-resource) 언어의 문학적 전통은 충분히 탐구되지 않았습니다.
• 문화적 뉘앙스 부재: LLM 이 원본성 (originality) 이 높고 문화적으로 정교한 텍스트를 생성할 수 있는지에 대한 의문이 제기되고 있으나, 이를 평가할 수 있는 표준화된 도구가 부족합니다.
• 기존 평가 방법의 한계: 인간 창의성 평가에 널리 쓰이는 '토런스 창의성 사고 검사 (TTCT)'는 영어 기반이며, 문학 텍스트의 문화적 깊이와 스타일적 풍요로움을 평가하기에는 적합하지 않을 수 있습니다.
• 자원 부족: 페르시아어 문학 텍스트 생성을 위한 체계적인 벤치마크 데이터셋이 존재하지 않았습니다.

---

2. 방법론 (Methodology)

연구팀은 페르시아어 문학 텍스트의 창의성을 평가하기 위해 다음과 같은 3 단계의 방법론을 제시합니다.

가. CPers 데이터셋 구축

• 구성: 20 개의 다양한 주제 (사랑, 희망, 설렘, 아버지, 노루즈 등) 를 다루는 4,371 개의 사용자 생성 페르시아어 문학 문장으로 구성된 데이터셋입니다.
• 특징: 원어민이 작성한 텍스트로, 일상 언어뿐만 아니라 은유, 비유, 대조, 과장 등 페르시아 문학의 핵심 수사적 장치를 포함하도록 설계되었습니다.
• 샘플: 200 개의 하위 집합 (100 개 인간 작성, 100 개 모델 생성) 을 선별하여 창의성 점수와 수사적 장치 레이블을 인간이 직접 주석 (annotation) 했습니다.

나. 문화적 적응 평가 프레임워크 (TTCT 기반)

• 4 차원 평가 지표: 토런스 창의성 사고 검사 (TTCT) 를 페르시아어 문화적 맥락에 맞게 수정하여 다음 4 가지 차원을 평가합니다.
  1. 원본성 (Originality): 관용구나 유명한 문장과 얼마나 다른가? 수사적 장치를 사용했는가?
  2. 유창성 (Fluency): 문법적 정확성, 원어민의 자연스러움, 문학적/일상적 맥락 적합성. (기존 TTCT 의 '아이디어 수' 측정을 페르시아어의 암시적/비유적 특성으로 재정의)
  3. 유연성 (Flexibility): 다양한 관점, 스타일 (아이러니, 유머 등), 아이디어의 다양성.
  4. 구체화 (Elaboration): 세부 묘사, 생생한 이미지, 감정 전달력.
• 평가 방식: 5 점 척도로 평가하며, 각 차원당 3 개의 질문으로 총 12 개의 질문을 사용합니다.

다. LLM 을 심사자 (LLM-as-a-Judge) 로 활용

• 모델 선정: GPT-4o 와 Claude 3.7 Sonnet 을 비교 평가하여 인간 판정자와의 일치도 (Intraclass Correlation Coefficient, ICC) 가 높은 모델을 선정했습니다.
• 결과: Claude 3.7 Sonnet 이 인간 판정자와 높은 상관관계를 보였으며, 특히 GPT-4o 가 모델 생성 텍스트에 편향된 높은 점수를 주는 경향이 있었던 반면, Claude 는 더 균형 잡힌 평가를 수행했습니다. 따라서 Claude 3.7 Sonnet을 최종 자동 평가 모델로 채택했습니다.

---

3. 주요 기여 (Key Contributions)

1. 페르시아어 문학 창의성 평가의 체계적 도입: TTCT 를 페르시아어 문학에 적용한 최초의 체계적인 평가 프레임워크를 제시했습니다.
2. CPers 데이터셋 공개: 페르시아어 문학 텍스트 생성을 위한 최초의 대규모 데이터셋 (4,371 개 텍스트) 과 인간 주석이 포함된 벤치마크를 공개했습니다. 이는 저자원 언어의 창의성 평가에 중요한 기반이 됩니다.
3. 6 개 최첨단 LLM 의 종합 평가: GPT-3.5, GPT-4.1, DeepSeek-V3, DeepSeek-R1, Qwen2.5, Gemma 등 6 개 모델을 대상으로 다차원적 창의성 평가를 수행했습니다.
4. 수사적 장치 및 어휘 패턴 분석: 비유, 은유, 대조, 과장 등 4 가지 수사적 장치의 사용 빈도와 어휘 패턴을 분석하여 모델의 문화적 정합성과 창의성의 관계를 규명했습니다.

---

4. 실험 결과 및 분석 (Results & Analysis)

가. 모델별 성능 비교

• DeepSeek-R1: 전체 창의성 점수 (4.44) 에서 가장 높은 성과를 보였습니다. 특히 **구체화 (Elaboration)**와 **유연성 (Flexibility)**에서 탁월한 성능을 발휘했는데, 이는 모델의 '추론 중심 (reasoning-oriented)' 학습 방식 ('생각한 후 답변') 이 상세하고 다양한 내용 생성에 기여한 것으로 분석됩니다.
• GPT-4.1: **유창성 (Fluency)**과 가독성에서 가장 우수했으나, **원본성 (Originality)**은 상대적으로 낮았습니다. 문장은 자연스럽지만 관용적인 표현에 의존하는 경향이 있었습니다.
• Qwen2.5: 원본성은 높았으나 유창성이 낮아, 독창적이지만 페르시아어 원어민에게 자연스럽지 않거나 어색한 문장을 생성하는 경우가 많았습니다.
• Gemma: 전반적으로 다른 모델들에 비해 낮은 점수를 기록했습니다.

나. 어휘 및 수사적 장치 분석

• 어휘 패턴: 인간 작성 텍스트는 '하늘', '시선' 등 구체적이고 다양한 이미지를 사용하는 반면, LLM 들은 '희망', '어둠', '빛', '밤' 등 이분법적이고 반복적인 메타포를 과도하게 사용했습니다.
• 수사적 장치:
  • 인간은 한 문장 내에서 은유, 비유, 대조, 과장 등을 균형 있게 혼용합니다.
  • LLM 은 **비유 (Simile)**와 **은유 (Metaphor)**에 지나치게 의존하며, **대조 (Antithesis)**나 **과장 (Hyperbole)**의 사용은 제한적이었습니다.
  • DeepSeek-R1 은 다른 모델들에 비해 수사적 장치의 균형이 더 좋았으며, 특히 과장법의 사용이 생생한 이미지를 만들어내는 데 기여했습니다.
• LLM 심사자의 한계: LLM 이 수사적 장치 (특히 은유와 비유의 구분) 를 식별하는 데 어려움을 겪었으며, 인간 주석자의 정확도가 훨씬 높았습니다.

---

5. 의의 및 결론 (Significance & Conclusion)

• 문화적 맥락의 중요성: LLM 의 창의성 평가는 언어와 문화적 배경을 고려해야 하며, 단순한 유창성만으로는 문학적 가치를 판단할 수 없습니다.
• 모델 특성의 이질성: 모든 차원에서 뛰어난 단일 모델은 존재하지 않으며, 모델마다 강점이 다릅니다 (예: DeepSeek-R1 의 구체화 능력, GPT-4.1 의 유창성).
• 인간과 AI 의 차이: 현재 LLM 은 학습된 패턴을 따르는 경향이 강하며, 인간처럼 다양한 수사적 장치를 균형 있게 활용하거나 문화적 뉘앙스를 깊이 있게 담아내는 능력은 아직 부족합니다.
• 향후 방향: 저자원 언어에 대한 문화 기반 평가의 중요성을 강조하며, 추론 능력을 갖춘 모델이 창의적 텍스트 생성에 긍정적 영향을 줄 수 있음을 시사합니다.

이 연구는 페르시아어뿐만 아니라 다양한 문화적 배경을 가진 언어의 LLM 창의성 평가를 위한 새로운 기준을 제시했다는 점에서 의의가 큽니다.