기술 요약: 기계 속의 CASPER

문제 정의

대규모 언어 모델(LLM)이 창의적 글쓰기와 허구적 이야기 생성에 점점 더 많이 활용됨에 따라, 기계가 생성한 서사와 인간이 저술한 서사 사이의 질적인 차이에 대한 중요한 질문이 제기되고 있다. 최근 연구들이 플롯 전개와 서사 구조의 관점에서 LLM 생성 이야기를 조사해 왔으나, 이러한 모델들이 **캐릭터(인물)**를 어떻게 묘사하는지에 대한 이해에는 상당한 공백이 존재한다. 기존의 자동화된 분석들은 인구통계학적 특성이나 성격 특성과 같은 기본적인 속성에 의존하는 경우가 많으며, 이는 이야기의 톤, 주제, 문화적 공명을 결정짓는 캐릭터 묘사의 더 깊은 예술적 뉘앙스를 포착하는 데 실패한다. 저자들은 현재의 방법론이 LLM이 인간 작가와 동일한 다양성, 깊이, 그리고 예술적 의도를 가진 캐릭터를 생성하는지 판단할 만큼 정교하지 못하다고 주장한다.

방법론

이를 해결하기 위해, 저자들은 단편 소설의 캐릭터 묘사를 자동으로 분석하기 위해 설계된, 서사 이론에 기반한 프레임워크인 **CASPER (Character's Portrayal Classifier)**를 소개한다.

1. 이론적 프레임워크

모호하고 주관적인 "평면적(flat)" 대 "입체적(round)" 캐릭터 이분법 대신, CASPER는 Hochman(1985)이 제안한 분류 체계를 활용한다. 이 프레임워크는 8개의 **범주 쌍(category-pairs)**을 통해 캐릭터를 평가하며, 각 기본 범주는 그 반대되는 개념과 대조된다:

• 양식화(Stylization) vs. 자연주의(Naturalism): 의도적인 이상화/인위성 대 생생한 사실성.
• 일관성(Coherence) vs. 비일관성(Incoherence): 일관된 행동/언어 대 모순/파편화.
• 전체성(Wholeness) vs. 파편성(Fragmentariness): 통합된 존재감과 완전한 성격 대 부분적인 측면과 공백.
• 구상성(Literalness) vs. 상징성(Symbolism): 이야기 세계 내의 개별 존재 대 추상적 아이디어/주제의 표상.
• 복잡성(Complexity) vs. 단순성(Simplicity): 다층적인 갈등 요소 대 하나의 또는 소수의 지배적 특성.
• 투명성(Transparency) vs. 불투명성(Opacity): 명확한 내면 세계(생각/동기) 대 숨겨지거나 모호한 내면 세계.
• 역동성(Dynamism) vs. 정적성(Staticism): 눈에 띄는 발전/변화 대 근본적인 불변성.
• 종결성(Closure) vs. 개방성(Openness): 명확한 결말이 있는 서사적 궤적 대 미결정된 운명/의미.

2. 데이터셋 구축

저자들은 고품질의 비교 가능한 코퍼스를 구축하였다:

• 인간 저술 이야기: r/shortstories에서 수집한 200개의 단편 소설로, AI 탐지기를 사용하여 LLM 생성물이 아님을 확인하였으며, 네 가지 장르(일상, 로맨스, SF/판타지, 서스펜스/스릴러)로 분류하였다.
• LLM 생성 이야기: 4가지 계열(GPT, Llama, Phi, Mistral) 및 다양한 크기(3B ~ 70B 파라미터)의 8가지 LLM을 통해 생성된 4,400개의 이야기.
• 비교 가능성: 공정한 비교를 위해, 저자들은 Llama-70B를 사용하여 인간의 이야기로부터 글쓰기 프롬프트를 생성하였고, 이를 다시 대상 LLM들에 입력하여 테마와 장르가 일치하는 이야기를 이끌어냈다.

3. 분류 파이프라인

• 주석 달기(Annotation): 그라운드 트루스(ground truth)를 설정하기 위해 문학 전문가들이 100개의 이야기(인간 50, LLM 50)를 수동으로 주석 처리하였다. 검토자 간 일치도(Cohen's $\kappa$)는 보통 수준(0.56)이었다.
• 자동 분류: 저자들은 Llama-70B와 GPT4o-mini를 사용하는 "LLM-as-a-judge" 접근 방식을 채택하였다. 이들은 다양한 프롬프트 전략(Zero-shot, 다양한 레이아웃을 가진 In-Context Learning, Likik 척도)을 체계적으로 테스트하여 각 범주에 대한 최적의 설정을 결정하였다.
• 최적의 관행(Best Practices): 연구 결과, 각 범주에 대해 별도의 추론 호출을 사용하는 이진 분류가 가장 좋은 결과를 낳는 것으로 나타났다. 특정 프롬프트 템플릿(예: 양식화를 위한 ICL-repeated, 역동성을 위한 Zero-shot)은 인간의 주석 대비 성능에 따라 선택되었다.

주요 결과

4,400개의 LLM 생성 이야기를 인간 저술 이야기와 비교 분석한 결과 다음과 같은 뚜렷한 패턴이 드러났다:

• 종결성과 안전성: LLM은 인간에 비해 캐릭터가 종결된(Closed) 서사 궤적(확실한 결말)을 가질 확률이 유의미하게 높았다. 인간 작가들은 종종 개방된(Open) 궤적을 남겨두는 반면, LLM은 매듭을 짓는 방식으로 "안전하게" 진행하는 경향이 있음을 시사한다.
• 양식화와 역동성: LLM 생성 캐릭터는 인간 캐릭터보다 통계적으로 더 양식화(Stylized)(전형적/원형적)되어 있고, 더 역동적(Dynamic)(눈에 띄는 성장)인 경향이 있다. LLM은 캐릭터가 원형에 부합하게 만들고, 도덕적 교훈을 전달하기 위해 감정적 변화를 겪도록 만드는 경향이 있다.
• 투명성과 일관성: 인간과 LLM 모두 압도적으로 **일관적(Coherent)**이고, **전체적(Whole)**이며, 투명한(Transparent) 캐릭터를 선호한다. 이는 미스터리나 혼란의 다양성이 부족함을 나타내며, 저자들은 이것이 주인공에 집중된 결과일 수 있다고 언급했다.
• 모델 크기: 더 큰 모델이 더 미묘한 캐릭터를 생성할 것이라는 예상과 달리, 모델 크기는 캐릭터 묘사에 유의미한 영향을 미치지 않았다. 작은 모델과 큰 모델은 양식화 정도에서만 미세한 차이를 보였을 뿐, 범주 전반에 걸쳐 거의 동일한 분포를 생성했다.
• 모델 계열 다양성: Phi 계열이 가장 다양한 캐릭터 분포를 생성한 반면, Llama 계열은 가장 낮은 다양성을 보였다. Mistral 모델은 더 양식화되고 덜 일관적인 캐릭터를 선호하는 경향을 보였다.
• 장르의 영향: 장르는 캐릭터 유형에 상당한 영향을 미친다. 예를 들어, 일상(Domestic) 이야기는 현실적이면서도 종종 상징적인 캐릭터를 특징으로 하는 반면, SF/판타지 이야기는 양식화와 상징성의 비율이 가장 높았다.
• 추론 가변성: 동일한 프롬프트를 여러 번 사용할 때, **구상성(Literalness)**과 **종결성(Closure)**이 가장 높은 가변성을 보였다. 이는 LLM이 캐릭터가 얼마나 구상적이거나 해결되어야 하는지에 대한 맥락적 단서를 일관되게 준수하는 데 어려움을 겪고 있음을 시사한다.

기여 및 의의

본 논문은 세 가지 주요 기여를 한다:

1. 프레임워크 적응: 저자들은 이론에 기반한 서사 방법론(Hochman의 분류 체계)을 자동화된 프레임워크(CASPER)로 성공적으로 변환하여, 향후 모델의 캐릭터 묘도 진화를 추적할 수 있는 도구를 제공하였다.
2. 큐레이션된 코퍼스: 장르와 테마 전반에 걸쳐 비교 가능성을 보장하는, 정교하게 큐레이션된 4,400개의 LLM 생성 이야기와 200개의 인간 저술 단편 소설 데이터셋을 공개한다.
3. 실증적 분석: 기본적인 속성을 넘어 예술적 틀 안에서 캐릭터가 어떻게 묘사되는지를 분석함으로써, 기초적인 특성을 넘어선 세밀하고 정교한 LLM과 인간 캐릭터의 비교를 제공한다.

의의:
저자들은 자신들의 연구가 더 큰 모델이 본질적으로 더 인간답거나 다양한 캐릭터를 생성한다는 가설에 도전한다고 주장한다. 대신, 현재의 LLM이 "안전한" 스토리텔링(종결), 원형적 캐릭터(양식화), 그리고 도덕적 성장(역동성)으로 향하는 특정 편향을 보인다는 점을 입증한다. 이러한 패턴을 식별함으로써, 본 논문은 창의적 영역에서 현재의 생성형 AI가 가진 한계와 스타일적 경향에 대한 더 깊은 이해를 제공하며, LLM이 서사 구조는 모방할 수 있지만 모호함과 인간 캐릭터의 완전한 복잡성이라는 스펙트럼을 수용할 수 있는 예술적 자유는 아직 부족함을 시사한다.