기술 요약: 문학 연구에서의 시뮬레이션 기반 실험을 위한 도구로서의 AI

1. 문제 제기

문학 연구와 역사는 통제된 실험실 스타일의 실험을 수행할 능력이 부족하다. 학자들은 이미 죽은 대상과 이미 발생한 사건들 때문에 역사적 사건을 재현하거나, 특정 인과 변수(예: 경제적 불안정성, 이주 패턴)를 격리하거나, 반사실적 조건(예: "제임스 조이스가 없었다면 모더니즘은 어떻게 발전했을까?")을 테스트할 수 없다. 기후 과학이나 역학 같은 다른 분야들이 직접 조작할 수 없는 현상을 모델링하기 위해 계산 시뮬레이션을 활용하는 것과 달리, 문학 연구는 이러한 탐구를 위한 원칙적이고 근거 있는 방법론이 부재했다.

해결하고자 하는 핵심 문제는 영향력, 맥락, 그리고 인과관계에 대한 주장을 검증할 엄격한 실험 도구가 없다는 점이다. 본 논문은 생성형 AI, 특히 거대 언语言 모델(LLM)이 인간 집단의 대리인인 '실리콘 샘플(silicon samples)' 역할을 수행하여 문화적 생산을 시뮬레이션할 수 있으며, 이를 통해 다른 변수는 고정한 채 특정 변수(장르, 시대, 저자 맥락)를 체계적으로 조작할 수 있다고 제안한다.

2. 방법론

본 연구는 AI가 생성한 허구(fiction)와 인간이 저술한 소설 코퍼스를 비교하는 대규모 경험적 설계를 채택한다. 방법론은 세 가지 주요 구성 요소로 이루어진다.

2.1 코퍼스 구축

• 인간 참조 코퍼스(Human Reference Corpus): CONLIT에서 추출한 2,754권(2001~2021년)의 문헌에서 유래하였다. 주요 비교 집단은 'PW'(Prize-Winning/Nominated)로 라벨링된 258권의 수상 및 후보작(부커상, 내셔널 북 어워드 등)을 포함한다. 추가적인 하위 집단으로는 공상과학(SF)과 미스터리(MY)가 포함된다.
• AI 생성 코퍼스: GPT-5(OpenAI batch API 사용)를 사용하여 총 3,800개의 챕터를 생성하였다.
  • 복합 프롬프트 (2,300개 텍스트): 시스템 프롬프트(전문 소설가 페르소나), 사용자 프롬프트(수상 경쟁력이 있는 첫 장 작성), 그리고 **합성 저자 전기(synthetic author biographies)**를 포함하는 다중 구성 구조를 활용하였다. 이 전기들은 실제 저자와 유사하게 보이도록(예: 이언 매큐언과 같은 페르소나) 출생지, 경력, 특정 문체 등을 갖추어 생성되었으며, 개별화된 문화적 맥락을 제공하였다. 일부 프롬프트에는 역사적 날짜 지시어(2005~2016)가 포함되었다.
  • 기본 프롬프트 (1,500개 텍스트): 다섯 가지 모델(GPT-5, GPT-5-mini, GPT-5-nano, GPT-4.1, GPT-3.5-turbo)을 대상으로 전기나 특정 제약 없이 최소한의 지시("... 소설의 첫 장을 써라")만을 사용하였다.

2.2 분석 프레임워크

• 임베딩 분석: 내용, 형식, 문체에 대한 프롬프트 유도 편향(prompt-steered bias)을 가진 Qwen3-Embedding-8B(8B 파라미터, 32k 토큰 윈도우)를 사용하여 텍스트를 임베딩하였다.
  • 인간의 책은 청크(chunk) 단위로 나누고(최대 32k 토큰), 길이 가중 평균을 통해 집계하였다.
  • AI 챕터(평균 약 13k 토큰)는 단일 청크로 취급하였다.
  • 유사성은 임베딩 공간에서의 **코사인 유사도(cosine similarity)**를 통해 측정하였다.
  • UMAP을 사용하여 2D 시각화를 수행하였으며, 인간 텍의 공간에 맞춰 AI 텍을 투영하였다.
• 어휘 분석: AI와 인간 텍 사이에서 통계적으로 과잉 대표되는 단어를 식별하기 위해 Fightin' Words 방식(Monroe et al., 2008)을 적용하였으며, 이때 비수상 소설을 베이지안 사전 확률(Bayesian prior)로 사용하였다.

3. 주요 결과

3.1 장르 구조 및 분포

• 장르 보존: AI 생성 텍스트는 인간 허구의 장르 구조를 보존한다. 수상 후보작(PW), SF, 미스터리 장르를 목표로 한 AI 텍은 다른 장르가 아닌, 해당 인간 대응물과 가장 높은 유사성을 보였다.
• 다양성 대 균질성: LLM이 매우 균질하다는 기존 문헌의 주장과 달리, 본 연구에서는 **복합 프롬프트로 생성된 AI 텍이 동일 장르 내의 인간 텍보다 더 다양하다(내부 유사성이 낮다)**는 것을 발견하였다.
  • 인간 PW 유사도: 0.635
  • 복합 프롬프트 AI PW 유사도: 0.580
  • 기본 프롬프트 AI PW 유사도: 0.682 (더 균질함).
• 프롬프트 엔지니어링의 영향: 합성 전기를 포함한 복합 프롬프트는 기본 프롬프트에 비해 출력물의 다양성을 크게 높였으며, 출력을 인간의 분포에 더 가깝게 이동시켰다. 기본 프롬프트는 밀집된 클러스터를 형성하며 뚜렷한 출력물을 생성하였다.

3.2 시간적 조건화(Temporal Conditioning)

• 무효 결과(Null Result): 모델에게 특정 연도(2005~2016)인 것처럼 쓰도록 프롬프트를 입력하는 것은 날짜가 없는 프롬프트와 비교했을 때 임베딩 공간에서 측정 가능한 차이를 생성하지 못했다.
• 시사점: 단순한 프롬프트 수준의 시간적 조건화는 역사적 시대에 대한 모델의 생성 행동을 변화시키기에 불충분하며, 이는 역사적 충실도를 위해 시대별 사전 학습(pretraining)이 필요하다는 결과와 일치한다.

.3 어휘적 차이

• 인간 텍: 3인칭 대명사, 과거 시제 표지, 구어체 등을 특징으로 하며, 이는 체화된(embodied) 과거 시제 서사를 나타낸다.
• AI 텍: 현재 시제 표지, 부정어(가장 특징적인 AI 단어), 메타픽션 용어(예: "썼다", "문장"), 그리고 1인칭 복수("우리")의 사용이 더 높았다.
• 규모: 감지는 가능했으나, 뚜ich렷한 그룹(예: 정치 연설)과 비교했을 때 어휘적 차이는 완만했으며, 이는 AI 텍이 분포 내(in-distribution)에 있으면서도 레지스터(register) 면에서 구별 가능하다는 것을 시사한다.

4. 주요 기여

1. 방법론적 프레임-워크: LLM을 창의적 산물이 아닌 '시뮬레이션된 문학적 출력'으로 취급하여, 시뮬레이션 기반 문학 실험을 위한 프레임워크를 제안한다.
2. 분포 내 출력의 첫 입증: AI 모델이 완전히 분포 외(out-of-distribution)의 것이 아니라, 인간이 저술한 문학(고위 상위 장르 포함)의 분포 범위 내에 있는 합성 샘플을 생성할 수 있다는 첫 번째 증거를 제공한다.
3. 합성 전기의 역할: 개별화된 저자 맥락(합성 전기를 통한)이 LLM 출력의 균질성을 줄이고 시뮬레이션 충실도를 높이는 데 결정적인 요소임을 입증한다.
4. 프롬프팅의 한계: 단순한 프롬프트 수준의 시간적 조건화가 시대에 부합하는 출력을 생성하는 데 실패함을 밝혀, 모델 편집(model editing), 언러닝(unlearning), 또는 시대별 사전 학습과 같은 더 깊은 개입의 필요성을 강조한다.

5. 의의 및 주장

본 논문은 AI 기반 시뮬레이션이 문학 연구를 위해 직접적인 실험을 대체할 수 있는 "원칙적인 대안"을 제공하며, 이를 통해 역사적 발전에 대해 인과적으로 추론할 수 있다고 주장한다.

• 현재 상태: 이 방법은 현재 "부분적이지만 유익하게" 성공적이다. 구조적 특징(장르 조직, 저자의 개별화 효과)은 포착하지만, 다른 특징(서사 레지스터, 시간적 특수성)은 놓치고 있다.
• 실현 가능성: 저자들은 동시대 문학-사회적 과정에 대한 완전한 반사실적 시뮬레이션이 "실현 가능성의 경계에 있다"고 주장하며, 역사적 시뮬레이션을 위해서는 모델 편집, 시대별 사전 학습과 같은 기술적 진보가 필요하다고 본다.
• 향-후 전망: 본 논문은 이러한 발견을 근본적인 불가능성의 증거가 아니라 출발점으로 규정한다. 저자들은 문학 학자들이 이 "불완전하지만 개선 가능한" 도구를 사용하여 반사실적 질문을 다루도록 권고하며, NLP 연구자들이 모델 편집, 문화적 조건화, 생성의 다양성을 발전시키도록 촉구한다.

본 연구는 시뮬레이션이 아직 타겟 시스템의 완벽한 복제본은 아니지만, 지역적 패턴을 포착하기 전의 대규모 순환을 잡아내는 초기 단계의 기후 모델과 유사하게, 특정 차원에서 유용한 추론을 지원하기에 "충분히 훌륭하다(good enough)"고 결론짓는다.