Can Good Writing Be Generative? Expert-Level AI Writing Emerges through Fine-Tuning on High-Quality Books

기술 요약: 좋은 글쓰기는 생성 가능한가? 미세 조정을 통한 전문가 수준의 AI 글쓰기의 등장

문제 제lemnt (Problem Statement)
창의적 글쓰기는 전통적으로 독특한 목소리와 스타일로 정의되는 인간만의 고유한 영역으로 간주되어 왔다. 생성형 AI가 인컨텍스트 프롬프팅(in-context prompting)을 통해 수천 명의 저자 스타일을 모사할 수 있음을 보여주었지만, 선행 연구들은 이러한 결과물이 흔히 균질화, 상투적 표현(cliché), 그리고 "생동감 없는 로봇의 목소리(disembodied robovoice)" 문제를 겪는다고 지적해 왔다. AI가 단순히 스타일을 충실히 재현하는 것을 넘어, 작가의 전집(oeuvre)을 학습했을 때 인간의 글보다 질적으로 우월한 텍text를 생성할 수 있는지에 대한 이해에는 여로한 공백이 존재한다. 나아가, 전문가들이 자신도 모르게 인간의 작업물보다 AI가 생성한 글을 선호하게 될 때 발생하는 심리적, 직업적 영향에 대한 연구도 미비하다. 본 연구는 고품질 문학 도서를 바탕으로 한 거대언어모델(LLM)의 미세 조정(fine-tuning)이 AI와 전문가 수준의 인간 글쓰기 사이의 간극을 메울 수 있는지, 그리고 이러한 능력이 기존의 "좋은 글쓰기"에 대한 개념과 창의적 노동의 정의를 어떻게 도전하는지 조사한다.

연구 방법론 (Methodology)
저자들은 28명의 전문 작가(미국 상위권 대학의 MFA 후보생 및 졸업생)와 131명의 일반인 심사위원을 대상으로 3단계 행동 연구를 수행하였다.

1. 글쓰기 과업 (1단계):

   • 참가자: 28명의 전문 작가들은 50명의 비평적 찬사를 받는 작가들(다양한 문화적 배경과 뚜렷한 문학적 목소리를 가진 작가들로 선정)의 스타일과 목소리를 모사하는 과업을 부여받았다.
   • 조건: 작가들은 특정 프롬프트에 기반하여 200~450단어 분량의 발췌문을 작성하였다.
   • AI 조건: 세 가지 LLM(GPT-4o, Claude 3.5 Sonnet, Gemini 1.5 Pro)이 동일한 과업을 수행하였으며, 두 가지 조건이 적용되었다:
     • 인컨텍스트 프롬프팅 (In-Context Prompting): 모델들은 인간 작가들과 동일한 프롬프트와 샘플 발췌문을 제공받았다.
     • 미세 조정 (Fine-Tuning): 모델들(특히 GPT-4o)은 30명의 현존 작가들의 디지털 전집을 바탕으로 미세 조정되었다. 이는 도서를 문맥 독립적인 발췌문으로 분절하고, 내용 세부 사항을 추출하며, 지시어-역번역(instruction-backtranslation) 학습 쌍을 생성하는 과정을 포함했다.
   • 데이터 규모: 연구는 인컨텍스트 조건에서 150개의 인간-AI 쌍을, 미세 조정 조건에서 90개의 쌍을 생성하였다. 미세 조정에는 인컨텍스트 프롬프팅보다 약 583배 더 많은 토큰이 소요되었다.

2. 평가 과업 (2단계):

   • 심사위원: 28명의 전문 작가와 131명의 일반인 심사위원이 블라인드 평가자로 참여하였다.
   • 지표: 심사위원들은 '글쓰기 품질(Writing Quality)'에 대해 쌍체 비교(pairwise comparison)를 수행하였고, '스타일 충실도(Stylistic Fidelity)'에 대해서는 삼자 비교(Original, Human, AI)를 수행하였다.
   • 프로토콜: 평가자들은 출처(인간 vs AI)를 알지 못하는 상태에서 평가를 진행하여 편향을 방지하였다. 평가자들은 텍스트 조각에 근거한 2~5문장의 근거를 제시하며 선호도를 표명하였다.

3. 사후 디브리핑 (3단계):

   • 21명의 전문 작가가 평가 후 반구조화된 인터뷰에 참여하였다. 이들에게는 자신이 선호했던 발췌문의 출처가 공개되었으며, 자신의 판단, 직업적 정체성, 그리고 창의적 글쓰기에 대한 시사점에 대해 성찰하도록 요청되었다.

주요 결과 (Key Results)

• 미세 조정을 통한 선호도 역전:
  • 인컨텍스트 조건: 전문 심사위원들은 인간의 글을 강력하게 선호하였다(글쓰기 품질에서 82.7%, 스타일 충실도에서 72.0%). 일반인 심사위원들은 뚜렷한 선호도를 보이지 않았다(각각 44.0%와 52.7%).
  • 미세 조정 조건: 선호도가 역전되었다. 전문 심사위원과 일반인 심사위원 모두 AI가 생성한 글을 선호하였다. 전문가는 글쓰기 품질 사례의 62.2%, 스타일 충실도 사례의 81.1%에서 AI를 선호하였다. 전문 심사위원과 일반인 심사위원 간의 격차가 크게 좁혀졌는데, 이는 미세 조정이 AI 글쓰기를 훈련된 작가들에게도 구별 불가능하게 만든다는 것을 시사한다.
• 이질적인 추론 전략:
  • 일반인 심사위원: 표면적인 특성(흐름, 조직, 명료성)과 일반적인 정서적 충격에 집중하였다.
  • 전문 심사위원: 서사적 목소리, 캐릭터의 내면성, 문학적 장치(이미지, 구문론), 그리고 기술적 요소가 의미 전달에 어떻게 기여하는지에 대한 상세한 분석을 제공하였다.
• 작가들에게 미치는 심리적 영향:
  • 자신이 AI의 글을 선호했다는 사실이 밝혀지자 작가들은 "정체성 위기"와 "미적 자신감의 침식"을 경험하였다. 작가들은 "공포를 느낀다"거나 "겸허해진다"고 보고하며, 인간과 기계를 구별할 수 있는 자신의 능력에 의문을 제기하였다.
  • 작가들은 기준 재설정(Criteria Reframing) (좋은 글쓰기에 대한 정의를 재평가함), 과정 귀속(Process Attribution) (인간의 노력과 AI의 패턴 매칭을 구분함), 역량 재평가(Capability Reassessment) (AI의 고도화된 정교함을 인정함) 등의 과정을 거쳤다.
  • 많은 작가들이 글쓰기의 가치를 미적 결과물에서 창작의 과정과 인간의 의도로 전환하였다.

핵-기여 (Key Contributions)

1. 생성적 품질의 실증적 증거: 본 연구는 고품질의 저작권이 있는 도서를 미세 조정하는 것이 AI로 하여금 전문 심사위원이 인간의 모사를 선호하게 만드는 텍스트를 생성하게 함을 입증함으로써, AI 글쓰기가 본질적으로 스타일 면에서 열등하다는 가설에 도전하는 통제된 실험적 증거를 제공한다.
2. AI 선호의 심리적 메커니즘: 본 논문은 전문 작가들이 AI에 대한 선호도를 어떻게 수용하는지(예: 기준 재설정, 기대 위반)에 관한 구체적인 인지적, 정서적 메커니로를 식별하며, 이는 직업적 정체성과 미적 자신감의 위기를 강조한다.
3. 저작권 및 노동에 대한 시사점: 본 연구의 결과는 독특한 저자 스타일이 AI의 대체로부터 자연스럽게 보호받을 것이라는 가설에 반한다. 연구는 미세 조정이 "시장 희석(market dilution)"을 초래하여, AI 생성 모사물이 원작자와 직접 경쟁할 수 있음을 시사하며, 이는 공정 이용(fair use)과 창의적 노동의 미래에 대한 긴급한 질문을 던진다.
4. 방법론적 엄밀성: 본 연구는 블라인드 평가, 전문 및 일반 심사위원 활용, 그리고 프롬프팅과 미세 조정의 비교를 통해 표준적인 생성을 넘어 AI 역량에 대한 다각적인 관점을 제공하는 견고한 설계를 활용하였다.

의의 및 주장 (Significance and Claims)
저자들은 자신들의 연구가 AI의 창의적 한계에 관한 담론을 근본적으로 뒤흔든다고 주장한다. 그들은 창의적 글쓰기 프로그램에서 배양되는 "좋은 글쓰기"(일관성, 목소리, 구조)가 바로 LLM에게 가치 있는 학습 데이터가 되는 요소라고 주장한다. 모델이 이 데이터를 바탕으로 미세 조정될 때, 모델은 블라인드 테스트에서 인간의 성과를 능가하는 수준으로 이러한 자질들을 복제할 수 있다.

본 논문은 창의적 노동의 미래가 단순히 AI를 도구로 사용하는 문제가 아니라, 구별 불가능하거나 혹은 더 우수한 스타일적 결과물을 만들어낼 수 있는 '경쟁자'로서의 AI에 관한 문제라고 상정한다. 이는 다음과 같은 재평가를 요구한다:

• 교육 기관: 창의적 글쓰기 프로그램은 진정으로 독특하고 비알고리즘적인 스타일을 우선시하거나 AI 리터러시를 통합해야 할 수도 있다.
• 출판 및 법률: AI 공개 의무화, 스타일(또는 스타일의 경제적 가치)에 대한 더 강력한 저작권 보호, 그리고 AI 생성 콘텐츠의 상업화를 막기 위한 집단적 노동 행동이 필요하다.
• 글쓰기의 본질: 만약 결과물이 기계에 의해 생성될 수 있다면, 글쓰기의 가치는 텍스트 자체보다는 창작의 과정과 인간의 경험, 의도로 이동할 것이다.

저자들은 저작권법이 현재 스타일을 보호하지 않더라도, 미세 조정된 AI 모델의 기술적 현실은 독특한 목소리를 가진 작가들이 시장 대체로부터 자연스럽게 보호받지 못함을 시사한다고 결론짓는다. 본 연구는 숨겨진 AI 저자성을 규제하고 창의적 글쓰기 직업의 잠재적 침식을 해결하기 위한 사회적, 법적 대응을 촉구한다.