Frankentexts: AI 텍스트 생성 및 탐지 패러다임의 전환에 대한 기술적 요약

이 논문은 "Frankentexts" 라는 새로운 장편 서사 생성 패러다임을 제시하며, 대규모 언어 모델 (LLM) 을 '저자'가 아닌 기존 텍스트의 '작곡가 (composer)'로 재정의합니다. 이 연구는 AI 텍스트 탐지기 (AI detectors) 가 점점 더 정교해짐에 따라, 고품질이면서도 탐지를 회피할 수 있는 생성 텍스트가 가능한지 질문에서 시작합니다.

1. 문제 정의 (Problem)

• 배경: AI 생성 텍스트가 출판 플랫폼과 언론에 유입되면서, 이를 탐지하고 저자성을 규명하려는 노력이 강화되고 있습니다.
• 현재의 한계: 기존 탐지기는 주로 LLM 이 생성한 텍스트의 통계적 특징 (perplexity 등) 을 기반으로 합니다. 그러나 '적대적 인간화 (adversarial humanization)' 기법이나 다른 LLM 을 통한 수정으로 탐지를 우회하는 사례가 늘고 있습니다.
• 핵심 질문: "블랙박스 LLM 사용자가 노력 없이도 고품질의 서사를 생성하면서, 동시에 강건한 AI 탐지기를 속일 수 있는가?"
• 기존 접근법의 부족: 단순한 생성 (Vanilla generation) 은 공식적이고 예측 가능한 문체를 보이며, 검색 증강 생성 (RAG) 은 사실적 근거를 제공하지만 텍스트의 대부분을 직접 복사하지는 않습니다.

2. 방법론 (Methodology)

저자들은 Frankentexts라는 새로운 파이프라인을 제안합니다. 이는 LLM 이 인간이 쓴 텍스트 조각들을 선택, 순서화, 연결하여 새로운 이야기를 만드는 방식입니다.

2.1 핵심 프로세스

1. 입력 데이터:
   • 작업 프롬프트 (Writing Prompt): 생성할 이야기의 주제.
   • 휴먼 스니펫 (Human Snippets): Books3 데이터셋에서 무작위로 추출된 수천 개의 인간 작성 텍스트 조각 (단락).
   • 제약 조건: 최종 텍스트의 특정 비율 (예: 90%) 을 소스 텍스트에서 그대로 (verbatim) 복사해야 함.
2. 초안 생성 (Drafting):
   • LLM 은 제공된 스니펫과 프롬프트를 기반으로 초안을 작성합니다.
   • 모델은 스니펫을 선택하고 순서를 정하며, 문맥을 연결하기 위해 최소한의 연결어 (connective text) 만을 추가합니다.
   • 검색 공간이 조합적으로 매우 크기 때문에, LLM 은 휴리스틱하게 이 공간을 탐색하도록 유도됩니다.
3. 편집 및 다듬기 (Polishing):
   • 생성된 초안은 모순 (시간적, 시점, 캐릭터), 불필요한 내용, 문법 오류 등을 포함할 수 있습니다.
   • 동일한 LLM 을 사용하여 최소한의 편집 (minimal edits) 을 통해 일관성을 높입니다. 이 과정은 "수정 없음 (NO EDITS)"이 나올 때까지 최대 3 번 반복됩니다.
   • 이 단계에서 복사율 (copy rate) 이 목표치에 미치지 못하거나 AI 탐지기에 걸리면 재생성 또는 수정을 시도합니다.
4. 에이전트 기반 접근 (Optional):
   • Model Context Protocol (MCP) 을 통해 LLM 이 인간 텍스트 인덱스를 검색하고 가져올 수 있도록 하여, 무작위 샘플링 대신 프롬프트에 더 적합한 텍스트를 찾을 수 있게 합니다.

2.2 실험 설정

• 모델: Gemini-2.5-Pro, GPT-5, Claude-4-Sonnet, DeepSeek-R1, Qwen3-32B 등 최신 모델 사용.
• 데이터: 1,500 개 (기본), 5,000 개, 10,000 개의 인간 작성 스니펫 사용.
• 평가 지표:
  • 지시 준수: 단어 수, 복사율 (Copy %), 프롬프트 관련성 (Relevance).
  • 글쓰기 품질: 일관성 (Coherence), 다양성 (Distinct3), 유용성 (Utility3), 놀라움 (Surprise), LLM 판정자 점수.
  • 탐지 가능성: Pangram, Binoculars, FastDetectGPT 등 최신 탐지기를 통한 AI 생성 여부 판별률.

3. 주요 기여 (Key Contributions)

1. 새로운 생성 패러다임 제안: LLM 을 '작가'가 아닌 '편집자/작곡가'로 위치시켜, 인간 텍스트의 대부분을 재사용하는 Frankentexts 개념을 정립했습니다.
2. 탐지 우회 가능성 입증: 현재 가장 강력한 AI 탐지기 (Pangram) 가 Frankentexts 를 인간이 쓴 것으로 잘못 분류하는 비율이 매우 높음을 실험적으로 증명했습니다.
3. 고품질과 저탐지성의 동시 달성: 기존 LLM 생성물보다 다양성과 창의성이 높으면서도, 텍스트의 70% 이상을 인간 원본에서 가져와도 일관성을 유지할 수 있음을 보였습니다.
4. 혼합 저자성 탐지 (Mixed-Authorship Detection) 를 위한 테스트베드: Frankentexts 생성 파이프라인은 토큰 단위 (token-level) 로 '복사된 부분'과 '생성된 부분'을 레이블링하므로, 향후 혼합 저자성 탐지 모델 훈련을 위한 대규모 합성 데이터를 제공합니다.

4. 실험 결과 (Results)

4.1 글쓰기 품질 및 지시 준수

• 품질 향상: Frankentexts 는 베이스라인 (Vanilla LLM, RAG) 보다 다양성 (Distinctness) 과 유용성 (Utility) 에서 현저히 높은 점수를 기록했습니다.
  • 예: Gemini-2.5-Pro 의 경우, Vanilla 대비 Utility 점수가 6.41 에서 9.27 로 상승했습니다.
• 일관성: 90% 복사라는 극단적인 제약에도 불구하고, 70~80% 이상의 텍스트가 일관성 (Coherence) 있고 프롬프트와 관련성이 높았습니다.
• 인간 평가: 인간 평가자들은 Frankentexts 를 베이스라인보다 줄거리, 창의성, 언어 사용 측면에서 더 선호했습니다. 특히 예상치 못한 대화와 묘사, 유머 감각이 돋보였습니다.

4.2 탐지 회피 능력 (Detectability)

• Pangram 탐지 실패: 가장 강력한 설정 (Gemini-2.5-Pro + 5,000 개 스니펫) 에서 생성된 Frankentexts 의 72% 가 Pangram 에 의해 "인간이 작성함"으로 오인되었습니다.
• 복사율과 탐지율의 상관관계: 복사율이 높을수록 (인간 텍스트 비율 증가) AI 탐지기에 걸릴 확률이 감소하는 역상관 관계를 보였습니다.
• 모델별 차이: GPT-5 는 79% 의 Frankentexts 를 인간으로 분류받았으며, Claude-4-Sonnet 은 47% 를 인간으로 분류받았습니다.

4.3 한계점 및 문제점

• 톤의 급격한 변화: 서로 다른 저자의 텍스트를 연결하다 보니 문체나 톤이 급변하는 경우가 발생했습니다.
• 문법적 불일치: 문장 간 연결이 매끄럽지 않아 문법적 오류가 발견되기도 했습니다.
• 복사율 미달: 사용자가 90% 복사를 요구했음에도, 실제 복사율은 75~82% 수준으로 목표치에 미치지 못하는 경우가 많았습니다.

5. 의의 및 시사점 (Significance)

5.1 기술적 의의

• 이분법적 사고의 붕괴: "AI vs 인간"이라는 이분법적 탐지 접근법의 한계를 드러냈습니다. 텍스트가 AI 에 의해 생성되었는지 여부가 아니라, 어떤 원천 (Source) 에서 왔는지와 혼합 비율을 파악하는 정밀한 탐지 기술의 필요성을 강조합니다.
• 새로운 공격 벡터: 악의적인 행위자가 고비용 (수천 개의 스니펫과 LLM 호출 비용) 을 감수하더라도 고품질이고 탐지되지 않는 텍스트를 대량으로 생산할 수 있음을 보여주었습니다.

5.2 윤리적 및 사회적 영향

• 저작권 및 표절 문제: Frankentexts 는 인간 작가의 텍스트를 그대로 재사용하므로, 출판 목적의 사용은 명백한 표절에 해당할 수 있습니다. 이는 저작권법과 저자성 규범에 대한 새로운 도전을 제기합니다.
• 출판 경제의 위협: AI 를 이용해 인간 작가의 스타일과 문장을 조합하여 저품질이 아닌 고품질의 텍스트를 대량 생산할 수 있게 되면, 인간 작가들의 생계와 출판 시장의 신뢰도가 위협받을 수 있습니다.
• 대응 방안 제안:
  • 소스 매칭 (Source-matching): 원본 텍스트 코퍼스에 접근할 수 있다면, n-gram 검색을 통해 복사된 인간 텍스트와 AI 가 생성한 연결 부분을 식별하는 플러그인 탐지 방식이 필요합니다.
  • 세분화된 저자성 귀속: 문서 단위가 아닌 토큰/문장 단위로 저자성을 추적할 수 있는 모델 개발이 시급합니다.

결론

이 논문은 LLM 이 인간 텍스트를 '조립'하는 Frankentexts 를 통해, 기존 AI 탐지기가 고유의 한계에 직면해 있음을 증명했습니다. 이는 단순한 탐지 기술의 개선을 넘어, 혼합 저자성 (Mixed Authorship) 을 인식하고 관리할 수 있는 새로운 프레임워크와 윤리적 기준의 필요성을 촉구하고 있습니다.