The Last Fingerprint: How Markdown Training Shapes LLM Prose

논문 개요

이 논문은 대규모 언어 모델 (LLM) 이 생성하는 텍스트에서 흔히 관찰되는 'em dash(—)'의 과도한 사용과, LLM 이 마크다운 (Markdown) 형식을 선호하는 현상 사이의 인과 관계를 규명합니다. 저자는 em dash 가 단순한 문체적 결함이 아니라, 마크다운이 주류인 훈련 데이터에서 유래한 구조적 사고방식이 자연어 산문으로 압축될 때 남는 '최소 생존 단위'라고 주장합니다.

1. 문제 제기 (Problem)

• 이중적 담론의 단절:
  • 담론 A (문체적 관점): 작가 및 일반 사용자 커뮤니티는 LLM 이 em dash 를 과도하게 사용하여 AI 생성 텍스트의 '지문 (tell)'으로 인식합니다. 하지만 그 기계적 원인은 규명되지 않았습니다.
  • 담론 B (기술적 관점): 개발자 및 연구 커뮤니티는 LLM 이 요청되지 않아도 마크다운 (제목, 불릿, 볼드 등) 을 기본 출력 형식으로 사용한다고 지적합니다. 이는 훈련 데이터의 마크다운 비중 때문이라고 보지만, 문장 수준의 구두점 패턴 (em dash 등) 과는 연결하지 못했습니다.
• 연구의 필요성: 이 두 가지 현상은 동일한 '구조적 성향 (structural orientation)'의 다른 표현임에도 불구하고 분리되어 논의되어 왔습니다. 본 논문은 이 간극을 메우고 em dash 사용이 훈련 데이터의 구조적 내면화와 RLHF(인간 피드백을 통한 강화 학습) 의 증폭 작용에 의해 발생함을 설명합니다.

2. 핵심 기여 및 이론적 프레임워크 (Key Contributions & Theory)

저자는 em dash 생성에 대한 **5 단계 계보 (Genealogy)**를 제시합니다.

1. 훈련 데이터 포화 (Training Data Saturation): GitHub, Stack Overflow 등 고품질 텍스트의 대부분이 마크다운으로 작성되어 있어, 모델은 마크다운을 단순 형식이 아닌 '구조의 문법'으로 학습합니다.
2. 구조적 내면화 (Structural Internalization): 모델은 마크다운에서 대시 (dash) 가 의미 단위의 경계 (구조적 접합부) 를 나타낸다는 것을 학습합니다.
3. 이중 레지스터 (Dual-Register Status): em dash 는 마크다운의 구조적 기호이면서 동시에 자연어 산문에서 유효한 구두점입니다.
4. RLHF 증폭 (Post-training Amplification): RLHF 과정에서 인간 평가자들은 구조적이고 명확한 텍스트를 선호합니다. em dash 가 풍부한 텍스트가 '정교하고 구조화됨'으로 인식되면, RLHF 는 이 경향을 증폭시킵니다.
5. 상호 보완성 (Complementarity): 훈련 데이터가 '잠재적 성향'을 심어주고, RLHF 가 이를 '증폭 또는 억제'하는 역할을 합니다.

주요 개념: "마지막 지문 (The Last Fingerprint)"

• 모델에게 "마크다운 없이 산문으로 작성하라"는 지시를 내리면, 제목, 불릿, 볼드 등은 제거되지만 em dash 는 남습니다.
• 이는 em dash 가 이미 '산문 (문장)'의 범주에 속하기 때문에, '형식 (formatting) 제거' 명령을 우회하기 때문입니다. 즉, em dash 는 마크다운 사고방식이 산문으로 압축될 때 남는 가장 작은 생존 단위입니다.

3. 연구 방법론 (Methodology)

저자는 5 개 제공업체 (Anthropic, OpenAI, Meta, Google, DeepSeek) 의 12 개 지시형 모델을 대상으로 3 가지 실험을 수행했습니다. 총 약 24 만 단어의 생성 텍스트를 분석했습니다.

• 실험 1: 2 조건 억제 실험 (Suppression Experiment)
  • 조건: (1) 제약 없음, (2) "마크다운 형식 (제목, 불릿, 볼드 등) 금지" 지시 추가.
  • 목적: em dash 가 마크다운 억제 명령 하에서도 남는지 확인.
• 실험 2: 3 조건 억제 그라데이션 (Suppression Gradient)
  • 조건: (A) 제약 없음, (B) 마크다운 금지, (C) 마크다운 금지 + "em dash 금지" 명시적 지시.
  • 목적: em dash 가 구조적 충동인지, 단순 지시 불이행인지 확인.
• 실험 3: 베이스 vs 지시형 모델 비교 (Base vs. Instruct)
  • 대상: Meta 의 Llama 3.1 8B (베이스 모델 vs RLHF 적용 후 지시형 모델).
  • 목적: 훈련 데이터의 잠재적 성향과 RLHF 의 증폭/억제 효과를 분리.
• 기준선: 8 편의 인간 저술 에세이 (약 5.7 만 단어) 를 분석하여 인간 em dash 사용 빈도 (평균 3.23/1,000 단어) 를 측정.

4. 주요 결과 (Key Results)

• 마크다운 형식의 보편적 제거: 모든 모델에서 제목, 불릿, 볼드 등 명시적인 마크다운 요소는 '산문 금지' 지시에 따라 거의 0 으로 제거되었습니다.
• em dash 의 차별적 지속성 (Provider Variation):
  • OpenAI (GPT-4.1): 마크다운이 제거되어도 em dash 가 1,000 단어당 9.10 개로 매우 높게 유지됨 (억제율 14% 만 감소).
  • DeepSeek V3: 6.95 → 5.41 로 감소했으나 여전히 높음.
  • Anthropic (Claude): 9.09 → 0.19 로 거의 완전히 억제됨.
  • Google (Gemini 2.5 Pro): 3.53 → 0.00 으로 완전 제거.
  • Meta (Llama): 베이스 모델과 지시형 모델 모두 em dash 사용이 0 개.
• 명시적 금지의 한계 (Study 2): "em dash 를 사용하지 마라"는 명시적 지시를 추가해도 GPT-4.1 은 여전히 3.86 개/1,000 단어를 생성했습니다. 이는 구조적 충동이 명시적 지시를 우회함을 보여줍니다.
• RLHF 의 결정적 역할 (Study 3):
  • Llama 베이스 모델은 em dash(0.49/1K) 와 마크다운 요소를 사용했으나, RLHF 적용 후 지시형 모델은 em dash 가 0 이 되었습니다.
  • 이는 훈련 데이터가 '잠재적 성향'을 심어주지만, RLHF 프로세스가 이를 증폭 (OpenAI) 하거나 억제 (Meta) 하는지 결정함을 의미합니다.
• 세대 간 변화: OpenAI 의 최신 모델 (GPT-5.4) 은 이전 모델 (GPT-4.1) 에 비해 em dash 사용이 급격히 감소하여, 이 현상이 인식되고 조정되고 있음을 시사합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 새로운 진단 도구: em dash 사용 빈도는 AI 생성 텍스트의 단순한 '지문'을 넘어, **모델의 미세 조정 (Fine-tuning) 방법론의 서명 (Signature)**이 됩니다. 각 제공업체마다 RLHF 전략이 다르므로 em dash 억제 패턴이 고유하게 나타납니다.
• 검출 및 추적: 기존 통계적 검출기 (DetectGPT 등) 와 달리, 구조적 레지스터 마커 (em dash) 분석은 모델의 제공업체를 식별하거나 (Model Attribution), AI 텍스트의 기원을 추적하는 데 활용될 수 있습니다.
• 이론적 통합: "AI 가 마크다운으로 생각한다"는 기술적 관찰과 "AI 가 em dash 를 남용한다"는 문체적 관찰을 하나의 메커니즘 (훈련 데이터의 구조적 내면화 + RLHF 증폭) 으로 통합했습니다.
• 실무적 시사점: em dash 과 같은 특정 구두점 패턴은 모델의 훈련 데이터 구성과 RLHF 의 상호작용을 반영하므로, 모델의 성향을 파악하거나 원치 않는 스타일을 제거하기 위한 프롬프트 엔지니어링 및 미세 조정 전략 수립에 중요한 단서가 됩니다.

이 논문은 LLM 의 산문 생성이 단순한 언어 확률의 문제가 아니라, 훈련 데이터의 구조적 유산과 후속 학습 과정의 정치적/기술적 선택이 복합적으로 작용한 결과임을 입증했습니다.