From Perceptions To Evidence: Detecting AI-Generated Content In Turkish News Media With A Fine-Tuned Bert Classifier

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 2022 년 ChatGPT 출시 이후 대규모 언어 모델 (LLM) 이 뉴스 편집실 워크플로우에 급격히 통합되면서, 온라인 미디어 내 AI 생성 콘텐츠의 유무와 그 비율에 대한 우려가 커지고 있습니다.
• 현황: 영어권 미디어를 대상으로 한 대규모 계산적 연구는 존재하지만, 터키어 뉴스 미디어에 대한 실증적 연구는 전무합니다. 기존 터키어 연구는 주로 언론인 인터뷰에 의존한 정성적 조사나 '가짜 뉴스 (Fake News)' 탐지에 국한되어 있었습니다.
• 문제점:
  1. 터키어는 교착어 (Agglutinative language) 로 풍부한 형태소적 특징을 가지므로, 영어 기반의 AI 탐지 모델을 직접 적용하기 어렵습니다.
  2. 터키 미디어는 정치적 양극화가 심화되어 있어 서구권과 다른 편향 패턴을 보일 수 있습니다.
  3. AI 가 생성하거나 수정한 콘텐츠의 실제 존재 비율을 정량적으로 측정할 수 있는 데이터와 방법이 부족합니다.

2. 방법론 (Methodology)

가. 데이터 구축 (Dataset Construction)

• 샘플링: 터키의 주요 온라인 신문 3 개 (중도, 친정부, 친야당 성향) 에서 2021 년에 게재된 3,600 개의 기사를 수집했습니다.
  • 2021 년 선정 이유: 당시에는 LLM 이 뉴스 작성에 사용되지 않았다고 가정하여, 이를 '인간 작성 (Human-written)' 레이블의 기준 데이터로 활용했습니다.
• AI 데이터 생성: ChatGPT 를 사용하여 수집된 인간 작성 기사를 '재작성 (Rewrite)' 또는 '수정 (Revise)'했습니다.
  • 프롬프트 전략: 기사의 의미, 사실, 날짜, 이름은 변경하지 않으면서, 각 신문의 편집 스타일 (어조, 문체, 형식성) 에 맞춰 텍스트를 다듬도록 지시했습니다.
  • 품질 검증: 원본과 AI 생성본 간의 단어 수 분포가 유사하고, 코사인 유사도 (Cosine Similarity) 가 평균 0.9 로 매우 높아 구별이 어려운 고품질 데이터셋을 구성했습니다.
• 데이터 분할: 80% 훈련 (2,880 개), 10% 검증 (360 개), 10% 테스트 (360 개) 로 균등하게 분할하여 이진 분류 (Human vs. AI) 를 수행했습니다.

나. 모델 아키텍처 및 학습 (Model & Training)

• 모델: 터키어 특화 BERT 모델인 dbmdz/bert-base-turkish-cased 를 사용했습니다. 이 모델은 바바리아 주립도서관 (MDZ) 과 TUM 이 개발했으며, 35GB 규모의 터키어 코퍼스로 사전 학습되었습니다.
• 파인튜닝 (Fine-tuning):
  • 입력: [CLS] 토큰의 임베딩을 기반으로 단일 선형 분류 레이어를 추가하여 이진 분류를 수행합니다.
  • 하이퍼파라미터: AdamW 옵티마이저, 학습률 $2 \times 10^{-5}$, 시퀀스 길이 512 토큰, 드롭아웃 0.2, 라벨 스무딩 (Label Smoothing) 0.1 적용.
  • 정규화: 과적합 방지를 위해 드롭아웃, 라벨 스무딩, 조기 종료 (Early Stopping, patience=2) 를 병행했습니다.
  • 환경: Google Colab (NVIDIA Tesla T4), PyTorch, Hugging Face Transformers 라이브러리 사용.

3. 주요 기여 (Key Contributions)

1. 최초의 터키어 AI 생성 콘텐츠 탐지 데이터셋: 3,600 개의 레이블이 지정된 터키 뉴스 기사를 구축하여, 터키 NLP 및 계산 저널리즘 연구의 기초 자원을 제공했습니다.
2. 최초의 딥러닝 베이스라인: 터키어 뉴스에서 AI 재작성/수정 콘텐츠를 탐지하는 데 있어 파인튜닝된 BERT 모델의 성능을 입증했습니다.
3. 실증적 측정 (Empirical Measurement): 2023~2026 년 기간 동안 3,500 개 이상의 미확인 (Unseen) 기사를 대상으로 모델을 적용하여, 터키 미디어 내 AI 사용의 실제 패턴을 계산적으로 규명했습니다. 이는 단순한 인식 (Perception) 을 넘어 데이터 기반 증거 (Evidence) 를 제시한 첫 사례입니다.
4. 재현 가능한 파이프라인: 데이터 수집, 전처리, 모델 학습, 평가까지의 전체 프로세스를 공개하여 저자원 언어 (Low-resource languages) 연구에 기여했습니다.

4. 실험 결과 (Results)

가. 모델 성능 (Test Set Performance)

• F1 점수: 홀드아웃 테스트 세트에서 97.08% 의 F1 점수를 달성했습니다.
• 정밀도 (Precision) 및 재현율 (Recall): 두 클래스 (인간 작성, AI 작성) 모두에서 정밀도와 재현율이 균형 있게 높게 나타났습니다 (Precision: 0.9938, Recall: 0.9878). 이는 모델이 특정 클래스에 편향되지 않았음을 의미합니다.
• 학습 곡선: 6 에포크 동안 훈련 손실이 0.8597 에서 0.422 로 감소했으며, 검증 손실은 4 에포크에서 최소값을 기록한 후 안정화되었습니다.

나. 외부 검증 및 실제 적용 (External Validation)

• 대상: 2023 년부터 2026 년까지의 3 개 신문사의 3,500 개 이상의 기사에 모델을 적용했습니다.
• 예측 결과:
  • 전체 기사의 약 97.5% 가 인간 작성으로 분류되었습니다.
  • AI 재작성/수정 비율: 평균적으로 약 2.5% 의 뉴스 기사가 LLM 에 의해 재작성되거나 수정된 것으로 추정됩니다.
  • 신뢰도 (Confidence): 모델의 예측 신뢰도는 평균 96% 이상으로 매우 높았습니다.
• 패턴 분석:
  • 연도별: ChatGPT 출시 직후인 2023 년에 사용률이 가장 높았으나, 이후 감소하다가 2026 년 초 다시 2023 년 수준으로 상승하는 추세를 보였습니다.
  • 매체별: 친야당 매체가 인간 작성 비율이 가장 높았고, 친정부 매체가 가장 낮았습니다. 그러나 전체적인 추이는 매체 간 일관성을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 학술적 의의: 터키어 미디어 환경에서 AI 생성 콘텐츠의 존재를 정성적 추측이 아닌 계산적 증거로 규명한 최초의 연구입니다. 터키어 NLP 와 미디어 연구의 교차점에서 중요한 기초를 마련했습니다.
• 사회적 함의:
  • AI 가 생성한 콘텐츠가 투명성 없이 뉴스에 유입될 경우 대중의 신뢰가 훼손될 수 있음을 경고합니다.
  • 연구 결과에 따르면, AI 가 관여하여 작성되거나 수정된 기사는 명확한 라벨링 (Disclosing AI involvement) 을 통해 독자의 알 권리를 보호해야 합니다.
• 한계 및 향후 과제:
  • 현재 3 개 신문만 대상으로 했으므로 터키 미디어 전체를 대표하기에는 제한적일 수 있음.
  • BERT 의 512 토큰 제한으로 인해 긴 기사 내용은 잘릴 수 있음 (Longformer 등 확장 필요).
  • 외부 검증 데이터에 대한 실제 정답 (Ground Truth) 이 부재하여 모델의 일반화 능력을 완벽히 검증하기는 어려움.
  • 향후 이진 분류를 넘어 다중 클래스 (편향의 종류 등) 로 확장하고, 다양한 뉴스 카테고리 (스포츠, 건강 등) 에 대한 연구를 수행할 필요가 있음.

이 논문은 터키어 미디어 생태계 내 AI 활용의 실상을 파악하고, 향후 투명한 저널리즘을 위한 기술적·정책적 토대를 마련했다는 점에서 중요한 의미를 가집니다.