Beyond speculation: Measuring the growing presence of LLM-generated texts in multilingual disinformation

기술 요약: 추측을 넘어: 다국어 허위 정보 내 LLM 생성 텍스트의 증가하는 존재감 측정

문제 제기
대규모 언어 모델(LLM)의 급격한 발전과 사용자 친화적인 인터페이스(예: ChatGPT)를 통한 접근성 증대는 허위 정보 생성을 위한 LLM 오용에 대한 우려를 심화시켰다. LLM이 허위 콘텐츠를 생성할 수 있는 능력이 있다는 점은 연구를 통해 확인되었으나, 실제 현실 세계의 허위 정보 캠페인에서 이들이 얼마나 배치되었는지에 대한 정확한 규모는 여전히 미지의 영역으로 남아 있다. 학계의 의견은 갈려 있다: 일부는 자연적인 생태계의 한계로 인해 이러한 공포가 과장되었다고 주장하는 반면, 다른 이들은 특정 "롱테일(longtail)" 맥락이 간과된 위험에 직면해 있다고 주장한다. 현재, 다양한 언어, 플랫폼 및 기간에 걸친 기존의 실제 허위 정보 데이터셋 내에서 기계 생성 텍스트의 유병률을 정량화하는 경험적 증거가 부족한 실정이다.

방법론
이러한 격차를 해소하기 위해 저자들은 두 가지 구별된 그룹의 데이터셋을 사용하여 종합적인 경험적 분석을 수행하였다:

1. 벤치마크 데이터셋: 인간이 작성한 텍스트와 기계가 생성한 텍스트의 정답(ground truth)을 포함하는 다국어 라벨링 데이터셋(예: MULTITuDE, MultiSocial, SemEval, GenAI, MIX). 이는 분포 외(out-of-distribution) 데이터에 대한 탐지 방법의 견고성과 성능을 평가하는 데 사용되었다.
2. 실제 허위 정보 데이터셋: 허위 정보, 오보 또는 선전(propaganda)을 포함하고 있다고 추정되는 네 가지 데이터셋:
   • MultiClaim: 전문적으로 팩트 체크된 다국어 소셜 미디어 게시물 (2024년 3월까지).
   • FakeNews: 미국 선거와 관련된 영어 뉴스 기사 (2023년 4월~10월).
   • USC_X: 샘플링된 다국어 미국 대선 관련 Twitter/X 데이터셋 (2024년 5월~11월).
   • FIGNEWS: 이스라엘-가자 전쟁 관련 다국어 Facebook 게시물 (2023년 10월~2024년 1월).

탐지 프레워크:
본 연구는 효율적인 미세 조정을 위해 QLoRA를 활용하여 Gemma-2-9b-it 모델을 기반으로 미세 조정된 두 개의 탐지기를 사용하였다:

• Gemma_GenAI: GenAI 데이터셋의 학습 분할(train split)에 대해 미세 조정됨.
• Gemma_MultiDomain: MULTITuDE와 MultiSocial의 결합된 학습 분할에 대해 미세 조정됨.

견고성을 보장하기 위해 저자들은 결합된 확신 탐지(combined confident detection) 전략을 사용하였다. 한 탐지기가 양성 클래스를 100% 확신(확률 1.0)으로 예측하고, 다른 탐지기가 음성 클래스를 100% 확신(확률 > 0.0)으로 예측하지 않을 경우 해당 텍스트를 기계 생성으로 분류한다. 특정 언어에서의 거짓 양성(false positive)을 완화하기 위해, 벤치마크 데이터에서 거짓 양성률이 0.1을 초과하는 아랍어, 독일어, 이탈리아어, 러시아어의 경우 Gemma_GenAI 탐지기의 양성 예측을 제외하였다.

유병률 추정을 위해 저자들은 엄격한 분류 임계값에 의존하지 않고 추세를 관찰하기 위해 평균 점수(Mean Score)(텍스트가 기계 생성일 확률의 평균)도 추적하였다.

주요 결과
본 연구는 실제 허위 정보 맥락 내 LLM 생성 콘텐츠에 대한 첫 번째 경험적 증거를 제공하며, 다음과 같은 사실을 밝혀냈다:

• 시간적 진화: ChatGPT의 공개(2022년 11월) 이후 기계 생성 콘텐츠에서 명확한 상승 추세가 나타났다. MultiClaim 데이터셋에서 기계 생성으로 탐지된 텍스트의 비율은 **2021년 0.93%**에서 **2023년 1.85%**로 증가했다(상대적 99% 증가). 2024년에는 유병률이 **2.15%**에 도달했다. 탐지기의 평균 점수 또한 2021년과 2023년 사이에 크게 증가했다.
• 언어적 격차: 유병률은 언어별로 균등하지 않다. 영어와 스페인어가 탐지된 텍스트의 절대 수치는 가장 높았으나, 상대적 비율은 **폴란드어(4.7%)**와 **프랑스어(4.2%)**가 MultiClaim 데이터셋에서 가장 높은 기계 생성 콘텐츠 비율을 보였다. FIGNEWS 데이터셋에서 프랑스어 텍스트는 영어(~4.7%)에 비해 10% 이상의 LLM 생성을 나타냈다.
• 플랫폼 변동: 소셜 미디어 플랫폼 간의 차이가 관찰되었는데, 인스타그램이 1.5%로 가장 높았고, 페이스북(1.29%), 트위터/X(0.64%)가 그 뒤를 이었다.
• 데이터셋별 결과:
  • FakeNews: "실제(real)"로 라벨링된 텍스트의 2.61%와 "가짜(fake)"로 라벨링된 텍스트의 3.27%가 기계 생성된 것으로 식별되었다.
  • FIGNEWS: 3.16%의 텍스트가 기계 생성된 것으로 탐지되었으며, "이스라엘에 편향된(Biased against Israel)" 것으로 라벨링된 텍스트(5.11%)가 "팔레스타인에 편향된(Biased against Palestine)" 텍스트(3.13%)보다 높은 유병률을 보였다.
  • USC_X (2024 대선): 유병률은 2024년 1월 0.44%에서 미국 대선 시기와 맞물려 **2024년 11월 2.39%**로 증가했다.
• 탐지 성능: 벤치마크 데이터셋에서 결합된 탐지 방법은 높은 정밀도(93.58%에서 99.85% 사이)를 달성하여, 식별된 양성 샘플이 실제로 기계 생성되었을 가능성이 매우 높음을 보장했다.

의의 및 기여
본 논문은 해당 분야에 세 가지 주요 기여를 한다고 주장한다:

1. 경험적 검증: LLM의 존재를 단순한 추측을 넘어 종합적인 평가를 통해 입증함으로써, 기계 생성 콘텐츠가 이미 측정 가능한 현실(2024년 기준 약 2.15%에 도달)임을 확인하였다.
2. 패턴 인식: LLM 오용이 균일하게 발생하는 것이 아니라 특정 언어(예: 폴란드어, 프랑스어) 및 플랫폼을 따라 표적화된 패턴을 따른다는 것을 밝혀냈으며, 이는 "롱테일" 맥락이 실제로 취약하며 특별한 주의가 필요함을 시사한다.
3. 방법론적 프레임워크: 저자들은 미세 조정된 탐지기와 확신 기반 집계(confidence-based aggregation)를 사용하여 분포 외 데이터의 유병률을 측정하는 견고한 분석 프레임워크를 구축하였으며, 이는 향후 모니터링을 위한 재현 가능한 접근 방식을 제공한다.

결론
저자들은 LLM이 아직 정당한 사용량을 크게 상회하는 규모로 허위 정보에 사용되지는 않지만, 오용에 대한 공포는 정당하다고 결론짓는다. 팩트 체크된 주장과 선거 관련 담론에서 나타난 기계 생성 콘텐츠의 기록적인 증가는 정보의 무결성을 보존하기 위해 지속적인 조사, 개선된 탐지 방법 및 신뢰도 평가 시스템이 시급히 필요함을 강조한다. 연구 결과는 AI 기반 허위 정보에 효과적으로 대응하기 위해 특정 언어 및 플랫폼과 같이 유병률이 높은 맥락에 대한 선제적 모니터링에 집중해야 함을 시사한다.