Robust Fake News Detection using Large Language Models under Adversarial Sentiment Attacks

기술 요약: 대규모 언어 모델(LLM)을 이용한 적대적 감정 공격 하에서의 강건한 가짜 뉴스 탐지

문제 정의
오정보와 가짜 뉴스는 심각한 사회적 과제를 제기하며, 신뢰할 수 있는 자동 탐지 방법을 필요로 한다. 기존 연구들은 감정(sentiment)이 진짜 뉴스와 가짜 뉴스를 구별하는 중요한 신호임을 입증해 왔으나, 이러한 의존성은 취약성을 야기한다. 공격자는 탐지를 피하기 위해 텍계의 정서적 톤을 조작할 수 있으며, 이는 사실 관계를 유지하면서도 통제된 감정으로 콘텐츠를 재작성할 수 있는 LLM의 등장으로 인해 위험이 가중되었다. 일부 연구들이 가짜 뉴스 탐지기에 대한 적대적 공격을 탐구해 왔으나, 주로 문체적 특징(예: 글쓰기 스타일)에 집중해 왔으며 감정에 대해서는 다루지 않았다. 결과적으로, LLM 생성 감정 조작에 대한 가짜 뉴스 탐지기의 구체적인 취약성은 여전히 미개척 영역으로 남아 있다.

방법론
본 논문은 원본 및 감정이 변경된 뉴스 기사 모두에 대해 일관된 진위 예측을 유지하도록 설계된 감정 강건 탐지 프레임워크인 AdSent를 제안한다. 이 프레임워크는 두 가지 주요 구성 요소로 이루어져 있다:

1. 감정 타겟형 적대적 벤치마킹:

   • 저자들은 LLM을 "위조업자(counterfeiters)"로 활용하여 통제된 적대적 공격을 생성한다.
   • 각 뉴스 문서에 대해, LLM은 사실적 내용과 일관성을 엄격히 유지하면서 긍정적, 부정적 또는 중립적 감정을 전달하도록 텍스트를 재작성한다.
   • 이 과정은 탐지기를 블랙박스 분류기로 취급하여, 감정 변화에 대한 최첨단 탐지기들의 강건성을 평가하기 위한 벤치마크를 구축한다.

2. 감정 불가지론적(Sentiment-Agnostic) 학습 전략:

   • 감정적 단서로 인한 편향을 완화하기 위해, 저자들은 훈련 데이터를 감정이 중립화된 변형본으로 미세 조정하는 학습 전략을 제 제안한다.
   • LLM(특히 LLaMA-3.1-8B-Instruct)을 사용하여 훈련 기사들을 중립적인 어조로 재작성한다.
   • 이후 탐지 모델은 이 중립화된 버전들로 학습되며, 이를 통해 모델이 진위를 판단할 때 감정적 톤이 아닌 사실적 내용에 의존하도록 강제한다.
   • 추론 단계에서는 입력된 기사가 위조업자에 의해 먼저 중립화된 후 탐지기로 전달된다.

주요 기여

1. 적대적 벤치마킹: 저자들은 LLM을 사용한 통제된 감정 기반 공격 세트를 도입한다. 이들은 현재의 최첨단 탐지기들이 감정 조작에 직면했을 때 상당한 성능 저하를 겪는다는 것을 입증한다.
2. 모델 편향의 발견: 본 연구는 기존 모델들의 결정적인 편향을 밝혀낸다. 즉, 모델들은 중립적인 톤의 기사를 "진짜"로 분류하고, 중립적이지 않은(감정적인) 기사를 "가짜"로 분류하는 경향이 있다. 이 발견은 가짜 뉴스가 본질적으로 더 부정적일 것이라는 초기 가설과 상반된다. 오히려 감정을 중립적인 톤으로 조작하는 것이 가장 까다로운 적대적 시나리오임이 증명되었다.
3. AdSent 프레임워크: 본 논문은 감정이 중립화된 데이터로 학습함으로써 강건성을 높이는 새로운 접근 방식인 AdSent를 소개한다. 이는 기사의 감정적 프레이밍과 관계없이 예측의 일관성을 보장한다.

실험 결과
저자들은 세 가지 벤치마크 데이터셋인 PolitiFact, GossipCop, **Labeled Unreliable News (LUN)**에서 AdSent를 평가하였다.

• 베이스라인의 취약성: 감정 조작 하에서 표준 탐지기들(미세 조정된 RoBERTa 및 SheepDog 포함)은 상당한 성능 저하를 경험했으며, PolitiFact 데이터셋에서 F1 점수가 최대 21.51%까지 하락했다. 제로샷(Zero-shot) LLM 역시 유의미한 성능 저하를 보였다.
• 감정 변화의 영향: 예측 반전 분석 결과, 가짜 뉴스를 중립적인 톤으로 변환했을 때 가장 높은 오분류율(거짓 음성, False Negatives)이 발생하여 가짜 뉴스가 진짜로 잘못 분류되었다. 반대로, 진짜 뉴스는 중립화되었을 때 가짜로 오분류될 가능성이 더 낮았다.
• AdSent의 성능: AdSent는 중립화된 테스트 세트에서 모든 베이스라인을 크게 앞질렀으며, PolitiFact에서 87.76, GossipCop에서 78.56의 매크로 F1 점수를 달성했다.
• 일반화 능력:
  • 교차 공격(Cross-Attack): AdSent는 감정 공격에 대해서뿐만 아니라, 특정 발행사를 모방하는 것과 같은 스타일 기반 적대적 공격에 대해서도 효과적으로 일반화되었으며, 해당 시나리오에서 특화된 모델인 SheepDog보다 우수한 성능을 보였다.
  • 교차 데이터셋(Cross-Dataset): PolitiFact으로 학습하고 보지 못한 데이터셋인 LUN에서 테스트했을 때, AdSent는 SheepDog에 비해 우수한 성능을 유지하며 적대적 감정 학습이 전이 가능한 특징을 생성함을 보여주었다.

의의 및 주장
본 논문은 현재의 가짜 뉴스 탐지기가 감정적 단서에 의존하는 것이 LLM이 쉽게 악용할 수 있는 치명적인 약점이라고 주장한다. 중립적인 감정이 가장 효과적인 적대적 섭동(perturbation)임을 입有함으로써, 저자들은 기존 모델의 근본적인 편향을 강조한다. AdSent의 의의는 진위 탐지를 감정적 톤으로부터 분리하여, 정교한 LLM 기반의 오정보 캠페인에 대한 더 강력한 방어 체계를 구축할 수 있다는 점에 있다. 저자들은 자신들의 접근 방식이 정확도와 강건성을 모두 크게 향상시키며, 보지 못한 데이터셋과 다양한 적대적 시나리오에 잘 일반화된다고 결론짓는다.

향 향후 연구 방향
저자들은 향후 연구가 AdSent를 멀티모달 오정보 탐지로 확장하여, 시각적 신호(예: 이미지의 감정 표현)가 텍스트의 감정과 어떻게 상호작용하는지 조사하는 데 집중할 것이라고 언급했다. 또한 근접성(proximity), 참신성(novelty), 저명성(prominence)과 같은 다른 저널리즘적 뉴스 가치를 겨냥한 적대적 섭동을 탐구할 계획이다.