1. 문제 정의 (Problem)

디지털 저널리즘 시대에서 정보의 빠른 확산은 허위 정보와 조작적 콘텐츠의 유포를 용이하게 합니다. 특히 클릭베이트 (Clickbait) 는 사실적 오류가 있지는 않더라도 독자의 호기심을 자극하고 참여를 유도하기 위해 과장되거나 오해의 소지가 있는 문구를 사용하는 수법으로, 정보의 질을 저하시키고 사용자 신뢰를 훼손합니다.

기존의 클릭베이트 탐지 연구는 대부분 이진 분류 (Binary Classification) 문제로 접근하여 "클릭베이트인가 아닌가"를 판단하는 데 집중했습니다. 그러나 이러한 접근법은 다음과 같은 한계가 있습니다:

• 블랙박스성: 복잡한 딥러닝 모델이 높은 정확도를 내지만, 어떤 언어적 특징이 클릭베이트로 판별되었는지 해석하기 어렵습니다.
• 정보성 (Informativeness) 부재: 제목이 얼마나 유용한 정보를 전달하는지에 대한 정량적 측정이 부족합니다.
• 맥락적 한계: 단순한 이진 라벨링을 넘어 클릭베이트의 정도 (강도) 나 구체적인 언어적 단서를 파악하는 데 한계가 있습니다.

2. 방법론 (Methodology)

저자들은 하이브리드 접근법을 제안하여, 대규모 언어 모델 (LLM) 기반의 심층 의미 표현과 언어학적으로 동기부여된 명시적 정보성 측정 지표 (Explicit Informativeness Measures) 를 결합했습니다.

2.1 데이터 구성

네 가지 공개된 영어 데이터셋을 통합하여 단일 데이터셋을 구축했습니다:

• Kaggle-1 & Kaggle-2: BuzzFeed, Upworthy 등 뉴스 사이트의 제목과 본문.
• Clickbait Challenge 2017: 트위터 포스트 (크라우드 소싱 라벨링).
• SemEval Clickbait Spoiling: 클릭베이트를 폭로하는 계정 (r/savedyouaclick 등) 에서 수집된 데이터 (추출형 및 추상형 스포일러 포함).
• 전처리: 데이터 정제, 중복 제거, 이진 라벨 통일 (0.5 임계값 적용), 계층적 80/10/10 분할.

2.2 특징 추출 및 표현 (Feature Extraction)

모델은 두 가지 주요 표현 방식을 결합합니다:

1. 임베딩 (Embeddings):
   • 전통적: TF-IDF, Word2Vec, GloVe.
   • 트랜스포머 기반: BERT, RoBERTa, OpenAI (GPT) 임베딩 (text-embedding-3-large).
2. 명시적 정보성 측정 지표 (Explicit Informativeness Measures):
   • 텍스트의 스타일적, 언어적 속성을 정량화한 15 개 (최대 25 개) 의 수동 설계 특징을 사용합니다.
   • 주요 지표 예시:
     • 언어적 요소: 2 인칭 대명사 ("you", "your") 사용 빈도, 최상급 형용사/부사 비율, 숫자 사용 빈도.
     • 문장 부호: 클릭베이트 관련 문장 부호 (!, ?, " ") 의 비율.
     • 가독성 및 감정: FRES (Flesch Reading-Ease), 감정 극성 (Polarity), 주관성 (Subjectivity).
     • 유사도: 제목과 본문 간의 코사인 유사도.

2.3 모델 아키텍처

• 하이브리드 모델: OpenAI 임베딩 (1000 차원) 과 15 개의 명시적 특징 벡터를 연결 (Concatenation) 하여 XGBoost 분류기에 입력합니다.
• 비교 대상: 전통적 머신러닝 (TF-IDF + RF), 순수 임베딩 모델 (Word2Vec, RoBERTa), LLM 프롬프트 기반 분류 (Zero-shot, Few-shot GPT-4o-mini, Gemini-3).

3. 주요 기여 (Key Contributions)

1. 해석 가능한 하이브리드 프레임워크 제안: 심층 신경망의 강력한 의미 이해 능력과 언어학적 특징의 명확한 해석 가능성을 결합하여, "왜" 그 제목이 클릭베이트인지 설명 가능한 모델을 구축했습니다.
2. 명시적 정보성 측정 지표의 효과 입증: 고차원 임베딩만으로는 포착하지 못하는 스타일적, 구조적 단서 (예: 2 인칭 대명사, 최상급, 특정 문장 부호) 가 클릭베이트 탐지에 결정적인 보완 역할을 함을 증명했습니다.
3. 다양한 데이터셋 통합 및 재현성 확보: 여러 소스의 데이터를 통합하여 보다 일반화된 모델을 학습시켰으며, 코드와 학습된 모델을 공개하여 재현 가능한 연구를 지원합니다.
4. LLM 프롬프트 기반 접근법과의 비교: 대규모 사전 학습 모델 (LLM) 의 프롬프트 기반 분류가 명시적 특징이 결합된 경량 하이브리드 모델보다 성능이 낮을 수 있음을 보여주었습니다.

4. 실험 결과 (Results)

제목 전용 (Title-only) 탐지 태스크에서 수행된 실험 결과는 다음과 같습니다:

• 최고 성능 모델: OpenAI 임베딩 + 15 개 특징 + XGBoost 하이브리드 모델.
  • F1-Score: 90.9% (약 91%)
  • 정확도 (Accuracy): 91.0%
  • AUC: 0.969
• 비교 분석:
  • 임베딩 전용 모델 (OpenAI emb only): F1 86.4% (하이브리드 대비 4.5%p 낮음).
  • 전통적 모델 (TF-IDF, Word2Vec): F1 82.9% 수준.
  • LLM 프롬프트 기반 (GPT-4o-mini Few-shot): F1 82% 수준.
  • RoBERTa (미세 조정): F1 84.2% 수준.
• 결론: 명시적 특징을 추가함으로써 임베딩만 사용한 모델 대비 F1 점수가 4.5 포인트 향상되었으며, 이는 특징들이 임베딩과 보완적인 정보를 제공함을 의미합니다.

5. 의의 및 시사점 (Significance)

• 해석 가능성 (Interpretability): 모델이 2 인칭 대명사, 최상급, 숫자, 특정 문장 부호 등 구체적인 언어적 단서를 기반으로 판단함을 보여줌으로써, 사용자와 개발자에게 투명한 예측을 제공합니다.
• 실용성: 고비용의 LLM 프롬프트 호출 없이도, 경량의 특징 추출과 XGBoost 를 결합하여 LLM 수준 이상의 성능을 달성할 수 있음을 입증했습니다.
• 미래 연구 방향: 단순한 이진 분류를 넘어, 클릭베이트의 '정도 (degree)'를 측정하거나 스포일러 (spoiling) 생성과 같은 더 복잡한 태스크로 확장할 수 있는 기반을 마련했습니다.

이 논문은 클릭베이트 탐지 분야에서 심층 학습의 성능과 언어학적 해석 가능성을 성공적으로 조화시킨 모범 사례로 평가됩니다.