mdok-style at SemEval-2026 Task 10: Finetuning LLMs for Conspiracy Detection

기술 요약: SemEval-2026 태스크 10 의 mdok 스타일

문제 정의
본 논문은 소셜 미디어 담론 내 음모론 신념을 탐지하는 데 초점을 맞춘 공유 태스크인 SemEval-2026 태스크 10(PsyCoMark) 을 다룹니다. 구체적으로 저자들은 이진 분류 문제인 서브태스크 2, 즉 영어 Reddit 댓글이 음모론 신념을 표현하는지 여부 (예/아니오) 를 식별하는 과제를 해결합니다. 주요 과제로는 1,715 개의 긍정 샘플과 2,263 개의 부정 샘플로 구성된 레이블이 지정된 훈련 데이터의 부족이 있으며, 텍스트 길이는 160 자에서 1,000 자 사이로 필터링되었습니다.

방법론
제안된 시스템인 mdok-style은 원래 PAN@CLEF2025 를 위해 개발된 강력한 기계 생성 텍스트 탐지 프레임워크를 음모론 탐지 도메인에 적용합니다. 이 접근법은 세 가지 핵심 구성 요소에 의존합니다:

1. 기본 모델 및 미세 조정: 시스템은 Qwen3 와 Gemma-3 계열 간의 비교를 통해 선택된 Qwen3-32B대형 언어 모델 (LLM) 을 활용합니다. 모델은 매개변수 효율성을 위해 QLoRA(4 비트 양자화) 를 사용하여 이진 시퀀스 분류를 위해 미세 조정됩니다. 최적화 과정은 코사인 학습률 스케줄 (2e-5) 과 0.03 의 워밍업 비율을 사용하는 페이지드 AdamW 옵티마이저를 사용합니다.
2. 데이터 증강: 작은 데이터셋 크기를 완화하기 위해 저자들은 훈련 데이터 복사본의 10% 에 적용된 네 가지 특정 증강 기법을 사용합니다:
   • 익명화: 정규식으로 식별된 이메일, 사용자 언급 및 전화번호를 태그 ([EMAIL], [USER], [PHONE]) 로 교체하되, 원래 URL 교체 ([URL]) 는 유지합니다.
   • 대소문자 변형: 텍스트의 소문자 및 대문자 버전을 모두 생성하여 대소문자 구분을 무시하고 의미론적 의미에 집중하도록 합니다.
   • 동형 문자화: 토큰화 기반 분류기의 혼란에 대한 견고성을 높이기 위해 다른 스크립트의 시각적으로 유사한 문자 교체를 도입합니다.
   • 중복 제거: 최종 훈련 세트에서 중복된 수정되지 않은 복사본을 제거합니다.
3. 자기 학습: 시스템은 반복적 준지도 학습 접근법을 구현합니다. 초기 모델은 증강된 금표 (gold-labeled) 데이터로 훈련된 후, 레이블이 지정되지 않은 개발 및 테스트 세트에 대한 레이블을 예측합니다. 극단적인 신뢰도 (확률 $\ge$ 0.99 인 "예" 또는 $\le$ 0.01 인 "아니오") 를 가진 예측만 "실버 레이블"로 유지됩니다. 이러한 고신뢰도 의사 레이블은 원래 훈련 데이터와 결합되어 탐지기를 재훈련하여 중요한 오류를 전파하지 않으면서 효과적인 훈련 세트를 확장하는 것을 목표로 합니다.

주요 기여

• 교차 도메인 전이: 본 논문은 원래 기계 생성 텍스트 탐지를 위해 설계된 mdok프레임워크가 음모론 탐지라는 명확히 다른 도메인으로 성공적으로 전이되었음을 보여줍니다.
• 증강을 통한 견고성: 이 연구는 특정 텍스트 은폐 기법 (동형 문자, 익명화) 과 자기 학습을 결합하는 것이 LLM 미세 조정에서의 데이터 부족 문제를 효과적으로 해결할 수 있음을 검증합니다.
• 시스템 구현: 저자들은 IMGTB 프레임워크를 통한 전체 오픈 소스 구현과 특정 하이퍼파라미터 및 데이터 처리 파이프라인을 포함한 상세한 복제 가이드를 제공합니다.

결과
제출된 시스템은 공식 테스트 세트에서 0.78 의 매크로 F1 점수를 달성했습니다.

• 순위: 시스템은 52 건의 제출 중 8 위를 차지하여 85 백분위수에 해당합니다.
• 비교 성능: 자기 학습과 이동된 분류 임계값 (0.7) 을 적용한 Qwen3-32B 가 가장 높은 점수를 기록했지만, 저자들은 DeBERTa-Large(<0.5B 매개변수) 와 같은 더 작은 모델이 0.75 의 경쟁력 있는 매크로 F1 을 달성했다고 지적하며, 성능과 계산 비용 간의 유리한 절충안을 시사합니다.
• 절대 실험: 자기 학습과 데이터 증강을 포함하는 것은 이러한 구성 요소가 없는 기본 모델보다 일관되게 성능을 향상시켰습니다 (예: 자기 학습이 없는 Qwen3-32B 는 0.76 점).

의의 및 주장
본 논문은 기계 생성 텍스트 탐지에서 유래한 mdok-style접근법이 음모론 탐지를 위한 실현 가능하고 경쟁력 있는 전략이라고 겸손하게 주장합니다. 저자들은 데이터 증강과 자기 학습을 활용하여 작은 훈련 데이터셋의 한계를 극복하는 데 성공했다고 강조합니다. 시스템이 매우 경쟁력 있지만, 32B 매개변수 모델의 계산 비용은 DeBERT 와 같은 더 작고 효율적인 모델에 대한 한계적 이득과 균형을 이루어야 한다고 인정합니다. 이 작업은 접근법이 효과적이라고 결론지었지만, 영어 텍스트만 평가했다는 점과 기본 모델 아키텍처에 대한 탐구가 제한적이라는 한계를 지적합니다.