Fine-tuning with Hierarchical Prompting for Robust Propaganda Classification Across Annotation Schemas

기술적 요약: 다양한 주석 스키마에 걸친 견고한 선전 분류를 위한 계층적 프롬프팅을 통한 미세 조정

문제 제기
소셜 미디어에서의 선전 감지는 텍스트의 노이즈가 많고 짧은 특성, 비공식적 언어의 광범위한 사용, 그리고 낮은 주석자 간 일치도 (IAA) 로 인해 상당한 도전에 직면해 있습니다. 기존 분류 체계는 종종 수사적 장치 (예: "편향된 언어") 와 같은 기법에 중점을 두어 선전 뒤에 숨겨진 전략적 의사소통 의도를 포착하는 데 어려움을 겪습니다. 또한, 스키마 설계에는 트레이드오프가 존재합니다: 현실적이고 복잡한 스키마는 실제 세계의 다양성을 포착하지만 주석 신뢰도를 낮추는 반면, 단순화된 스키마는 생태학적 타당성을 희생하여 일치도를 높입니다. 더 나아가, 대규모 언어 모델 (LLM) 의 맥락에서 주석 스키마 설계, 감독 체계 (제로샷 대 미세 조정), 그리고 프롬프팅 전략 간의 상호작용은 아직 충분히 탐구되지 않았습니다.

방법론
저자들은 주석 스키마, 감독 체계, 프롬프팅 전략이라는 세 가지 상호작용하는 차원에 걸친 선전 분류를 평가하는 통제된 실험을 수행했습니다.

1. 데이터셋 및 스키마:

   • 데이터 소스: 본 연구는 러시아 - 우크라이나 전쟁 초기의 3 만 개의 영어 트윗으로 구성된 HQP 벤치마크 데이터셋을 활용했습니다.
   • 스키마 A (새로운 의도 기반): 저자들은 17 가지 세분화된 기법을 의사소통 의도(예: 책임 전가, 공격 정당화, 동의 조작) 에 기반하여 5 가지 고차원 범주로 그룹화하는 새로운 분류 체계를 도입했습니다. 이 스키마는 전문가 주석, LLM 지원 조화, 그리고 그룹 합의를 포함한 반복적인 과정을 통해 개발되었습니다. 이 스키마는 짧은 텍스트에서 의도의 본질적 모호성을 반영하여 중간 수준의 IAA($\kappa=0.309$) 를 보였습니다.
   • 스키마 B (Sahitaj 등, 2025): 트위터에 맞게 조정된 스펀 기반의 기법 중심 분류 체계입니다. 본 연구에서 저자들은 이 스키마의 17 가지 기법을 6 가지 고차원 범주로 클러스터링했습니다. 이 스키마는 훨씬 더 높은 IAA($\kappa=0.594$) 를 보여주었습니다.

2. 모델:
   GPT-4.1-nano, Phi-4 14B, Qwen2.5-14B, Qwen3-14B 등 네 가지 언어 모델을 평가했습니다. 실험은 제로샷 (Base) 과 미세 조정 (FT) 체계 모두에서 수행되었습니다. 미세 조정은 오픈 가중치 모델의 경우 LoRA 어댑터를 사용하여 수행되었고, GPT-4.1-nano 의 경우 API 기반 최적화를 통해 수행되었습니다.

3. 프롬프팅 전략:

   • Direct-High: 모델이 텍스트에서 직접 고차원 범주를 예측합니다.
   • HiPP (계층적 프롬프팅): "Main→High" 전략으로, 모델이 먼저 가장 두드러진 세분화된 기법을 예측한 후, 이 예측을 집계하여 단일 패스에서 고차원 범주를 결정합니다.

4. 평가:
   성능은 균형 잡힌 금표 테스트 세트 (스키마당 200 개 트윗) 에서 Macro-F1 및 Weighted-F1 을 사용하여 측정되었습니다. 오류 분석에는 혼동 행렬, 어근 빈도 통계, 그리고 TF-IDF 벡터의 PCA 시각화가 포함되었습니다.

주요 기여

1. 새로운 의도 기반 분류 체계: 이 논문은 2019 년 이후 최초의 완전히 새로운 개념적 분류 체계를 선전에 도입하여, 표면적 기법에서 전략적 의사소통 목표로 초점을 이동시켰습니다.
2. 통제된 비교 프레임워크: 본 연구는 스키마 설계, 감독, 프롬프팅을 직교 요인으로 간주하여 그 효과를 분리하고, 이러한 요소들이 모델의 견고성을 형성하는 데 어떻게 상호작용하는지 입증했습니다.
3. 계층적 프롬프팅 (HiPP) 검증: 저자들은 HiPP 방법을 제안하고 검증하여, 특히 노이즈가 많고 일치도가 낮은 주석 스키마의 경우 미세 조정 환경에서 구체적인 유용성을 보임을 입증했습니다.
4. 기존 스키마를 위한 고차원 라벨링: 저자들은 클러스터링 절차를 통해 Sahitaj 등 (2025) 의 스키마에 대한 고차원 라벨을 생성하여 인간 검증에서 높은 일치도를 달성하고 비교를 위한 견고한 기준선을 제공했습니다.

결과

• 미세 조정의 영향: 미세 조정은 모든 구성에서 결정적이었으며, 약한 제로샷 기준을 경쟁력 있는 시스템으로 변화시켰습니다 (Weighted-F1 에서 +0.09 에서 +0.30 까지의 개선). 이는 기본 체계에서는 보이지 않았던 방법론적 차이를 드러냈습니다.
• 스키마 성능: Sahitaj 스키마는 더 높은 주석 신뢰도로 인해 일관되게 더 높은 절대적 성능 (Weighted-F1 에서 +0.05~+0.15 의 차이) 을 보였습니다. 그러나 의도 기반 스키마는 더 도전적이었음에도 불구하고 전략적 목표에 대한 더 풍부한 렌즈를 제공했습니다.
• 모델 성능: 오픈 가중치 모델 중 Qwen 시리즈 (특히 Qwen3-14B) 가 가장 강력한 전반적 성능을 달성했습니다. Phi-4 14B 는 두 스키마와 체계 모두에서 GPT-4.1-nano 를 일관되게 능가했습니다.
• HiPP 의 효과성:
  • 제로샷 환경에서 HiPP(Main→High) 는 종종 Direct-High 보다 성능이 낮았으며, 특히 낮은 IAA 스키마에서 그랬습니다. 이는 적응된 표현 없이는 계층적 분해가 노이즈를 증폭시킬 수 있음을 시사합니다.
  • 미세 조정 후 HiPP 는 특히 의도 기반 스키마에서 매우 유익해졌습니다. 이는 모델이 주석자 간 불일치가 높은 경우에도 다수결 라벨을 복구하는 데 도움이 되는 안정적인 방법론적 이점을 제공했습니다.
• 오류 분석:
  • 제로샷: 모델은 "Ukraine", "Nazi", "war"와 같은 어휘적 단서에 과도하게 민감하여 높은 위양성률을 보였습니다.
  • 미세 조정: 오류는 단순한 어휘적 트리거에서 진정으로 모호하고 양극화된 사례로 이동했습니다. 미세 조정된 HiPP 모델은 중립적 전쟁 보도에 대한 위양성을 줄이고 개념적으로 인접한 범주 (예: 현실 왜곡과 책임 전가를 혼동) 에 오류를 집중시켜, 분류 체계에 대한 더 구조화된 이해를 나타냈습니다.
  • PCA 시각화: 의도 기반 스키마는 Sahitaj 스키마의 컴팩트하고 잘 분리된 클러스터에 비해 더 밀집되고 중첩된 결정 공간을 생성하여, 의도 기반 작업의 더 높은 난이도를 확인시켜 주었습니다.

의의 및 주장
이 논문은 주요 기여가 방법론적임을 주장하며, 견고한 선전 감지를 위해서는 미세 조정이 필수적이며, 계층적 프롬프팅 (HiPP) 은 모델이 노이즈가 많고 불균형한 주석 공간에 적응될 때 특히 안정화되는 귀납적 편향으로 작용함을 보여줍니다.

저자들은 단순화된 기법 중심 스키마가 더 명확한 학습 신호를 제공하지만, 의도 기반 스키마가 선전의 전략적 목표에 대한 세밀한 분석에 필요하다고 주장합니다. 그들은 현대 LLM 이 HiPP 와 함께 미세 조정될 때 유사하고 해석 가능한 오류 구조에 수렴하며, 이는 한 모델 계열에서 도출된 결론이 다른 계열에도 합리적으로 이전 가능함을 시사한다고 주장합니다. 이 연구는 실제 세계 감지에 대한 향후 연구를 위한 도전적인 벤치마크 (새로운 의도 기반 라벨이 포함된 HQP 데이터셋) 를 제공하며, 견고한 시스템은 생태학적 현실성과 주석 신뢰도 사이의 트레이드오프를 고려해야 함을 강조합니다.

저자들은 겸손하게도, 그들의 결과는 단일 데이터 분할에 기반한 방법론적 경향을 나타내며, 제안된 의도 기반 분류 체계는 가치가 있지만 본질적인 노이즈를 도입하여 기존 프레임워크보다 더 어려운 분류 문제를 만든다고 지적합니다.