기술 요약: 동적 타겟 생성 및 다중 타겟 적응(DGTA)을 통한 야생에서의 제로샷 태도 탐지

1. 문제 정의

현재의 태도 탐지(Stance Detection) 연구는 타겟이 사전에 정의되어 있고, 정적이며, 추론 전에 이미 알려져 있다는 제한된 환경에서 주로 수행됩니다. 그러나 실제 소셜 미디어 환경은 이보다 더 복잡한 현실을 보여줍니다. 타겟은 사전에 정의되지 않았으며 정적이지도 않습니다. 타겟은 동적이며, 하나의 텍스트 내에 여러 개가 존재할 수 있고, 암시적이거나 추상적(예: 특정 사건, 행동, 또는 개념적 상태)일 수 있습니다. 후보 타겟 리스트에 의존하거나 단일 타겟 추출 작업에 국한된 기존 방식들은 단일 포스트 내에서 식별되지 않은 다수의 타겟을 동시에 처리하는 데 한계가 있습니다.

이러한 간극을 메우기 위해 저자들은 새로운 과업인 동적 타겟 생성 및 다중 타겟 적응(DGTA)을 통한 야생에서의 제로샷 태도 탐지를 제안합니다. 이 과업은 모델이 다음을 수행할 것을 요구합니다:

1. 타겟 레이블 공간에 대한 사전 지식 없이 텍스트 내의 모든 태도 타겟을 자동으로 식별한다.
2. 식별된 각 타겟에 대한 태도(지지, 반대 또는 중립)를 결정한다.
3. 가변적인 타겟 수를 처리하며, 동적인 타겟-태도 쌍을 출력한다.

2. 방법론

2.1 데이터셋 구축

저자들은 70,931개의 주석이 달린 샘플로 구성된 고품질의 다중 도메인 중국어 소셜 미디어 태도 탐지 데이터셋을 구축했습니다.

• 데이터 수집: 240명의 다양한 웨이보(Weibo) 사용자로부터 포스트를 수집하여 초기 125,176개의 항목을 확보했습니다.
• 주석 파이프라인: 다음과 같은 엄격한 워크플로우를 적용했습니다:
  • 협업 LLM 주석: 세 가지 주요 LLM(GLM4-9B, Qwen2.5-7B, Llama3-8B)이 계층적 타겟 식별 및 태도 결정을 수행했습니다.
  • 교차 검증: 최소 두 개의 모델이 타겟 엔티티와 태도 모두에 대해 일치할 경우에만 샘플을 수용했습니다.
  • 점수 산정 및 수정: 보조 모델(DeepSeek-V3)이 유효한 샘플에 점수를 부여했으며, 점수가 낮은 인스턴스는 검토 대상으로 분류되었습니다.
  • 인간 검증: 8명의 전문 주석가가 자동 주석이 달린 모든 샘플을 검증했습니다.
  • 정제: 논리적 모순이나 모호한 참조를 포함하는 36,379개의 저품질 텍스트를 제거했습니다.
• 통계: 데이터셋은 단일 타겟, 이중 타겟, 삼중 타겟 및 다중 타겟(>3) 시나리오를 포함하며, 다양한 태도 분포를 가집니다.

2.2 평가 지표

개방형 타겟 생성에 기존 지표가 부적합하다는 점을 인식하여, 저자들은 다차원 평가 프레임워크를 설계했습니다:

• 타겟 식별: 의미적 유사성과 표면 매칭을 결합한 종합 점수(C-Score)를 사용합니다:
  $$C\text{-Score} = (\alpha \times \text{BERTScore} + \beta \times \text{BLEU} + \gamma \times \text{ROUGE-L}) \times \text{Recall}$$
  (가중치: $\alpha=0.6, \beta=0.2, \gamma=0.2$).
• 태도 탐지: 타겟 식별 지표가 특정 임계값(예: C-Score $\ge 0.3$)을 초과하는 샘플에 대해서만 정밀도(Precision), 재현율(Recall), F1 점수를 사용하여 평가합니다.

2.3 미세 조정 전략

저자들은 LoRA를 사용하여 대규모 언어 모델(LLM)을 미세 조정하기 위한 두 가지 별개의 전략을 탐구했습니다:

1. 통합 미세 조정(Integrated Fine-Tuning): 모델이 타겟을 식별하고 태도를 분류하는 명령을 동시에 받아 타겟-태도 쌍의 시퀀스를 출력하도록 하는 엔드 투 엔드(end-to-end) 접근 방식입니다.
2. 2단계 미세 조정(Two-Stage Fine-Tuning): 분리된 접근 방식으로:
   • 1단계: 모델을 오직 타겟 식별만을 위해 미세 조정합니다.
   • 2단계: 별도의 모델을 1단계에서 식별된 텍스트와 타겟을 바탕으로 태도를 분류하도록 미세 조정합니다.

3. 주요 기여

• 과업 제안: 동적, 다중 타겟 생성이 발생하는 오픈 월드 시나리오에서의 제로샷 태도 탐지라는 핵심적인 간극을 해결하는 DGTA 과업을 정의했습니다.
• 데이터셋: 엄격한 다중 LLM 및 인간 검증을 거친, 이 과업을 위한 최초의 고품질 중국어 다중 도메인 소셜 미디어 태도 탐지 데이터셋을 공개했습니다.
• 평가 프레임워크: 생성된 타겟의 의미적 정확성과 태도 분류의 정확성을 모두 고려하는 통합적이고 포괄적인 지표(C-Score)를 도입했습니다.
• 방법론적 베이스라인: 사전 학습된 모델 및 인스트럭션 프롬프트 기반 LLM과 비교하여 통합 및 2단계 미세 조정 전략에 대한 강력한 베이스라인을 구축했습니다.

4. 실험 결과

실험은 미세 조정된 사전 학습 모델(mT5, BERT, RoBERTa), 인스트럭션 프롬프트 기반 LLM(GPT-4o, DeepSeek-V3, GLM4-9B, Llama3-8B), 그리고 미세 조정된 LLM(Qwen2.5-7B, DeepSeek-R1-Distill-Qwen-7B)을 포함한 다양한 모델을 사용하여 층화된 테스트 세트에서 수행되었습니다.

주요 결과:

• 미세 조정된 LLM의 우수성: 미세 조정된 LLM은 사전 학습된 모델과 제로샷 프롬프트 기반 LLM을 모두 크게 능가했습니다.
  • 타겟 식별: 2단계 미세 조정된 Qwen2.5-7B가 가장 높은 종합 타겟 인식 점수(66.99%)를 달성했습니다.
  • 태도 탐지: 통합 미세 조정된 DeepSeek-R1-Distill-Qwen-7B가 가장 높은 태도 탐지 F1 점수(79.26%)를 달성했습니다.
• 전략 비교:
  • 2단계 접근 방식은 엔티티 추출에 집중된 학습 덕분에 타겟 식별에서 강점을 보였습니다.
  • 통합 접근 방식은 태도 탐지에서 뛰어난 성능을 보였으며, 이는 타겟-태도 관계를 공동으로 모델링하는 것이 복잡한 의미적 맥락에서의 추론을 개선함을 시사합니다.
• 추론 능력: 추론 능력을 갖춘 모델(예: DeepSeek-R1)은 그렇지 않은 모델보다 일반적으로 우수한 성능을 보였으며, 암시적 타겟 식별과 미묘한 태도 파악에서 더 높은 정밀도를 달-성했습니다.
• 사고의 사슬(CoT): 프롬프트에 CoT를 도입하면 모든 테스트된 LLM에서 성능이 향러졌으며, 특히 GLM4-9B(C-Score +7%)와 Qwen2.5-7B(F1 +4%)에서 효과적이었습니다.
• 타겟 복잡성: 타겟의 수가 증가함에 따라 성능이 저하되었습니다. 이중 타겟 텍스트는 최상의 의미적 정렬을 보였으나, 다중 타겟(>3) 텍스트는 의미적 복잡성과 중첩된 참조로 인해 C-Score가 크게 하락했습니다.
• 명시적 vs 암시적: 모델은 명시적 타겟에서 훨씬 더 나은 성능을 보였습니다. 암시적 타겟(추상적 개념)은 재현율은 높았으나 정밀도는 낮았으며, 이는 의미적 경계 정의의 어려움을 보여줍니다.

5. 의의 및 주장

본 논문은 제안된 DGTA 프레임워크와 데이터셋이 통제되고 사전 정의된 설정에서 실제 소셜 미디어의 "야생"으로 태도 탐지를 진전시키는 데 필요한 토대를 제공한다고 주장합니다. 미세 조정된 LLM이 동적인 타겟 생성과 다중 타겟 적응을 효과적으로 처리할 수 있음을 입증함으로써, 본 연구는 향후 연구를 위한 강력한 베이스라인을 구축합니다. 저자들은 자신들의 접근 방식이 사전 정의된 타겟 리스트에 의존하는 기존 방법의 한계를 해결하여, 타겟이 알려져 있지 않고, 암시적이며, 다수인 시나리오에서도 모델이 작동할 수 있게 한다고 강조합니다. 데이터셋과 모델의 공개는 오픈 월드 태도 탐지에 대한 추가적인 탐색을 촉진하기 위함입니다.