1. 문제 정의 (Problem Definition)

이 논문은 SemEval-2026 Task 6 (CLARITY) 에 참여하여 정치적 담화에서의 회피적 의사소통 전략을 자동으로 탐지하고 분류하는 문제를 다룹니다. 데이터는 미국 대통령 인터뷰의 질문 - 답변 (QA) 쌍으로 구성되며, Thomas et al. (2024) 이 제안한 2 단계 계층적 분류 체계에 기반합니다.

• Task 1 (명확성 수준 분류): 답변을 3 가지 범주로 분류합니다.
  • Clear Reply: 요청된 정보가 명시적으로 제공됨.
  • Ambivalent: 답변이 주어졌으나 다중 해석이 가능함 (암시적, 일반적, 부분적, 회피적 등).
  • Clear Non-Reply: 정보 공유를 명시적으로 거부하거나 무지를 주장함.
• Task 2 (회피 수준 분류): 9 가지 세부적인 회피 기법 (Explicit, Implicit, General, Partial, Dodging, Deflection, Declining, Claims ignorance, Clarification) 으로 분류.

주요 도전 과제:

• 심각한 클래스 불균형: 훈련 데이터에서 'Ambivalent(59.2%)'가 과다하고 'Clear Non-Reply(10.3%)'와 'Clear Reply(30.5%)'는 소수 클래스입니다. 이로 인해 소수 클래스의 재현율 (Recall) 이 낮아지는 문제가 발생했습니다.
• 모호한 경계: 'Ambivalent'와 'Clear Reply' 사이의 구분이 인간 주석자들 간에도 의견이 갈리는 (κ = 0.65) 어려운 영역입니다.

2. 방법론 (Methodology)

저자들은 DeBERTa-V3-base를 기반으로 한 시스템을 개발하고, 클래스 불균형 해결을 위해 LLM 기반의 데이터 증강을 적용했습니다.

가. 데이터 증강 (Data Augmentation)

훈련 데이터의 불균형을 해소하기 위해 두 개의 대형 언어 모델 (LLM) 을 활용하여 합성 데이터를 생성했습니다.

1. Gemini 3 (Context-Aware Synthetic Generation):
   • 소수 클래스 (Clear Non-Reply 등) 의 수사적 프레임 (Rhetorical frames) 을 추출하여 정치적 맥락과 결합했습니다.
   • 총 2,672 개의 합성 예제를 생성하여 모든 클래스를 2,040 개씩 완벽하게 균형 잡힌 데이터셋 (총 6,120 개) 으로 만들었습니다.
2. Claude Sonnet 4.5 (Lexical Paraphrasing):
   • EDA(EDA-inspired) 기법을 적용하여 동의어 교체, 무작위 삽입/교환/삭제 등을 수행했습니다.
   • 1,086 개의 합성 예제를 생성하여 부분적으로 균형을 맞췄습니다.
   • 신뢰도 가중치: 학습 시 Gemini 생성 데이터에는 0.7, Claude 생성 데이터에는 0.5 의 가중치 손실을 적용하여 과적합을 방지했습니다.

나. 모델 아키텍처 및 학습 전략

• Base Model: microsoft/deberta-v3-base (1.84 억 파라미터).
• Boolean Discourse Features: 원본 데이터에서 추출한 두 가지 통계적으로 유의한 이진 특성 (affirmative_questions, multiple_questions) 을 모델 입력에 추가했습니다.
• Focal Loss: 어려운 예제 (Hard examples) 에 집중하고 클래스 불균형을 완화하기 위해 Focal Loss 를 적용 ($\gamma=2.0$, 클래스 가중치 $\alpha_t$ 사용).
• Layer-wise Learning Rate Decay (LLRD): 하위 레이어의 사전 학습 지식을 보존하면서 상위 레이어의 태스크 적응을 위해 학습률을 점진적으로 감소시킵니다 ($\alpha=0.9$).
• 기타: Cosine annealing 스케줄러, Gradient accumulation (유효 배치 크기 32), 조기 종료 (Early Stopping).

3. 주요 결과 (Results)

• Task 1 성능:
  • Gemini 증강을 적용한 시스템은 Macro F1 0.76을 기록하여 40 개 팀 중 8 위를 차지했습니다.
  • 최상위 시스템 (TeleAI) 은 0.89, 참가자 평균은 0.70 이었습니다.
  • 증강 전 (Original only) 0.69 에서 0.76 으로 성능이 크게 향상되었으며, 이는 소수 클래스의 재현율 향상에 기여했습니다.
• Task 2 성능:
  • 개발 단계에서는 0.45 (24 팀 중 9 위) 를 기록했으나, 평가 단계에서는 0.28 로 급격히 하락했습니다. 이는 개발 데이터와 평가 데이터 간의 분포 변화 (Distribution Shift) 에 기인한 것으로 분석되었습니다.
• 오류 분석:
  • 주요 오류는 Ambivalent와 Clear Reply 간의 혼동에서 발생했습니다 (전체 오류의 약 65~68% 차지).
  • 모델은 'Clear Non-Reply'와 'Clear Reply'를 완벽하게 구분했으나, 'Ambivalent'가 포함된 답변을 'Clear Reply'로 잘못 분류하거나 그 반대의 경우가 많았습니다. 이는 답변에 직접적인 진술과 함께 유보적 표현 (hedging) 이 혼재되어 있을 때 모델이 혼란을 겪기 때문입니다.

4. 주요 기여 (Key Contributions)

1. LLM 기반 데이터 증강의 유효성 입증: 정치적 담화와 같은 미묘한 뉘앙스가 필요한 태스크에서 소수 클래스의 재현율을 높이기 위해 LLM(Gemini, Claude) 을 활용한 합성 데이터 생성이 효과적임을 증명했습니다.
2. 강화된 DeBERTa 시스템: Focal Loss, LLRD, 그리고 도메인 특화 이진 특성을 결합하여 정치적 회피 질문을 분류하는 강력한 베이스라인을 제시했습니다.
3. 오류 패턴 심층 분석: 모델의 실패 원인이 단순한 분류 오류가 아니라, 인간 주석자들 간에도 합의가 어려운 '회색 지대 (Ambivalent vs. Clear)'의 언어적 모호성 (유보적 표현, 부분적 정보 제공) 에 있음을 규명했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 정치적 인터뷰에서 답변의 명확성을 자동 분류하는 데 있어 데이터 불균형 해결을 위한 LLM 증강 기법이 중요한 역할을 할 수 있음을 보여줍니다. 특히, 소수 클래스인 'Clear Non-Reply'의 식별 능력을 크게 향상시켰습니다.

그러나 연구는 Ambivalent와 Clear Reply 사이의 경계 모호성이 여전히 해결되지 않은 핵심 난제임을 지적합니다. 향후 연구 방향으로는:

• 명확성 분류와 회피 기법 분류를 동시에 수행하는 멀티태스크 학습 도입.
• 유보적 표현 (hedging), 조건부 문장, 주제 전환 등을 감지하는 전문화된 특징 추출 강화.
• Task 2 와 같은 세분화된 분류에서의 분포 변화에 강건한 검증 방법 개발이 필요하다고 결론지었습니다.

이 논문은 정치적 담화 분석 분야에서 데이터 증강과 정교한 모델링 기법의 결합이 어떻게 성능 향상을 이끌 수 있는지 보여주는 중요한 사례입니다.