기술 요약: SemEval-2026 태스크 6 (CLARITY) 의 CLaC

문제 정의

본 논문은 정치적 담화에서 응답의 명확성과 회피를 탐지하는 데 초점을 맞춘 공유 태스크인 **SemEval-2026 태스크 6 (CLARITY)**를 다룹니다. 이 시스템은 미국 대통령 인터뷰에서 추출된 영어 질문 - 응답 쌍을 처리합니다. 태스크는 계층적으로 구조화되어 있습니다:

• 태스크 1: 응답을 명확한 답변 (Clear Reply), 애매한 답변 (Ambivalent Reply), 또는 명확한 비답변 (Clear Non-Reply) 중 하나의 명확성 (Clarity) 범주로 분류합니다.
• 태스크 2: 명확성 클래스를 하위 분류하는 9 가지 세분화된 회피 (Evasion) 레이블 중 하나를 예측합니다 (예: 회피 (Dodging), 전가 (Deflection), 명시적 (Explicit), 부분적 (Partial)).

데이터셋은 3,993 개의 인스턴스로 구성되어 있으며, 클래스 불균형이 심합니다 (1 단계에서는 *애매한 (Ambivalent)*이, 2 단계에서는 *명시적 (Explicit)/회피 (Dodging)*이 우세함). 또한 명확한 답변과 애매한 답변 사이의 경계에서 관찰된 중간 수준의 상호 주석자 일치도 ($\kappa = 0.65$) 는 본질적인 주석 난이도를 보여줍니다.

방법론

CLaC 팀은 다단계 파이프라인을 통해 최적화한 세 가지 서로 다른 아키텍처 접근 방식을 평가했습니다:

1. 인코더 기반 모델

팀은 4 단계 최적화 과정을 거쳐 8 개의 트랜스포머 인코더 (BERT, RoBERTa, DeBERTa 와 같은 영어 변형과 mBERT, XLM-RoBERTa, mDeBERTa 와 같은 다국어 변형 포함) 를 평가했습니다:

• 1 단계 (인코더 적응): 전체 파인튜닝과 부분 레이어 언프리즈 (상위 25%, 50%, 75%) 및 LoRA 를 비교했습니다. 부분 언프리즈 (특히 상위 25%) 는 전체 파인튜닝보다 훨씬 우수한 성능을 보였습니다.
• 2 단계 (분류 및 표현): 다양한 분류 헤드 (CLS 에 대한 선형, MLP, 평균 풀링) 와 단축 전략 (표준 대 헤드 - 테일) 을 평가했습니다.
• 3 단계 (손실 및 정규화): 0.1 드롭아웃을 가진 가중 교차 엔트로피 (WCE) 를 베이스라인으로 하여 Focal Loss 와 다양한 드롭아웃 비율을 테스트했습니다. WCE 가 충분함이 입증되었습니다.
• 4 단계 (데이터 및 입력): 데이터 증강 (소수 클래스인 명확한 비답변을 위한 LLM 생성 패러프레이즈) 과 풍부화된 입력 (대상 질문에 전체 인터뷰어 턴을 연결) 을 테스트했습니다.
• 앙상블: 8 개 인코더 각각에 대한 최상의 구성을 다수결 투표로 결합했습니다.

2. 장문맥 아키텍처

약 30% 의 인스턴스가 512 토큰 한계를 초과하는 문제를 해결하기 위해, 팀은 Longformer-base-4096을 실험했습니다. 입력 순서, 글로벌 어텐션 패턴 (CLS 만 vs 질문 토큰으로 확장), 그리고 분류 헤드에 대한 제거 실험을 수행했습니다. 확장된 컨텍스트 윈도우에도 불구하고, 이 접근 방식은 최적화된 인코더 앙상블보다 성능이 우수하지 않았습니다.

3. 프롬프트 기반 LLM

팀은 태스크별 파라미터 업데이트 없이 오픈 가중치 (LLaMA, Qwen, Mixtral) 와 독점 (GPT-5, Claude-Opus-4.5, Gemini-3-Flash-Preview) 대규모 언어 모델을 평가했습니다.

• 프롬프팅 전략: 제로샷, 반복 지시사항이 포함된 제로샷, 퓨샷 (3, 9, 27 샷), 그리고 체인 오브 씽킹 (내부 추론만) 을 평가했습니다.
• 최적화: 최상의 성능을 보인 전략 (풍부화된 입력이 포함된 FS27) 은 2 단계 회피 하위 범주로 레이블 정의를 보강하고, 일부 모델의 경우 대통령 이름을 앞에 추가하여 정제되었습니다.
• 앙상블: 상위 3 개 성능 LLM 구성 (GPT-5, Gemini-3-Flash-Preview, Qwen3-235B) 을 다수결 투표로 결합했습니다.

주요 결과

• 태스크 1 성능: LLM 앙상블이 테스트 세트에서 80 의 매크로-F1을 기록하여 최고 성능을 보였습니다 (41 위 중 9 위). 이는 인코더 앙상블 (개발 세트에서 70.5 매크로-F1, 테스트 세트에서는 더 낮음) 과 Longformer 모델 (64.3 매크로-F1) 을 크게 능가했습니다.
• 태스크 2 성능: 태스크 1 LLM 앙상블 구성을 태스크 2 에 적용한 결과 59 의 매크로-F1을 기록했습니다 (33 위 중 3 위).
• 인코더 발견 사항:
  • 부분 언프리즈: 상위 25% 레이어의 언프리즈는 전체 파인튜닝 대비 매크로-F1 을 +17.9 향상시켰습니다 (59.1 대 41.2). 이는 제한된 데이터에서 전체 파인튜닝이 과적합됨을 시사합니다.
  • 앙상블 다양성: 영어 및 다국어 인코더를 결합한 앙상블 (70.5) 은 어느 가족 단독의 앙상블보다 우수했으며, 이는 다국어 모델이 개별적으로 영어 전용 모델보다 성능이 낮았음에도 불구하고 입증되었습니다.
  • 입력 보강: 전체 인터뷰어 턴을 추가하는 것은 인코더 성능을 저하시켰지만 LLM 성능은 향상시켰습니다.
• LLM 발견 사항:
  • 프롬프트 엔지니어링: 프롬프트 정제 (하위 범주 정의 추가) 는 GPT-5 의 매크로-F1 을 +7.1 향상시켰습니다.
  • 모델 규모 대 성능: 파라미터 수는 성능을 예측하지 못했습니다. 더 작은 모델 (예: Qwen3-30B) 이 때때로 더 큰 모델 (예: LLaMA-3.1-Nemotron-Ultra-253B) 보다 우수한 성능을 보였습니다.
  • 소수 클래스: LLM 앙상블은 소수 클래스 (명확한 답변 및 명확한 비답변) 에서 더 뛰어난 견고성을 보여주어, 인코더 앙상블 대비 F1 을 거의 10 점 향상시켰습니다.

중요성 및 주장

본 논문은 CLARITY 와 같은 저자원 계층적 레이블 태스크의 경우, 추론 시간 설계 선택 (프롬프트 구조, 레이블 계층 통합, 앙상블 구성) 이 파라미터 수준 적응 (파인튜닝) 보다 더 큰 영향을 미친다고 주장합니다.

주요 관찰 사항은 다음과 같습니다:

1. 프롬프팅 우위: 파인튜닝 없이 프롬프트 기반 LLM 은 파인튜닝된 인코더보다, 특히 소수 클래스에서 우수한 성능을 보였습니다.
2. 컨텍스트 활용: "풍부화된 입력"에 대한 성능 차이 (LLM 에는 도움이 되지만 인코더에는 해로움) 는 시퀀스 길이 용량만으로 설명할 수 없는 요인으로, LLM 이 인코더 아키텍처보다 추가 컨텍스트를 더 효과적으로 활용함을 시사합니다.
3. 본질적 모호성: 두 시스템 모두의 주요 실패 양상은 명확한 답변과 애매한 답변 사이의 혼동이었는데, 이는 인간 주석자의 불일치를 반영합니다. 이는 경계가 본질적으로 주관적이며 인간과 모델 모두에게 어렵다는 것을 나타냅니다.
4. 앙상블 전략: 아키텍처 다양성 (영어 및 다국어 모델 결합) 은 모델 규모만 증가시키는 것보다 전체 앙상블 성능을 향상시키는 보완적 신호를 제공했습니다.

저자들은 데이터셋이 미국 대통령 인터뷰로 제한된 점, 재현성을 위한 독점 API 의존성, 그리고 태스크 1 구성을 이전하여 해결된 태스크 2 전용 프롬프트 스윕 부재와 같은 한계를 지적합니다.