KCLarity at SemEval-2026 Task 6: Encoder and Zero-Shot Approaches to Political Evasion Detection

이 논문은 SemEval-2026 의 정치적 회피 탐지 과제를 위해 KCLarity 팀이 제안한 인코더 기반 모델과 제로샷 접근법의 두 가지 모델링 전략을 비교 분석하여, 공개 테스트 세트에서는 RoBERTa-large 가, 숨겨진 평가 세트에서는 GPT-5.2 가 각각 더 우수한 일반화 성능을 보였음을 보고합니다.

핵심

1. 문제의 본질: "정치인의 회피술"을 잡아라

상상해 보세요. TV 토론에서 기자가 정치인에게 "어제 그 사건에 대해 어떻게 생각하나요?"라고 묻습니다.

• 명확한 답: "저는 A 라고 생각합니다." (이건 Clear Reply)
• 회피하는 답: "우리는 모두 국가의 안정을 원합니다. 중요한 건..." (질문은 무시하고 다른 이야기를 함. 이건 Evasion/회피)

이 논문은 정치인들이 질문을 피할 때 사용하는 9 가지不同类型的 회피 기술 (예: "모르겠다", "일부만 답함", "주제를 돌림" 등) 을 컴퓨터가 알아내게 하려고 했습니다. 마치 정치인의 말 속에 숨겨진 '회피의 미끼'를 찾아내는 탐정 같은 역할을 한 셈입니다.

2. 두 가지 탐정 방식: "직접 찾기" vs "유추하기"

팀은 두 가지 다른 방식으로 이 문제를 해결해 보았습니다.

• 방식 A (직접 찾기): "이 답변은 '명확한가', '모호한가', '거부한가'?"라고 바로 묻는 방식입니다.
  • 비유: 경찰이 용의자를 보고 "너가 범인이야?"라고 바로 물어보는 것 같습니다.
• 방식 B (유추하기): 먼저 "이 답변은 어떤 회피 기술을 썼을까?" (예: '주제 돌리기', '일부만 답하기') 를 9 가지로 세분화해서 찾은 뒤, 그 결과를 바탕으로 "아, 그럼 이건 '모호한 답'이구나"라고 결론을 내리는 방식입니다.
  • 비유: 경찰이 범인의 '행동 패턴' (도망침, 변명, 침묵) 을 먼저 분석한 뒤, 그 패턴을 보고 "아, 이 사람은 범인일 확률이 높다"라고 추론하는 것입니다.

결과: 두 방식 모두 비슷하게 잘 작동했지만, 방식 B(세부 회피 기술을 먼저 파악한 뒤 유추하는 방식)가 조금 더 안정적이고 효율적이었습니다. 마치 복잡한 사건을 작은 조각으로 나누어 분석하는 것이 더 정확하다는 뜻입니다.

3. 두 가지 도구: "전문가" vs "천재 신동"

팀은 이 작업을 수행하기 위해 두 종류의 AI 모델을 사용했습니다.

• 도구 1: RoBERTa-large (전문가)
  • 이 모델은 **수천 개의 정치 인터뷰 데이터를 직접 공부 **(학습)한 '전문가'입니다.
  • 성적: 공개된 시험지 (Public Test) 에서는 가장 좋은 점수를 받았습니다. 특정 분야에 특화된 전문가라 그 분야에서 매우 강력했습니다.
• 도구 2: GPT-5.2 (천재 신동)
  • 이 모델은 특정 데이터를 공부하지 않고도, 지시사항만 보고 바로 답하는 '천재 신동'입니다. (Zero-shot: 제로샷 학습)
  • 성적: 공개 시험지에서는 전문가에게 조금 밀렸지만, **숨겨진 최종 시험지 **(Hidden Test)에서는 오히려 더 좋은 성적을 냈습니다.
  • 의미: 이는 "공부한 데이터에 너무 맞춰진 전문가"보다 "어떤 상황에서도 유연하게 대처하는 천재"가 예상치 못한 새로운 상황 (실제 시험) 에 더 강할 수 있음을 보여줍니다.

4. 결론: "회피"는 여전히 어렵다

결론적으로, 이 팀은 RoBERTa-large(전문가)와 GPT-5.2(천재)를 모두 활용하여 정치인의 회피를 탐지하는 시스템을 만들었습니다.

• 성공: 컴퓨터가 정치인의 말투를 분석하여 "이건 회피야!"라고 지적하는 데 어느 정도 성공했습니다.
• 한계: 하지만 여전히 어려운 점이 많습니다.
  • 사람들도 "이건 회피인가, 아니면 그냥 모호한 표현인가?"를 두고 의견이 갈립니다 ( annotator disagreement).
  • 특히 '모호한 답 (Ambivalent)'이라는 범주가 너무 많아서, AI 가 이를 구분하는 데는 여전히 헷갈리는 부분이 많습니다.

요약

이 논문은 **"정치인의 말 속에 숨은 회피술을 찾아내는 AI 탐정"**을 개발한 이야기입니다.

• 세부적인 회피 기술을 먼저 분석하면 더 잘 맞출 수 있었습니다.
• 특정 분야를 공부한 전문가 AI와 공부 없이도 잘하는 천재 AI 중, 상황에 따라 천재 AI 가 더 뛰어난 실력을 보여주었습니다.

이 기술이 발전하면, 앞으로 TV 토론이나 정치 인터뷰에서 정치인들이 질문을 피할 때 **"아, 지금 회피하고 있군요"**라고 실시간으로 알려주는 도구가 될 수도 있겠습니다!

기술 요약

SemEval-2026 태스크 6: KCLarity 팀의 정치적 회피 (Evasion) 탐지 기술 요약

이 문서는 King's College London 의 KCLarity 팀이 SemEval-2026 의 CLARITY 공유 작업 (Shared Task) 에 참여하여 제출한 논문의 기술적 요약입니다. 이 작업은 정치 담론에서의 모호성 (Ambiguity) 과 회피 (Evasion) 기법을 분류하고 탐지하는 것을 목표로 합니다.

1. 문제 정의 (Problem Definition)

정치인의 답변은 공개적인 감시를 받지만, 종종 명확하지 않거나 회피적인 답변을 합니다. CLARITY 태스크는 두 가지 하위 태스크로 구성됩니다:

• 태스크 1 (명확성 분류): 답변의 명확성 수준을 3 가지 클래스로 분류 (명확한 답변, 애매한 답변, 명확한 비답변).
• 태스크 2 (회피 기법 식별): 답변이 회피적인 경우, 구체적인 회피 전략 (9 가지 클래스: 명시적, 암시적, 회피, 일반화, 전가, 부분적 답변, 거절, 무지 주장, 명확화 요청 등) 을 식별합니다.

이 두 태스크는 계층적 관계 (Taxonomy) 를 가지며, 회피 기법을 예측하면 이를 통해 명확성 수준을 유추할 수 있습니다. 데이터셋 (QEvasion) 은 미국 대통령 인터뷰에서 추출되었으며, 클래스 불균형 (애매한 답변이 59.2% 차지) 과 주석자 간 의견 불일치 (IAA) 가 주요 도전 과제입니다.

2. 방법론 (Methodology)

KCLarity 팀은 두 가지 주요 모델링 접근법을 비교 및 평가했습니다.

2.1 인코더 기반 모델 (Encoder-based Models)

• 모델 아키텍처: RoBERTa-large, RoBERTa-base, DeBERTa-v3-large/base 등을 파인튜닝했습니다.
• 학습 목표 (Two Formulations):
  1. 직접 명확성 예측 (Direct Clarity): 명확성 3 클래스를 직접 예측.
  2. 회피 기반 명확성 예측 (Evasion-based Clarity): 9 가지 회피 클래스를 먼저 예측한 후, 계층적 매핑을 통해 명확성 클래스를 유추.
  • 결론: 두 방식의 성능은 유사했으나, 단일 모델로 두 태스크를 처리할 수 있는 회피 기반 접근법을 최종적으로 선택했습니다.
• 입력 표현 (Input Representation): 질문과 답변의 순서 및 경계 표시 방식 비교. [QUESTION] q [ANSWER] a 형태의 마커 토큰을 사용한 방식이 [CLS] a [SEP] q [SEP] 형태의 세그먼트 방식보다 성능이 더 우수했습니다.
• 보조 전략: 클래스 불균형 해결을 위한 가중 손실 (Loss Weighting), 사람 이름 마스킹 (Masking), 도메인 간 전이 학습 (Earnings Calls Q&A), 인지 왜곡 (Cognitive Distortion) 신호 추가 등을 실험했으나, 일관된 성능 향상 효과는 확인되지 않았습니다.

2.2 제로샷 디코더 모델 (Zero-Shot Decoder Models)

• 접근법: 파인튜닝 없이 프롬프트 엔지니어링을 통해 제로샷 (Zero-shot) 설정에서 평가.
• 모델: Llama 3, Qwen, Gemma 3 등 오픈 가중치 모델과 GPT-5.2(상용 모델) 를 사용.
• 프롬프트: 9 가지 회피 라벨을 예측하도록 지시하는 구조화된 프롬프트를 사용하며, 이를 통해 명확성 라벨을 유추했습니다.

3. 주요 결과 (Key Results)

3.1 공개 테스트 세트 (Public Test Set)

• 인코더 모델: RoBERTa-large가 가장 우수한 성능을 보였습니다.
  • 명확성 (Macro F1): 0.661
  • 회피 (Average F1): 0.371
• 디코더 모델: 오픈 가중치 모델 (Llama-3.3-70B 등) 은 RoBERTa-large 보다 성능이 낮았습니다.
• GPT-5.2: 상용 모델인 GPT-5.2 는 오픈 모델 중 가장 성능이 좋았으며 (명확성 F1 0.626), 인코더 모델과 유사한 수준까지 도달했으나 공개 세트에서는 RoBERTa-large 가 약간 더 우세했습니다.

3.2 공식 평가 (Hidden Test Set)

• 최종 순위:
  • 태스크 1 (명확성): GPT-5.2 가 22 위 (F1 0.74), RoBERTa-large 앙상블이 23 위 (F1 0.72) 를 기록했습니다.
  • 태스크 2 (회피): GPT-5.2 가 13 위 (F1 0.50), RoBERTa-large 가 13 위 (F1 0.45) 를 기록했습니다.
• 경향성 변화: 공개 세트에서는 인코더 모델이 우세했으나, 비공개 (Hidden) 세트에서는 GPT-5.2 가 더 우수한 일반화 성능을 보여주었습니다. 이는 인코더 모델이 학습 데이터 분포에 부분적으로 과적합 (Overfitting) 되었을 가능성을 시사합니다.

3.3 오류 분석 (Error Analysis)

• 명확성 수준: '애매한 답변 (Ambivalent Reply)' 클래스가 가장 높은 재현율 (Recall 0.79) 을 보였으나, '명확한 답변'과 '명확한 비답변' 사이의 경계에서 오류가 가장 많이 발생했습니다. 이는 주석자 간 합의가 낮은 영역과 일치합니다.
• 회피 기법: '명확화 요청 (Clarification)'과 '명시적 (Explicit)'은 잘 탐지되었으나, '암시적 (Implicit)', '일반화 (General)', '전가 (Deflection)', '부분적 답변 (Partial)' 간의 혼동이 심했습니다. 이는 세밀한 회피 전략 간의 의미적 중복과 주석자의 주관적 해석 차이 때문입니다.

4. 주요 기여 및 의의 (Contributions & Significance)

1. 모델링 전략 비교: 직접 명확성 예측과 회피 기반 명확성 예측의 성능을 체계적으로 비교하여, 계층적 구조를 활용한 단일 모델 접근법의 유효성을 입증했습니다.
2. 인코더 vs 제로샷 LLM: 도메인 특화 파인튜닝 (RoBERTa) 과 대규모 언어 모델의 제로샷 능력 (GPT-5.2) 의 장단점을 비교했습니다. 특히, 공개 세트와 비공개 세트에서의 성능 역전 현상을 통해 모델의 일반화 능력과 과적합 문제에 대한 중요한 통찰을 제공했습니다.
3. 데이터 및 평가 분석: 클래스 불균형, 주석자 간 불일치, 그리고 다양한 분할 전략 (레이블 계층화 vs 화자 분리) 이 모델 성능에 미치는 영향을 분석했습니다.
4. 한계점 및 향후 과제:
   • 입력 표현 방식 (질문/답변 순서 vs 마커 토큰) 의 효과를 명확히 분리하지 못함.
   • 학습 시 단일 주석자 라벨만 사용했으나, 테스트 시 다중 주석자 데이터를 활용한 불확실성 모델링의 필요성 제기.
   • 제로샷 LLM 의 파인튜닝 (예: LoRA) 을 통한 추가 성능 향상 가능성 제시.

5. 결론

KCLarity 팀은 정치적 회피 탐지 과제에서 RoBERTa-large 기반의 인코더 모델이 공개 테스트에서 강력한 성능을 보였으나, 비공개 테스트에서는 GPT-5.2 와 같은 제로샷 대형 언어 모델이 더 나은 일반화 능력을 보임을 발견했습니다. 이는 정치적 담론의 복잡성과 모호성으로 인해 단일 모델 접근법보다는 다양한 모델의 특성을 이해하고, 데이터의 불확실성을 고려한 접근이 필요함을 시사합니다.