CSE-UOI at SemEval-2026 Task 6: A Two-Stage Heterogeneous Ensemble with Deliberative Complexity Gating for Political Evasion Detection

SemEval-2026 Task 6: 정치적 회피 탐지를 위한 이종 앙상블 및 deliberative 복잡성 게이팅 시스템 기술 요약

본 논문은 CSE-UOI 팀이 SemEval-2026 Task 6 (정치적 인터뷰 응답의 명확성 분류) 에 제출한 시스템을 설명합니다. 이 작업은 정치적 인터뷰에서 질문을 직접적으로 회피하거나 애매모호하게 답변하는 경우를 식별하여, 응답을 '명확한 답변 (Clear Reply)', '애매모호한 응답 (Ambivalent)', '명확한 비답변 (Clear Non-Reply)'의 세 가지 범주로 분류하는 것을 목표로 합니다.

1. 문제 정의 (Problem)

정치적 커뮤니케이션 연구에서 인터뷰어의 질문에 대한 답변이 직접적인지, 회피적인지, 아니면 애매모호한지를 자동으로 식별하는 것은 중요한 과제입니다. 기존 연구들은 이러한 문제를 '응답 명확성 분류' 문제로 정의하며, 미묘한 화용론적 (pragmatic) 변이를 구별해야 하는 어려움을 겪고 있습니다. 특히 '명확한 답변'과 '애매모호한 응답' 사이의 경계는 매우 모호하여 모델의 판단을 어렵게 만듭니다.

2. 방법론 (Methodology)

저자들은 2 단계 이종 앙상블 (Two-Stage Heterogeneous Ensemble) 아키텍처를 제안하며, 여기에 새로운 사후 수정 메커니즘인 의사결정 복잡성 게이팅 (Deliberative Complexity Gating, DCG) 을 도입했습니다.

2.1 1 단계: 이종 이중 LLM 앙상블 (Dual-Model Ensemble)

• 모델 구성: grok-4-1-fast-reasoning 과 gemini-3-flash-preview 두 개의 서로 다른 대형 언어 모델 (LLM) 을 병렬로 실행합니다. 모델 간 훈련 데이터와 정렬 방식의 차이로 인한 상관 오류를 줄이고 다양성을 확보하기 위해 이종 모델을 선택했습니다.
• 전략 (Evasion-First): 직접적으로 3 개의 명확성 클래스를 예측하는 대신, 먼저 9 가지 세부적인 '회피 (Evasion)' 카테고리로 분류한 후 이를 결정론적으로 3 개의 명확성 클래스로 매핑합니다. 이는 오류 버퍼 역할을 하여 최종 정확도를 높입니다.
• 자기 일관성 (Self-Consistency, SC): 각 모델에 대해 $k=5$개의 샘플을 생성하여 자기 일관성을 적용합니다.
• 비대칭 가중 투표 (Asymmetric Weighted Voting):
  • Grok 모델이 개별적으로 더 높은 정확도를 보였으므로, 5 개의 샘플에서 도출된 5 표를 할당합니다.
  • Gemini 모델은 다수결로 결정된 하나의 클래스에 대해 가중치 $w=4$를 부여합니다.
  • 총 9 개의 가중 신호를 기반으로 최종 예측을 결정합니다.

2.2 2 단계: 의사결정 복잡성 게이팅 (Deliberative Complexity Gating, DCG)

1 단계 앙상블이 여전히 난이도가 높거나 경계선에 있는 샘플 (특히 모델 간 이견이 있는 경우) 에서 성능이 저하되는 문제를 해결하기 위해 고안된 사후 (post-hoc) 수정 레이어입니다.

• 동작 원리: 모델의 행동 신호 (Behavioral Signals) 를 활용하여 불확실한 경우를 감지하고, 해당 경우에만 Gemini 모델의 기여도를 수정합니다.
• 신호 탐지:
  • Gemini 응답 길이: 애매모호한 (Ambivalent) 응답을 처리할 때 Gemini 모델의 응답 길이가 유의미하게 길어지는 경향이 있음을 발견했습니다. 이는 '의사결정 복잡성'의 프록시 (proxy) 로 작용합니다.
  • Grok 자기 일관성: Grok 모델의 자기 일관성 점수가 낮을 때 불확실성이 높음을 나타냅니다.
• 게이트 로직:
  • 현재 배치 (batch) 에서 계산된 Gemini 응답 길이의 제 1 사분위수 ($Q25, \theta_1$) 를 임계값으로 사용합니다.
  • 조건: Gemini 평균 응답 길이 > $\theta_1$ 그리고 Grok 자기 일관성 < 1.0 인 경우 게이트가 활성화됩니다.
  • 조치: 게이트가 활성화되면, Gemini 의 기존 명확성 라벨을 '애매모호 (Ambivalent)'로 강제로 덮어씌우고 (override), 다시 가중 투표 과정을 거쳐 최종 예측을 재계산합니다.
• 특징: 추가 학습이나 API 호출 없이, 배치 내 데이터 분포에 적응적으로 임계값을 조정하는 전도적 (transductive) 방식입니다.

2.3 대안 전략 비교 (Multi-Agent Debate)

저자들은 DCG 와 대조적으로 '다중 에이전트 토론 (Multi-agent Debate)' 전략을 실험했습니다. 그러나 동일한 모델을 여러 개 사용하여 토론을 시키는 방식은 모델 다양성을 증가시키지 못해, 이종 앙상블 + 정적 융합 방식보다 성능이 낮았습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 게이팅 메커니즘 (DCG): LLM 의 응답 길이와 자기 일관성이라는 행동 신호를 활용하여, 불확실한 사례를 자동으로 식별하고 수정하는 경량화된 사후 처리 레이어를 제안했습니다.
2. 이종 앙상블 전략: 단일 모델의 오류를 보완하고, 회피 분류를 먼저 수행한 후 명확성으로 매핑하는 'Evasion-First' 전략을 통해 모델의 강건성을 높였습니다.
3. 행동 신호 기반의 불확실성 추정: 응답 길이가 모델의 불확실성과 애매모호함과 강한 상관관계가 있음을 실증적으로 확인하고 이를 시스템에 적용했습니다.

4. 실험 결과 (Results)

• 성능: 평가 세트 (Evaluation Set) 에서 Macro-F1 점수 0.8505를 기록하여, 41 개 제출작 중 3 위를 차지했습니다.
• 개량 효과:
  • 1 단계 앙상블만으로는 평가 세트에서 0.8122 의 점수를 기록했으나, DCG 를 적용한 2 단계 시스템으로 0.8505 로 크게 향상되었습니다.
  • 개발 세트 (Development Set) 에서도 0.7941 에서 0.8100 으로 개선되었습니다.
• Ablation Study:
  • 자기 일관성 ($k=5$) 이 단일 통과보다 성능을 향상시켰습니다.
  • 다중 에이전트 토론은 오히려 성능을 저하시켰으며, 모델 다양성과 정적 융합이 더 효과적이었습니다.
  • DCG 의 임계값 ($\theta_1$) 은 배치별로 동적으로 조정될 때 가장 좋은 성능을 보였습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의: 정치적 회피 탐지와 같은 복잡한 자연어 처리 작업에서, 모델의 내부 행동 신호 (응답 길이, 일관성) 를 활용하여 추론 복잡성을 적응적으로 조절하는 것이 효과적임을 증명했습니다. 또한, 추가적인 학습 없이도 LLM 앙상블의 성능을 극대화할 수 있는 경량화된 방법을 제시했습니다.
• 한계:
  • DCG 는 응답 길이에 기반하므로, 도메인이나 모델에 따라 이 상관관계가 깨질 수 있습니다.
  • 배치 단위 추론이 필요하여 실시간 단일 요청 처리에는 제약이 있을 수 있습니다.
  • Proprietary LLM (Grok, Gemini) 에 의존하므로 재현성 및 비용 측면에서 제약이 있습니다.

결론적으로, 이 연구는 정치적 텍스트 분석에서 모델의 행동적 특징을 활용한 지능형 게이팅 메커니즘이 애매모호한 사례를 해결하는 데 핵심적인 역할을 할 수 있음을 보여주었습니다.