CSE-UOI at SemEval-2026 Task 6: A Two-Stage Heterogeneous Ensemble with Deliberative Complexity Gating for Political Evasion Detection

Resumen Técnico: Detección de Evasión Política en SemEval-2026 Task 6

1. Planteamiento del Problema

El trabajo aborda el Task 6 de SemEval-2026, centrado en la clasificación de la claridad de las respuestas en entrevistas políticas. El objetivo es identificar automáticamente si una respuesta es:

1. Respuesta Clara (Clear Reply): Responde directamente a la pregunta.
2. Ambivalente (Ambivalent): Evade la pregunta de manera sutil o indirecta.
3. No Respuesta Clara (Clear Non-Reply): Se niega explícitamente a responder o no aborda el tema.

Este es un problema complejo debido a la variación pragmática sutil en el discurso político, donde los entrevistados utilizan estrategias de evasión (como "dodging", "deflection" o respuestas vagas) para evitar compromisos directos. El desafío radica en distinguir entre respuestas que son técnicamente on-topic pero vagas (Ambivalent) y aquellas que son claras o son negativas explícitas.

2. Metodología Propuesta

Los autores proponen un sistema de dos etapas que combina un ensemble heterogéneo de Grandes Modelos de Lenguaje (LLM) con un mecanismo de corrección post-hoc novedoso.

A. Etapa 1: Ensemble Heterogéneo Dual (Base)
En lugar de predecir directamente las tres clases de claridad, el sistema utiliza una estrategia de "clasificación de evasión primero":

• Modelos: Se utilizan dos LLMs diferentes en paralelo: Grok-4-1-fast-reasoning y Gemini-3-flash-preview.
• Estrategia de Evasión: Ambos modelos clasifican las respuestas en 9 categorías finas de evasión (basadas en una taxonomía detallada que incluye Explicit, Implicit, Dodging, Deflection, etc.) utilizando Chain-of-Thought (CoT) y consistencia propia (Self-Consistency, SC) con $k=5$ muestras.
• Mapeo Determinista: Las 9 etiquetas de evasión se mapean determinísticamente a las 3 clases de claridad del task. Esto actúa como un "buffer de errores", ya que muchos errores en la clasificación fina permanecen dentro de la misma categoría de claridad.
• Votación Ponderada Asimétrica: Se combinan las predicciones mediante votación ponderada. Grok (más preciso individualmente) aporta 5 votos (de sus 5 muestras), mientras que Gemini aporta un bloque de votos con peso $w=4$ basado en su etiqueta mayoritaria.

B. Etapa 2: Puerta de Complejidad Deliberativa (DCG)
Para abordar las muestras difíciles donde los modelos discrepan, se introduce un mecanismo de corrección post-hoc y no supervisado llamado Deliberative Complexity Gating (DCG):

• Señales Conductuales: El sistema explota el hallazgo de que la longitud de la respuesta en LLMs se correlaciona fuertemente con la ambigüedad. Las respuestas "Ambivalentes" tienden a ser más largas debido a la mayor complejidad deliberativa necesaria para evadir.
• Lógica de la Puerta: La corrección se activa solo cuando se cumplen dos condiciones simultáneas (señales cruzadas):
  1. La longitud promedio de las respuestas de Gemini supera el primer cuartil ($Q_{25}$) de la longitud de respuestas en el lote actual (umbral adaptativo $\theta_1$).
  2. La consistencia propia (self-consistency) de Grok es menor que 1.0 (indicando incertidumbre).
• Acción: Si la puerta se activa, la contribución de Gemini a la votación final se sobrescribe forzosamente a la clase "Ambivalente", asumiendo que la longitud y la inconsistencia indican una respuesta evasiva compleja.
• Ventaja: A diferencia de los debates multi-agente que aumentan la complejidad computacional, DCG es ligero, no requiere entrenamiento adicional ni llamadas a API extra, y se adapta dinámicamente a la distribución de cada lote de inferencia.

3. Contribuciones Clave

1. Estrategia de Evasión Primero: El uso de una taxonomía de 9 clases de evasión como paso intermedio mejora la robustez al mapear errores finos a categorías de claridad más amplias.
2. Mecanismo DCG (Gating): Introducción de una puerta de complejidad deliberativa que utiliza señales conductuales cruzadas (longitud de un modelo + consistencia de otro) para detectar ambigüedad sin entrenamiento adicional.
3. Análisis de Debate vs. Fusión Estática: El estudio demuestra que, para esta tarea, un ensemble heterogéneo estático con fusión ponderada supera a los enfoques de debate multi-agente (donde múltiples instancias del mismo modelo debaten), ya que la diversidad de modelos es más efectiva que la deliberación iterativa en este contexto.
4. Adaptabilidad Transductiva: El umbral de DCG se calcula en tiempo de inferencia sobre el propio lote de datos, lo que permite adaptarse a cambios en la distribución de la longitud de las respuestas sin necesidad de reentrenamiento.

4. Resultados Experimentales

El sistema se evaluó en el conjunto de datos oficial de SemEval-2026 Task 6 (308 muestras de desarrollo y 237 de evaluación ciega):

• Puntuación Final: El sistema logró un Macro-F1 de 0.85 en el conjunto de evaluación, obteniendo el 3º lugar entre 41 equipos participantes.
• Comparativa de Etapas:
  • Ensemble Etapa 1: Macro-F1 de 0.8122.
  • Ensemble + DCG (Etapa 2): Macro-F1 de 0.8505.
  • La Etapa 2 mejoró consistentemente el rendimiento en ambos conjuntos (+3.83 puntos en evaluación), demostrando que la corrección de ambigüedad es efectiva.
• Análisis de Errores:
  • La mayoría de los errores restantes (86.8%) ocurren en la frontera entre "Respuesta Clara" y "Ambivalente".
  • La precisión es mayor en muestras con acuerdo unánime de los anotadores humanos, lo que sugiere que el sistema es robusto incluso ante la ambigüedad inherente a la anotación humana.
  • El debate multi-agente (7 agentes) resultó inferior al ensemble estático, degradando el rendimiento.

5. Significado e Impacto

Este trabajo destaca la eficacia de combinar diversidad de modelos con mecanismos de control de deliberación ligeros para tareas de análisis de discurso político.

• Eficiencia: Demuestra que no es necesario aumentar la capacidad computacional mediante debates complejos o más agentes; en su lugar, el uso inteligente de señales conductuales (longitud, consistencia) entre modelos heterogéneos ofrece una vía más eficiente para mejorar la detección de ambigüedad.
• Generalización: La capacidad de DCG para adaptarse a la distribución de datos en tiempo de ejecución (transductiva) sugiere que es un enfoque prometedor para sistemas de inferencia en entornos dinámicos donde las características de los datos pueden variar.
• Aplicabilidad: El código es de acceso público, facilitando la replicación y el uso en investigación sobre comunicación política y detección de desinformación o evasión.

En resumen, el sistema CSE-UOI establece un nuevo estado del arte para la clasificación de claridad en entrevistas políticas mediante una arquitectura híbrida que prioriza la diversidad de modelos y la detección adaptativa de incertidumbre.