KCLarity at SemEval-2026 Task 6: Encoder and Zero-Shot Approaches to Political Evasion Detection

El artículo presenta la participación del equipo KCLarity en SemEval-2026, donde comparan enfoques de codificadores y modelos de lenguaje generativos en configuración zero-shot para la detección de evasión política, encontrando que RoBERTa-large y GPT-5.2 obtienen los mejores resultados en los conjuntos de prueba público y oculto, respectivamente.

Lo esencial

¡Hola! Imagina que estás viendo un debate político en la televisión. De repente, el periodista hace una pregunta muy directa: "¿Cuánto dinero va a gastar el gobierno en educación?". Y el político responde: "Bueno, la educación es vital para nuestro futuro, y estamos comprometidos con el progreso...".

¿Notas cómo no respondió la pregunta? No dijo un número, ni un plan, ni un "sí" o un "no". Se desvió. Eso es lo que los científicos de la computación llaman evasión política.

Este documento es el informe de un equipo de investigadores de la Universidad King's College de Londres (llamados KCLarity) que participaron en una competencia internacional llamada SemEval-2026. Su misión fue crear una "inteligencia artificial" capaz de detectar cuándo un político está siendo claro y cuándo está usando trucos para no responder.

Aquí te explico cómo lo hicieron, usando analogías sencillas:

1. El Problema: El "Espejo Roto" de la Política

Los políticos a menudo usan un lenguaje ambiguo. Es como si hablaran con un espejo roto: la imagen (la respuesta) se ve, pero está fragmentada y no refleja la realidad de la pregunta.

• Respuesta Clara: "Sí, gastaremos 100 millones".
• Respuesta Ambigua (Evasiva): "Estamos trabajando en un plan integral para el bienestar..." (Sin números, sin fechas).

El equipo quería construir un detector que pudiera decir: "¡Oye, este político está evadiendo la pregunta!".

2. Las Dos Estrategias: El Detective Directo vs. El Detective de Pistas

El equipo probó dos formas de entrenar a sus "detectives" (sus modelos de IA):

• Estrategia A (El Detective Directo): Le enseñaron a la IA a mirar la respuesta y decir directamente: "Esto es una evasión" o "Esto es claro".
• Estrategia B (El Detective de Pistas): Le enseñaron primero a identificar qué tipo de truco usó el político (¿se escondió? ¿cambió de tema? ¿dijo que no sabía?). Una vez que la IA identificó el truco, usaron un mapa de reglas (una jerarquía) para deducir si eso contaba como una respuesta clara o no.

El resultado: Ambas estrategias funcionaron casi igual de bien. Pero la Estrategia B fue más inteligente porque, al aprender a detectar los trucos específicos, la IA podía resolver el problema de la claridad sin necesidad de ser entrenada dos veces. Es como aprender a identificar las piezas de un rompecabezas; si sabes las piezas, puedes armar la imagen completa.

3. Los Jugadores: ¿Quién ganó la carrera?

El equipo probó dos tipos de "cerebros" de IA:

• Los Especialistas (Modelos Codificadores): Son como detectives entrenados que han leído miles de entrevistas políticas. Se les dio un entrenamiento intensivo (fine-tuning) con datos específicos. El campeón aquí fue RoBERTa-large.

  • Analogía: Es como un policía local que conoce cada callejón de su ciudad. En su propio barrio (los datos públicos), es imbatible.

• Los Genios Políglotas (Modelos Decodificadores / Zero-Shot): Son como super-inteligencias que nunca han visto un caso de este tipo antes, pero son tan inteligentes que pueden adivinar la respuesta solo leyendo las instrucciones. El campeón aquí fue GPT-5.2.

  • Analogía: Es como un detective de la FBI que llega a una ciudad nueva. Al principio, el policía local le gana, pero cuando el caso se complica o cambia de escenario (datos ocultos), el genio políglota se adapta mejor y gana.

La sorpresa: En las pruebas públicas, el "policía local" (RoBERTa) ganó. Pero en la prueba final secreta (donde los datos eran diferentes), el "genio políglota" (GPT-5.2) demostró ser más robusto y generalizó mejor.

4. Los Trucos que no Funcionaron (y por qué)

El equipo intentó varias cosas para mejorar sus modelos, como:

• Enmascarar nombres: Intentaron borrar los nombres de las personas (ej. cambiar "Trump" por "[PERSONA]") para ver si la IA se centraba más en las palabras y menos en la fama del político. Resultado: No ayudó. La IA necesita el contexto completo.
• Ponderar las clases: Como hay muchas más respuestas "ambivalentes" que "claras", intentaron darles más peso en el entrenamiento. Resultado: No mejoró mucho las cosas.
• Cambiar el orden: Probaron poner la pregunta antes que la respuesta (o viceversa). Resultado: Poner la pregunta primero ayudó un poco, como si le dijeras al detective: "Primero lee el crimen, luego la coartada".

5. El Veredicto Final

El equipo concluyó que detectar la evasión política es muy difícil, incluso para las máquinas.

• A veces, ni siquiera los humanos (los anotadores) están de acuerdo en si una respuesta es evasiva o no.
• La IA es buena, pero no perfecta. A veces confunde una respuesta "general" con una "evasión total".

En resumen:
El equipo KCLarity construyó un sistema muy capaz para detectar cuando los políticos "hacen malabares" con las palabras. Descubrieron que, aunque entrenar a un modelo específico en datos políticos es muy útil, los modelos de IA más grandes y generales (como GPT-5.2) tienen una ventaja sorprendente: pueden entender el contexto político incluso sin haber sido entrenados específicamente para ello, actuando como un "super-lector" que entiende las sutilezas humanas mejor que un especialista que solo ha leído un tipo de texto.

Es un paso importante para que, en el futuro, tengamos herramientas automáticas que nos ayuden a ver a través de la niebla de las palabras políticas y exigir respuestas claras.

Resumen técnico

Resumen Técnico: KCLarity en SemEval-2026 Task 6

1. Problema y Contexto

El artículo aborda el desafío de detectar y clasificar la ambigüedad y las técnicas de evasión en el discurso político. La capacidad de los políticos para responder con claridad a preguntas de los medios es fundamental para la rendición de cuentas pública, pero estudios previos indican que sus respuestas suelen ser menos claras que las de no políticos.

El trabajo se centra en la tarea compartida CLARITY (SemEval-2026), que consta de dos subtasas jerárquicamente relacionadas:

• Tarea 1: Predecir el nivel de claridad de una respuesta (Claro, Ambivalente, No Respuesta Clara).
• Tasa 2: Identificar la técnica de evasión específica (ej. evasión explícita, evasión implícita, elusión, generalización, etc.).

El dataset utilizado es QEvasion, compuesto por entrevistas presidenciales de EE. UU., que presenta un desequilibrio de clases significativo (la clase "Respuesta Ambivalente" representa el 59.2% de los datos) y un desafío en la acuerdo entre anotadores, especialmente en la distinción entre respuestas claras y ambivalentes.

2. Metodología

El equipo KCLarity (King's College London) evaluó dos formulaciones de modelado principales y dos familias de arquitecturas:

A. Enfoques de Modelado:

1. Claro Directo: Entrenar el modelo para predecir directamente las 3 etiquetas de claridad.
2. Claridad Basada en Evasión: Entrenar el modelo para predecir las 9 etiquetas de evasión y luego inferir la claridad utilizando la jerarquía de la taxonomía. Esta aproximación se motivó por hallazgos previos que sugerían que predecir la evasión primero podría ser más robusto.

B. Familias de Modelos:

• Modelos Basados en Codificadores (Fine-tuning):

  • Se utilizaron RoBERTa y DeBERTa-v3 (variantes base y large).
  • Se exploraron estrategias de peso de pérdida (Loss Weighting) para mitigar el desequilibrio de clases (esquemas no ponderados, balanceados por frecuencia inversa y raíz cuadrada).
  • Se compararon dos representaciones de entrada: Segmentada (Respuesta primero) vs. Marcada (Pregunta primero con tokens especiales [QUESTION] y [ANSWER]).
  • Se realizaron experimentos de ablación sobre el enmascaramiento de nombres de personas y el uso de señales auxiliares (como la probabilidad de distorsión cognitiva).

• Modelos Basados en Decodificadores (Zero-Shot):

  • Se evaluaron modelos de lenguaje grandes (LLMs) sin ajuste fino (zero-shot), incluyendo modelos de código abierto (Llama 3, Qwen, Gemma) y comerciales (GPT-5.2).
  • Se diseñó un prompt estructurado que instruye al modelo a seguir una "escalera de decisión" lógica para asignar una etiqueta de evasión, de la cual se deriva la claridad.

3. Contribuciones Clave

• Comparación de Formulaciones: Demostraron que predecir la evasión primero y derivar la claridad es una estrategia competitiva que permite reutilizar un único modelo para ambas tareas, eliminando la necesidad de entrenar modelos separados.
• Análisis de Representación de Entrada: Identificaron que el formato de entrada donde la pregunta precede a la respuesta (con tokens marcadores) ofrece un mejor sesgo inductivo para la alineación pregunta-respuesta que el formato segmentado tradicional.
• Evaluación de Generalización: Compararon el rendimiento de modelos ajustados (fine-tuned) frente a modelos zero-shot, revelando diferencias cruciales entre el conjunto de pruebas público y el conjunto oculto (hidden test set).
• Análisis de Error Detallado: Proporcionaron una descomposición por etiqueta que revela dónde fallan los modelos, especialmente en clases con soporte limitado (ej. "Respuesta Parcial") y en la distinción entre estrategias de evasión semánticamente superpuestas.

4. Resultados

En el Conjunto de Pruebas Público (Desarrollo):

• El modelo RoBERTa-large ajustado para predecir evasión (y derivar claridad) obtuvo los mejores resultados entre los modelos de codificadores, con un Macro-F1 de 0.661 en la tarea de claridad.
• Entre los modelos zero-shot, GPT-5.2 fue el más fuerte (F1 = 0.626), superando a los modelos de código abierto, pero aún por debajo de RoBERTa-large en este conjunto de datos.
• Las estrategias auxiliares (enmascaramiento de nombres, transferencia de dominio a llamadas de ganancias, señales de distorsión cognitiva) no mejoraron el rendimiento de manera consistente.

En el Conjunto de Pruebas Oculto (Evaluación Oficial):

• Hubo un cambio notable en el ranking: GPT-5.2 (Zero-Shot) se convirtió en el sistema ganador, obteniendo un Macro-F1 de 0.74 en la Tarea 1 (Claridad) y 0.50 en la Tarea 2 (Evasión).
• El ensemble de RoBERTa-large obtuvo un F1 de 0.72 en claridad, quedando en segundo lugar.
• Interpretación: El hecho de que el modelo zero-shot superara a los modelos ajustados en el conjunto oculto sugiere que los modelos ajustados podrían haber sufrido un ligero sobreajuste a la distribución de entrenamiento, mientras que GPT-5.2 mostró una mejor generalización a datos no vistos.

5. Significado y Conclusiones

El trabajo destaca que la detección de evasión política sigue siendo un desafío difícil debido a la subjetividad inherente y el desacuerdo entre anotadores (especialmente en la clase "Ambivalente").

• Compromiso (Trade-off): Existe un equilibrio entre el rendimiento in-domain (mejor con fine-tuning en datos específicos) y la robustez de generalización (mejor con modelos grandes zero-shot).
• Limitaciones: El estudio señala que la evaluación actual depende de etiquetas agregadas que pueden ocultar la incertidumbre de los anotadores. Sugiere que futuras investigaciones deberían explorar etiquetas suaves (soft labels) o formulaciones multi-etiqueta para capturar mejor la naturaleza ambigua de la evasión.
• Impacto: El sistema KCLarity demuestra que, aunque los modelos codificadores tradicionales son muy competitivos, los LLMs modernos, incluso sin entrenamiento específico, pueden ofrecer una generalización superior en tareas complejas de análisis de discurso político, lo cual es vital para herramientas de monitoreo mediático escalables.

En resumen, el equipo KCLarity ha establecido un estado del arte sólido para la detección de evasión política, proporcionando un análisis exhaustivo de cómo la arquitectura del modelo, la formulación de la tarea y la estrategia de entrenamiento afectan la capacidad de distinguir entre respuestas claras y evasivas.