Resumen Técnico: CLaC en SemEval-2026 Tarea 6 (CLARITY)

Definición del Problema

El artículo aborda la Tarea 6 de SemEval-2026 (CLARITY), una tarea compartida centrada en la detección de claridad y evasión en respuestas dentro del discurso político. El sistema procesa pares de preguntas y respuestas en inglés extraídos de entrevistas presidenciales de EE. UU. La tarea está estructurada jerárquicamente:

• Tarea 1: Clasificar las respuestas en una de tres categorías de Claridad: Respuesta Clara, Respuesta Ambivalente o No Respuesta Clara.
• Tarea 2: Predecir una de nueve etiquetas de Evasión de granularidad fina que subcategorizan las clases de Claridad (por ejemplo, Esquivar, Desviar, Explícito, Parcial).

El conjunto de datos comprende 3.993 instancias con un desequilibrio de clases significativo (dominado por Ambivalente en el Nivel 1 y Explícito/Esquivar en el Nivel 2) y una dificultad inherente de anotación, evidenciada por un acuerdo moderado entre anotadores ($\kappa = 0.65$) en el límite entre Respuesta Clara y Ambivalente.

Metodología

El equipo CLaC evaluó tres enfoques arquitectónicos distintos, optimizándolos mediante una tubería de múltiples etapas:

1. Modelos Basados en Codificadores

El equipo evaluó 8 codificadores transformadores (incluyendo variantes en inglés como BERT, RoBERTa, DeBERTa y variantes multilingües como mBERT, XLM-RoBERTa, mDeBERTa) a través de cuatro etapas de optimización:

• Etapa 1 (Adaptación del Codificador): Comparó el ajuste fino completo frente al descongelamiento parcial de capas (25%, 50%, 75% superiores) y LoRA. El descongelamiento parcial (específicamente el 25% superior) superó significativamente al ajuste fino completo.
• Etapa 2 (Clasificación y Representación): Evaluó diferentes cabezas de clasificación (Lineal sobre CLS, MLP, Agrupación Promedio) y estrategias de truncamiento (estándar vs. cabeza-cola).
• Etapa 3 (Pérdida y Regularización): Probó la Pérdida Focal y tasas de dropout variables frente a una línea base de Pérdida Cruzada Ponderada (WCE) con un dropout de 0.1. WCE resultó suficiente.
• Etapa 4 (Datos y Entrada): Probó la augmentación de datos (parafraseos generados por LLM para la clase minoritaria No Respuesta Clara) y entrada enriquecida (concatenando el turno completo del entrevistador con la pregunta objetivo).
• Conjunto: La mejor configuración para cada uno de los 8 codificadores se combinó mediante votación mayoritaria.

2. Arquitectura de Contexto Largo

Para abordar el ~30% de las instancias que superan el límite de 512 tokens, el equipo experimentó con Longformer-base-4096. Realizaron un estudio de ablación sobre el orden de entrada, patrones de atención global (solo CLS vs. extendido a tokens de pregunta) y cabezas de clasificación. A pesar de la ventana de contexto extendida, este enfoque no superó al conjunto de codificadores optimizado.

3. LLMs Basados en Prompts

El equipo evaluó Modelos de Lenguaje Grandes (LLM) de pesos abiertos (LLaMA, Qwen, Mixtral) y propietarios (GPT-5, Claude-Opus-4.5, Gemini-3-Flash-Preview) sin actualizaciones de parámetros específicas de la tarea.

• Estrategias de Prompting: Se evaluaron Zero-Shot, Zero-Shot con instrucciones repetidas, Few-Shot (3, 9, 27 ejemplos) y Cadena de Pensamiento (razonamiento interno únicamente).
• Optimización: La estrategia de mejor rendimiento (FS27 con entrada enriquecida) se refinó enriqueciendo las definiciones de etiquetas con subcategorías de Evasión de Nivel 2 y, para algunos modelos, anteponiendo el nombre del presidente.
• Conjunto: Las 3 configuraciones de LLM con mejor rendimiento (GPT-5, Gemini-3-Flash-Preview, Qwen3-235B) se combinaron mediante votación mayoritaria.

Resultados Clave

• Rendimiento en Tarea 1: El conjunto de LLM logró el mejor rendimiento con 80 macro-F1 en el conjunto de prueba (clasificando 9º/41). Esto superó significativamente al conjunto de codificadores (70.5 macro-F1 en desarrollo, menor en prueba) y al modelo Longformer (64.3 macro-F1).
• Rendimiento en Tarea 2: Aplicar la configuración del conjunto de LLM de la Tarea 1 a la Tarea 2 arrojó 59 macro-F1 (clasificando 3º/33).
• Hallazgos de Codificadores:
  • Descongelamiento Parcial: Descongelar el 25% superior de las capas mejoró el macro-F1 en +17.9 sobre el ajuste fino completo (59.1 vs. 41.2), lo que sugiere que el ajuste fino completo sobreajusta los datos limitados.
  • Diversidad del Conjunto: Combinar codificadores en inglés y multilingües (70.5) superó a los conjuntos de cualquiera de las familias por separado, a pesar de que los modelos multilingües rindieron individualmente peor que los modelos solo en inglés.
  • Enriquecimiento de Entrada: Añadir el turno completo del entrevistador degradó el rendimiento de los codificadores pero mejoró el rendimiento de los LLM.
• Hallazgos de LLM:
  • Ingeniería de Prompts: El refinamiento del prompt (añadiendo definiciones de subcategorías) impulsó una ganancia de +7.1 en macro-F1 para GPT-5.
  • Escala del Modelo vs. Rendimiento: La cantidad de parámetros no predijo el rendimiento; modelos más pequeños (por ejemplo, Qwen3-30B) a veces superaron a modelos más grandes (por ejemplo, LLaMA-3.1-Nemotron-Ultra-253B).
  • Clases Minoritarias: El conjunto de LLM mostró una robustez superior en clases minoritarias (Respuesta Clara y No Respuesta Clara), mejorando el F1 en casi 10 puntos sobre el conjunto de codificadores.

Significado y Afirmaciones

El artículo afirma que para tareas con recursos limitados y etiquetadas jerárquicamente como CLARITY, las decisiones de diseño en tiempo de inferencia (estructura del prompt, integración de la jerarquía de etiquetas y composición del conjunto) son más impactantes que la adaptación a nivel de parámetros (ajuste fino).

Las observaciones clave incluyen:

1. Superioridad del Prompting: Los LLM basados en prompts, sin ningún ajuste fino, superaron a los codificadores ajustados, particularmente en clases minoritarias.
2. Utilización del Contexto: La divergencia en el rendimiento respecto a la "entrada enriquecida" (ayudando a los LLM pero perjudicando a los codificadores) sugiere que los LLM aprovechan el contexto adicional de manera más efectiva que las arquitecturas de codificadores, un factor no atribuible únicamente a la capacidad de longitud de secuencia.
3. Ambigüedad Inherente: El modo de fallo dominante para ambos sistemas fue la confusión entre Respuesta Clara y Ambivalente, reflejando el desacuerdo entre los anotadores humanos. Esto indica que el límite es inherentemente subjetivo y difícil tanto para humanos como para modelos.
4. Estrategia de Conjunto: La diversidad arquitectónica (combinando modelos en inglés y multilingües) proporcionó señales complementarias que mejoraron el rendimiento general del conjunto más que aumentar la escala del modelo por sí sola.

Los autores señalan limitaciones relacionadas con la restricción del conjunto de datos a entrevistas presidenciales de EE. UU., la dependencia de APIs propietarias para la reproducibilidad y la falta de un barrido dedicado de prompts para la Tarea 2, lo cual se abordó transfiriendo la configuración de la Tarea 1.