Resumen Técnico: UCSC NLP en SemEval-2026 Tarea 10 (PsyCoMark)

Definición del Problema

El artículo aborda la Tarea 10 de SemEval-2026 (PsyCoMark), la cual se centra en la detección de narrativas de conspiración dentro de textos en inglés. La tarea se divide en dos subtareas distintas:

1. Subtarea 1 (Extracción de Marcadores de Conspiración): Identificación y extracción de fragmentos de texto que corresponden a cinco roles semánticos específicos: Actor, Acción, Efecto, Evidencia y Víctima. El desafío radica en que estas estructuras de roles aparecen tanto en el discurso conspirativo como en el no conspirativo (crítico); la distinción depende del encuadre (framing) y la postura epistémica, más que de la mera presencia de estos roles.
2. Subtarea 2 (Detección de Conspiración a Nivel de Documento): Clasificación de documentos completos en una de tres categorías: Sí (conspiración), No (no conspiración) o No se puede determinar.

El conjunto de datos consta de más de 4,100 publicaciones de Reddit. Una dificultad clave señalada es la densa anotación de los marcadores y el desequilibrio moderado de las clases, particularmente en las etiquetas a nivel de documento.

Metodología

Los autores proponen dos sistemas independientes basados en RoBERTa-large, entrenados por separado sin compartir parámetros ni transferencia de características entre tareas.

Subtarea 1: Extracción de Fragmentos Consciente de los Límites (Boundary-Aware)

En lugar de un etiquetado a nivel de token, los autores formulan la tarea como una clasificación de fragmentos multietiqueta sobre candidatos enumerados.

• Arquitectura: El modelo enumera todos los fragmentos candidatos hasta una longitud máxima de $L=32$ tokens. Para cada fragmento $(i, j)$, se construye una representación contextual mediante la concatenación de:
  • Embeddings de los tokens de inicio y fin ($h_i, h_j$).
  • Embedding de media de los tokens dentro del fragmento ($\bar{h}_{i:j}$).
  • Un embedding aprendido que codifica la anchura del fragmento ($w_{emb}$).
  • Embeddings contextuales de los tokens inmediatos a la izquierda y derecha ($h_{i-1}, h_{j+1}$).
    Este vector de 6 componentes (dimensión 6144) se pasa a través de un MLP de dos capas para predecir los cinco roles.
• Estrategia de Entrenamiento:
  • Etiquetado: Para forzar un aprendizaje preciso de los límites, un fragmento candidato se etiqueta como positivo solo si su Intersección sobre Unión (IoU) con un fragmento de oro (gold span) es $\ge 0.95$.
  • Muestreo: Se utiliza una estrategia de muestreo de tres niveles para manejar el abrumador número de fragmentos negativos: (1) todos los fragmentos alineados con el oro, (2) negativos difíciles (fragmentos con superposición parcial, IoU $\in [0.50, 0.75)$), y (3) negativos aleatorios sin superposición.
  • Pérdida: Entropía Cruzada Binaria con logits, ponderada por rol para abordar el desequilibrio de clases.
• Decodificación: Las predicciones se someten a un post-procesamiento que incluye el umbral de probabilidad por rol (ajustado en la validación) y una Supresión de No Máximo (NMS) basada en contención. La NMS poda los fragmentos superpuestos basándose en las razones de contención y los umbrales de IoU, seguido de la fusión de fragmentos adyacentes del mismo rol separados por pequeños huecos de caracteres.

Subtarea 2: Clasificación de Documentos

• Arquitectura: Un enfoque estándar de clasificación de secuencias utilizando la representación del token [CLS] de RoBERTa-large.
• Entrenamiento: El modelo se ajusta mediante la pérdida de Entropía Cruzada y suavizado de etiquetas (label smoothing) ($\alpha=0.05$) para reducir el exceso de confianza. Se utiliza una división estratificada de 90/10 para entrenamiento-validación.
• Independencia: Este modelo opera únicamente sobre el texto bruto, ignorando las predicciones de fragmentos de la Subtarea 1 durante el entrenamiento y la inferencia.

Resultados Clave

• Subtarea 1: El sistema clasificó en el 7º puesto de entre los equipos participantes con un F1 macro de 0.2251 en el conjunto de prueba oficial (evaluado con IoU a nivel de token $\ge 0.5$).
  • Validación Interna: El modelo alcanzó un F1 micro decodificado de 0.6501 en el conjunto de validación (usando IoU a nivel de carácter $\ge 0.3$).
  • Disparidad de Rendimiento: La caída en el rendimiento se atribuye a la métrica de evaluación más estricta a nivel de token y a la sensibilidad de los roles abstractos (Acción, Efecto, Evidencia) a los criterios de límite. Los roles de tipo entidad (Actor, Víctima) mostraron una mayor robustez.
• Subtarea 2: El sistema clasificó en el 12º puesto con un F1 ponderado de 0.7694 en el conjunto de prueba oficial.
  • Nota: La evaluación oficial excluyó las instancias de "No se puede determinar", computando las métricas sobre 608 muestras, lo cual difiere de la configuración de tres clases de la validación.

Significancia y Reivindicaciones

El artículo sostiene que su principal contribución reside en la formulación específica de la extracción de fragmentos para los marcadores de conspiración y el análisis de la sensibilidad de los límites.

• Minería de Negativos Difíciles: Los autores identifican el uso de negativos difíciles (fragmentos con superposición parcial) como crítico para evitar que el modelo prediga fragmentos excesivamente amplios, refinando así la localización de los límites.
• Independencia vs. Acoplamiento: El sistema demuestra que, si bien la extracción de marcadores y la clasificación de documentos están intrínsecamente relacionadas, pueden modelarse de forma independiente. El clasificador de documentos logró un rendimiento competitivo sin características explícitas de los roles, lo que sugiere que las señales de conspiración pueden aprenderse directamente del texto bruto.
• Alineación de la Evaluación: El artículo enfatiza que el rendimiento es altamente sensible a la alineación entre las métricas de desarrollo y el protocolo de evaluación oficial. La discrepancia entre las puntuaciones de validación y de prueba se atribuye en gran medida al cambio de los criterios de IoU relajados a nivel de carácter durante el desarrollo hacia los criterios estrictos de IoU a nivel de token en la evaluación final.
• Limitaciones: Los autores reconocen modestamente que los roles abstractos siguen siendo difíciles debido a la abstracción semántica y la variabilidad en la longitud de los fragmentos. Señalan que la longitud máxima fija de los fragmentos ($L=32$) puede imponer un techo de recuperación (recall) para marcadores más largos y de múltiples cláusulas.

El trabajo concluye que, si bien los sistemas actuales pueden aprender señales de conspiración, las mejoras futuras podrían requerir un modelado conjunto de roles y clasificación, una decodificación de fragmentos estructurada y la integración de características psicolingüísticas para distinguir mejor el encuadre conspirativo de la narrativa crítica.