mdok-style at SemEval-2026 Task 10: Finetuning LLMs for Conspiracy Detection

Resumen Técnico: mdok-style en SemEval-2026 Tarea 10

Definición del Problema
El artículo aborda la Tarea 10 de SemEval-2026 (PsyCoMark), una tarea compartida centrada en la detección de creencias conspirativas dentro del discurso de las redes sociales. Específicamente, los autores abordan la Subtarea 2, un problema de clasificación binaria que requiere identificar si un comentario en inglés de Reddit expresa una creencia conspirativa (Sí/No). El desafío principal destacado es la escasez de datos de entrenamiento etiquetados, que consta de solo 1.715 muestras positivas y 2.263 negativas, con longitudes de texto filtradas entre 160 y 1.000 caracteres.

Metodología
El sistema propuesto, denominado mdok-style, adapta un marco robusto de detección de texto generado por máquinas (originalmente desarrollado para PAN@CLEF2025) al dominio de la detección de conspiraciones. El enfoque se basa en tres componentes principales:

1. Modelo Base y Ajuste Fino: El sistema utiliza el modelo de lenguaje grande (LLM) Qwen3-32B, seleccionado tras una comparación de las familias Qwen3 y Gemma-3. El modelo se ajusta fino para clasificación de secuencias binarias utilizando QLoRA (cuantización de 4 bits) para eficiencia de parámetros. El proceso de optimización emplea el optimizador AdamW paginado con un programa de tasa de aprendizaje cosenoidal (2e-5) y una relación de calentamiento de 0.03.
2. Aumento de Datos: Para mitigar el tamaño pequeño del conjunto de datos, los autores emplean cuatro técnicas específicas de aumento aplicadas al 10% de las copias de los datos de entrenamiento:
   • Anonimización: Reemplazo de correos electrónicos, menciones de usuarios y números de teléfono identificados por regex con etiquetas ([EMAIL], [USER], [PHONE]), manteniendo el reemplazo original de URL ([URL]).
   • Variación de Mayúsculas y Minúsculas: Generación de versiones en minúsculas y mayúsculas del texto para imponer la insensibilidad a mayúsculas y centrarse en el significado semántico.
   • Homoglifización: Introducción de intercambios de caracteres visualmente similares de diferentes scripts para aumentar la robustez frente a la confusión del clasificador basada en la tokenización.
   • Deduplicación: Eliminación de copias redundantes no modificadas del conjunto de entrenamiento final.
3. Autoentrenamiento: El sistema implementa un enfoque iterativo de aprendizaje semi-supervisado. Un modelo inicial se entrena con los datos etiquetados de oro aumentados. Luego predice etiquetas para los conjuntos de desarrollo y prueba no etiquetados. Solo las predicciones con confianza extrema (probabilidad $\ge$ 0.99 para "Sí" o $\le$ 0.01 para "No") se retienen como "etiquetas de plata". Estas pseudoetiquetas de alta confianza se combinan con los datos de entrenamiento originales para reentrenar el detector, con el objetivo de expandir el conjunto de entrenamiento efectivo sin propagar errores significativos.

Contribuciones Clave

• Transferencia Interdominio: El artículo demuestra la transferencia exitosa del marco mdok, diseñado originalmente para la detección de texto generado por máquinas, al dominio distinto de la detección de teorías conspirativas.
• Robustez mediante Aumento: El estudio valida que combinar técnicas específicas de ofuscación de texto (homoglifos, anonimización) con autoentrenamiento puede abordar eficazmente la escasez de datos en el ajuste fino de LLM.
• Implementación del Sistema: Los autores proporcionan una implementación completa de código abierto (a través del marco IMGTB) y una guía detallada de replicación, incluidos los hiperparámetros específicos y las tuberías de procesamiento de datos utilizadas.

Resultados
El sistema enviado logró una puntuación Macro F1 de 0.78 en el conjunto de pruebas oficial.

• Clasificación: El sistema se colocó 8º de 52 envíos, situándose en el percentil 85.
• Rendimiento Comparativo: Aunque el Qwen3-32B con autoentrenamiento y un umbral de clasificación desplazado (0.7) obtuvo la puntuación más alta, los autores señalan que modelos más pequeños, como DeBERTa-Large (<0.5B parámetros), lograron un Macro F1 competitivo de 0.75, lo que sugiere una compensación favorable entre rendimiento y costo computacional.
• Ablación: La inclusión del autoentrenamiento y el aumento de datos mejoró consistentemente el rendimiento sobre el modelo base sin estos componentes (por ejemplo, Qwen3-32B sin autoentrenamiento obtuvo 0.76).

Significado y Afirmaciones
El artículo afirma modestamente que el enfoque mdok-style, originado en la detección de texto generado por máquinas, es una estrategia viable y competitiva para la detección de conspiraciones. Los autores enfatizan que su método aprovecha con éxito el aumento de datos y el autoentrenamiento para superar las limitaciones de los conjuntos de datos de entrenamiento pequeños. Reconocen que, aunque su sistema es altamente competitivo, el costo computacional de los modelos de 32B parámetros debe sopesarse frente a las ganancias marginales sobre modelos más pequeños y eficientes como DeBERTa. El trabajo concluye que el enfoque es efectivo, pero señala limitaciones relacionadas con la evaluación de solo textos en inglés y una exploración limitada de arquitecturas de modelos base.