SciClaimSeekers at CheckThat! 2026: Retrieving Scientific Sources for Social Media Claims with LLM Reranking

Resumen Técnico: SciClaimSeekers en CheckThat! 2026

Planteamiento del Problema
Las afirmaciones científicas se propagan en las redes sociales con mayor rapidez de la que pueden ser verificadas, sin embargo, las publicaciones en redes sociales rara vez enlazan a sus fuentes académicas originales. Esto crea un desafío significativo para los sistemas automatizados de verificación de hechos. La dificultad se ve agravada por el "sesgo de confirmación", donde los usuarios favorecen la información que se alinea con sus creencias preexistentes, y por el desajuste estructural entre el discurso informal y cargado de tecnicismos de las redes sociales y la literatura científica formal. Además, el contenido generado por el usuario suele parafrasear hallazgos o referenciarlos de manera laxa sin citas estandarizadas, lo que dificulta la identificación de las fuentes científicas originales. El CheckThat! 2026 Task 1 aborda específicamente la recuperación de fuentes científicas para afirmaciones de redes sociales, requiriendo que los sistemas mapeen una publicación de redes sociales al artículo correcto de un conjunto fijo de 10,000 artículos científicos.

Metodología
Los autores proponen SciClaimSeekers, un pipeline de tres etapas de "recuperación y reordenamiento" (retrieve-then-rerank) diseñado para cerrar la brecha entre las ruidosas publicaciones de redes sociales y los resúmenes científicos formales. El sistema opera de la siguiente manera:

1. Recuperación de Primera Etapa (Híbrida): Dos recuperadores complementarios operan en paralelo sobre un corpus indexado de 10,000 artículos (representados por la concatenación de título y resumen):

   • Recuperación Dispersa (Sparse Retrieval): Utiliza BM25 (Okapi) para capturar señales léxicas, tales como entidades nombradas y valores numéricos. La entrada es preprocesada para eliminar ruido (URLs, menciones, puntuación) y normalizada.
   • Recuperación Densa (Dense Retrieval): Utiliza el modelo multilingual-e5-large-instruct (basado en XLM-RoBERTa). Este modelo emplea prefijos de instrucción para diferenciar las consultas de los documentos, tratando la publicación de la red social como una consulta para recuperar el artículo científico correspondiente. Utiliza el pooling de la media sobre los estados ocultos finales y la normalización L2 para la coincidencia de similitud de coseno mediante un índice FAISS.
   • Fusión: Ambos recuperadores devuelven sus 100 mejores candidatos. Estas listas se fusionan utilizando Reciprocal Rank Fusion (RRF) con una constante de suavizado $k=60$, produciendo un conjunto unificado de 50 candidatos.

2. Reordenamiento de Segunda Etapa (LLM): Los 50 mejores candidatos fusionados son reordenados utilizando Qwen2.5-14B-Instruct, un Modelo de Lenguaje de Gran Escala (LLM) de código abierto.

   • Enfoque: El modelo se utiliza como un codificador cruzado puntual (pointwise cross-encoder) zero-shot. A diferencia de los enfoques de lista (listwise), cada par (publicación de red social, artículo candidato) se califica de forma independiente.
   • Prompting: El sistema instruye al LLM para que actúe como un identificador de fuentes científicas, emitiendo una puntuación de relevancia entera entre 0 y 10 según la probabilidad de que la publicación se refiera al artículo específico.
   • Salida: Los candidatos se ordenan por la puntuación del LLM (rompiendo empates con la puntuación RRF de la Etapa 2), y se devuelven los 5 mejores como la predicción final.

Contribuciones Clave

1. Desempeño del Pipeline Híbrido: Los autores presentan un pipeline híbrido de recuperación y reordenamiento que alcanzó el puesto 11 de 37 equipos participantes en el conjunto de prueba en inglés de CheckThat! 2026 Task 1. El sistema logró un MRR@5 de 64.39% en el conjunto de prueba oficial.
2. Dominio de los LLM en el Reordenamiento: El estudio aísla la contribución de cada etapa, identificando al codificador cruzado del LLM como el principal motor del desempeño. El reordenador Qwen2.5-14B proporcionó aproximadamente +10 puntos de MRR@5 ya fuera aplicado a los candidatos de BM25 por sí solos o a los candidatos fusionados de forma híbrida. Esto representa aproximadamente tres cuartas partes de la mejora total de +13.67 puntos sobre la línea base de BM25.
3. Generalización: El sistema demostró una fuerte capacidad de generalización, con una brecha insignificante de 0.03 puntos porcentuales entre la puntuación del conjunto de desarrollo (64.36%) y la puntuación del conjunto de prueba (64.39%), lo que sugiere que las decisiones de ajuste se transfieren limpiamente a los datos no vistos.

Resultados y Análisis
La evaluación, basada en el Rango Recíproco Medio (MRR@5), Hit@1 y Hit@5, revela lo siguiente:

• Líneas Base: BM25 por sí solo logró ~50% de MRR@5. El recuperador denso E5 mejoró esto en ~2 puntos, y la fusión RRF híbrida añadió otro ~1.5 puntos.
• Comparación de Reordenamiento: Un codificador cruzado tradicional (bge-reranker-v2-m3) mostró ganancias modestas en el conjunto de desarrollo pero sufrió de sobreajuste (overfitting), desempeñándose peor que la línea base híbrica en el conjunto de prueba. En contraste, el reordenador generativo de LLM (Qwen2.5-14B) entregó ganancias sustanciales y consistentes.
• Eficiencia vs. Desempeño: Aunque el reordenador de LLM es el cuello de botella computacional (tomando ~11 horas para el conjunto de prueba en dos GPUs A40), los autores señalan que el pipeline es modular y se ejecuta de extremo a extremo en un solo nodo, lo que lo hace práctico para despliegues offline o sensibles a la privacidad.

Significancia y Reivindicaciones
El artículo afirma que los modelos preentrenados de gran tamaño, cuando se integran en un pipeline cuidadoso, pueden ser competitivos con los enfoques de ajuste fino (fine-tuning) para la recuperación de fuentes científicas. Específicamente, los autores argumentan que la calificación puntual (pointwise scoring) con un LLM fuerte de pesos abiertos sirve como un sustituto fiable para entrenar un reordenador específico de la tarea. El trabajo destaca que, si bien la recuperación híbrida (combinando señales dispersas y densas) proporciona una base necesaria para la recuperación (recall), el salto significativo en la calidad del ordenamiento es impulsado por la capacidad de comprensión semántica del LLM en la etapa de reordenamiento. El sistema se presenta como una solución de código abierto y modular que aborda eficazmente los desajustes lingüísticos y estructurales inherentes a la vinculación de afirmaciones de redes sociales con evidencia científica.