SciClaimSeekers at CheckThat! 2026: Retrieving Scientific Sources for Social Media Claims with LLM Reranking

Resumo Técnico: SciClaimSeekers no CheckThat! 2026

Definição do Problema
Alegações científicas espalham-se nas redes sociais com mais frequência do que podem ser verificadas, no entanto, as publicações em redes sociais raramente fazem o link para as suas fontes acadêmicas originais. Isso cria um desafio significativo para sistemas automatizados de verificação de fatos. A dificuldade é agravada pelo "viés de confirmação", onde os usuários favorecem informações que se alinham com crenças preexistentes, e pelo descompasso estrutural entre o discurso informal e carregado de jargões das redes sociais e a literatura científica formal. Além disso, o conteúdo gerado pelo usuário frequentemente parafraseia descobertas ou faz referência a elas de forma vaga, sem citações padronizadas, tornando difícil a identificação das fontes científicas originais. O CheckThat! 2026 Task 1 aborda especificamente a recuperação de fontes científicas para alegações de redes sociais, exigindo que os sistemas mapeiem uma publicação de rede social para o artigo correto de um conjunto fixo de 10.000 artigos científicos.

Metodologia
Os autores propõem o SciClaimSeekers, um pipeline de três estágios "recuperar-então-reclassificar" (retrieve-then-rerank) projetado para preencher a lacuna entre postagens ruidosas de redes sociais e resumos científicos formais. O sistema opera da seguinte forma:

1. Recuperação de Primeiro Estágio (Híbrida): Dois recuperadores complementares operam em paralelo em um corpus indexado de 10.000 artigos (representados por título e resumo concatenados):

   • Recuperação Esparsa: Utiliza BM25 (Okapi) para capturar sinais lexicais, como entidades nomeadas e valores numéricos. A entrada é pré-processada para remover ruídos (URLs, menções, pontuação) e normalizada.
   • Recuperação Densa: Utiliza o modelo multilingual-e5-large-instruct (baseado em XLM-RoBERTa). Este modelo emprega prefixos de instrução para diferenciar consultas de documentos, tratando a postagem da rede social como uma consulta para recuperar o respectivo artigo científico. Ele utiliza mean pooling sobre os estados ocultos finais e normalização L2 para correspondência de similaridade de cosseno via um índice FAISS.
   • Fusão: Ambos os recuperadores retornam seus top-100 candidatos. Estas listas são fundidas usando Reciprocal Rank Fusion (RRF) com uma constante de suavização $k=60$, produzindo um conjunto unificado de 50 candidatos.

2. Reclassificação de Segundo Estágio (LLM): Os 50 candidatos fundidos são reclassificados usando o Qwen2.5-14B-Instruct, um Modelo de Linguagem de Grande Escala (LLM) de código aberto.

   • Abordagem: O modelo é utilizado como um cross-encoder pointwise zero-shot. Diferente das abordagens listwise, cada par (postagem de rede social, artigo candidato) é pontuado independentemente.
   • Prompting: O sistema instrui o LLM a agir como um identificador de fonte científica, gerando um score de relevância inteiro entre 0 e 10 sobre a probabilidade de a postagem se referir ao artigo específico.
   • Saída: Os candidatos são ordenados pelo score do LLM (com empates resolvidos pelo score RRF do Estágio 2), e os 5 melhores são retornados como a previsão final.

Principais Contribuições

1. Desempenho do Pipeline Híbrido: Os autores apresentam um pipeline híbrido de "recuperar-então-reclassificar" que alcançou o 11º lugar entre 37 equipes participantes no conjunto de teste em inglês do CheckThat! 2026 Task 1. O sistema alcançou um MRR@5 de 64,39% no conjunto de teste oficial.
2. Dominância do LLM na Reclassificação: O estudo isola a contribuição de cada estágio, identificando o cross-encoder do LLM como o principal motor de desempenho. O reclassificador Qwen2.5-14B forneceu aproximadamente +10 pontos de MRR@5, quer aplicado aos candidatos do BM25 isoladamente ou aos candidatos fundidos do híbrido. Isso representa cerca de três quartos da melhoria total de +13,67 pontos sobre o baseline de BM25.
3. Generalização: O sistema demonstrou forte generalização, com uma diferença negligenciável de 0,03 ponto percentual entre o score do conjunto de desenvolvimento (64,36%) e o score do conjunto de teste (64,39%), sugerindo que as decisões de ajuste (tuning) transferem-se limpas para os dados não vistos.

Resultados e Análise
A avaliação, baseada em Mean Reciprocal Rank (MRR@5), Hit@1 e Hit@5, revela o seguinte:

• Baselines: O BM25 sozinho alcançou ~50% de MRR@5. O recuperador denso E5 melhorou isso em ~2 pontos, e a fusão RRF híbrida adicionou outros ~1,5 pontos.
• Comparação de Reclassificação: Um cross-encoder tradicional (bge-reranker-v2-m3) mostrou ganhos modestos no conjunto de desenvolvimento, mas sofreu de overfitting, performando pior que o baseline híbrido no conjunto de teste. Em contraste, o reclassificador generativo de LLM (Qwen2.5-14B) entregou ganhos substanciais e consistentes.
• Eficiência vs. Desempenho: Embora o reclassificador de LLM seja o gargalo computacional (levando ~11 horas para o conjunto de teste em duas GPUs A40), os autores observam que o pipeline é modular e roda de ponta a ponta em um único nó, tornando-o prático para implantações offline ou sensíveis à privacidade.

Significância e Alegações
O artigo afirma que modelos pré-treinados de grande escala, quando integrados em um pipeline cuidadoso, podem ser competitivos com abordagens de ajuste fino (fine-tuned) para a recuperação de fontes científicas. Especificamente, os autores argumentam que a pontuação pointwise com um forte LLM de pesos abertos serve como um substituto confiável para o treinamento de um reclassificador específico para a tarefa. O trabalho destaca que, embora a recuperação híbrida (combinando sinais esparsos e densos) forneça uma base necessária para a revocação (recall), o salto significativo na qualidade de classificação é impulsionado pela capacidade de compreensão semântica do LLM na etapa de reclassificação. O sistema é apresentado como uma solução modular de código aberto que aborda eficazmente os descompassos linguísticos e estruturais inerentes à ligação de alegações de redes sociais com evidências científicas.