The CLEF-2026 CheckThat! Lab: Advancing Multilingual Fact-Checking

Resumo Técnico: CLEF-2026 CheckThat! Lab

O artigo apresenta a configuração das tarefas para a edição de 2026 do laboratório CheckThat!, uma iniciativa de pesquisa voltada para o desenvolvimento de tecnologias de combate à desinformação e manipulação em comunicações online. O foco central desta edição é o aprimoramento do pipeline de verificação de fatos, abordando desde a recuperação de fontes até a geração de artigos explicativos, com um forte componente multilíngue.

1. O Problema (Problem)

A disseminação de desinformação em plataformas digitais é um desafio crescente devido à escala e à velocidade da comunicação online. Os principais problemas técnicos identificados que o laboratório visa mitigar são:

• Referência Implícita: Em discussões científicas na web, as fontes (estudos) raramente são citadas via URL, sendo mencionadas de forma informal (ex: "um estudo de Stanford diz..."), o que dificulta a verificação automática.
• Complexidade de Dados Numéricos e Temporais: Modelos de Linguagem de Grande Escala (LLMs) ainda apresentam dificuldades em realizar raciocínio quantitativo preciso, sendo vulneráveis ao "Efeito de Verdade Numérica" (onde números aumentam falsamente a credibilidade de uma afirmação).
• Lacuna na Geração de Conteúdo: Embora existam avanços na verificação, a automação da escrita de artigos de fact-checking que sejam coerentes, baseados em evidências e com citações corretas ainda é um desafio de geração de texto de longo formato.

2. Metodologia e Tarefas (Methodology)

O laboratório propõe três tarefas principais que cobrem diferentes etapas do pipeline de verificação:

• Tarefa 1: Recuperação de Fontes para Alegações Científicas na Web (Source Retrieval):

  • Objetivo: Identificar e recuperar o artigo científico original mencionado implicitamente em um post de rede social.
  • Idiomas: Inglês, Alemão e Francês.
  • Abordagem: Dado um post, o sistema deve selecionar o estudo correto de um conjunto de candidatos. A avaliação será feita via Mean Reciprocal Rank (MRR@5).

• Tarefa 2: Verificação de Alegações Numéricas e Temporais (Fact-Checking):

  • Objetivo: Implementar um framework de test-time scaling para melhorar o raciocínio de LLMs em alegações que envolvem números e tempo.
  • Idiomas: Inglês, Espanhol e Árabe.
  • Abordagem: Em vez de apenas prever a veracidade, os participantes devem treinar um modelo verificador que classifique "rastros de raciocínio" (reasoning traces) gerados por LLMs, selecionando os mais úteis para chegar ao veredito correto.

• Tarefa 3: Geração de Artigos Completos de Verificação de Fatos (Article Generation):

  • Objetivo: Automatizar a redação de artigos detalhados de fact-checking.
  • Idioma: Inglês.
  • Abordagem: Fornecendo a alegação, o veredito e um conjunto de documentos de evidência, o modelo deve gerar um artigo com citações inline. A avaliação foca na correção das citações e na capacidade de o texto ser sustentado pelas evidências (entailment), utilizando métricas de referência e "LLM-as-a-judge".

3. Principais Contribuições (Key Contributions)

• Expansão do Pipeline: A introdução da Tarefa 3 move o estado da arte da simples "classificação de veracidade" para a "justificação e comunicação" de fatos.
• Foco em Raciocínio (Reasoning): A Tarefa 2 introduz a necessidade de avaliar não apenas o resultado final, mas a qualidade do processo de raciocínio lógico/numérico.
• Multilinguismo: O projeto abrange cinco idiomas (Árabe, Inglês, Alemão, Francês e Espanhol), combatendo o viés de modelos treinados predominantemente em inglês e abordando contextos culturais e linguísticos diversos.

4. Resultados Esperados e Avaliação (Results & Evaluation)

O artigo não apresenta resultados de competidores (pois é um documento de chamada/configuração), mas define rigorosamente como o sucesso será medido:

• Recuperação (T1): MRR@5.
• Verificação (T2): Recall@5, MRR@5 para os rastros de raciocínio, e F1-score para o veredito final.
• Geração (T3): Pontuação de implicação (entailment), correção e completude de citações, além de avaliações de qualidade de escrita via sistema de Elo rating (estilo Chatbot Arena).

5. Significância (Significance)

A importância deste trabalho reside na sua aplicação prática para jornalistas e profissionais de checagem de fatos. Ao atacar problemas de raciocínio numérico e de geração de textos explicativos, o CheckThat! Lab busca criar ferramentas que não apenas detectem mentiras, mas que ajudem a construir uma narrativa factual robusta e compreensível para o público, combatendo a desinformação de forma estruturada e escalável.