Resumo Técnico: FactNet

Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) frequentemente alucinam afirmações factuais e têm dificuldade em fundamentar suas saídas em evidências recuperáveis, uma limitação exacerbada em idiomas não ingleses. Embora a Geração Aumentada por Recuperação (RAG) e os sistemas fundamentados em conhecimento ofereçam um caminho a seguir, eles exigem dados de treinamento que acoplem simultaneamente conhecimento estruturado com evidências textuais nativas. Os recursos existentes impõem um compromisso crítico:

• Bases de Conhecimento Estruturadas (ex: Wikidata): Oferecem escala e estrutura consultável, mas carecem de fundamentação textual, deixando os sistemas RAG sem sinais de supervisão para recuperação de fato-para-texto.
• Conjuntos de Dados Fundamentados (ex: FEVER, AveriTeC): Fornecem evidências de alta qualidade, mas são limitados em escala (milhares de instâncias) e majoritariamente monolíngues devido à dependência de curadoria manual.
• Recursos de Alinhamento (ex: T-REx, KELM): Conectam grafos e texto, mas frequentemente carecem de precisão ao nível de byte, cobrem apenas o inglês ou dependem de geração sintética que rompe conexões com documentos escritos por humanos.
• Expansão Sintética: Tradução automática ou geração por LLM aumenta a cobertura multilíngue, mas introduz artefatos de tradução e dependências circulares onde verificadores aprendem padrões do gerador em vez de fundamentação na realidade.

Falta um recurso que ofereça cobertura em escala de bilhões, amplo suporte multilíngue e fundamentação de evidências nativa ao nível de segmentos com proveniência determinística.

Metodologia

Os autores apresentam o FactNet, um recurso aberto em escala de bilhões que acopla 1,7 bilhão de afirmações do Wikidata com 3,01 bilhões de ponteiros de evidência extraídos de 316 edições nativas da Wikipedia. A construção baseia-se em um pipeline determinístico que evita inferência estocástica ou geração sintética, garantindo que cada unidade de evidência seja rastreável à sua fonte com precisão ao nível de byte.

Modelo de Dados e Arquitetura

O FactNet é organizado em três camadas acopladas:

1. FactStatement: Uma unidade atômica e neutra em relação ao idioma que representa uma afirmação do Wikidata (Sujeito, Propriedade, Valor), incluindo qualificadores e referências.
2. FactSense: Uma realização fundamentada dentro de uma edição específica da Wikipedia. Vincula um FactStatement a evidência textual concreta (frase, campo de infobox ou célula de tabela) com deslocamentos ao nível de byte (índices de pontos de código Unicode) relativos a strings de evidência normalizadas.
3. FactSynset: Uma classe de equivalência que agrupa FactStatements que expressam o mesmo fato subjacente em diferentes idiomas e formas superficiais.

Pipeline de Construção

O pipeline processa dumps da Wikimedia (JSON do Wikidata, XML da Wikipedia, tabelas de links SQL) através de três estágios determinísticos:

1. Geração de Visualizações: Extrai três visualizações estáveis de proveniência a partir do wikitexto bruto: Visualização de Frase (via remoção de modelos), Visualização de Modelo (extração baseada em AST de parâmetros de infobox) e Visualização de Tabela (análise estrutural). A expansão completa de modelos é evitada para prevenir ruído e instabilidade de deslocamento.
2. Normalização e Canonalização: As afirmações são agregadas em FactSynsets usando uma chave canônica orientada por política ($S \parallel P \parallel \text{NormValue} \parallel \text{NormQuals}$). A equivalência estrita é o padrão; relaxamentos semânticos (ex: truncamento de precisão temporal, conversão de unidades) são aplicados apenas via política explícita $\pi$ e registrados com merge_reasons legíveis por máquina.
3. Correspondência e Rastreamento de Proveniência: Utiliza correspondentes ordenados e conscientes de tipo de dados para alinhar afirmações à evidência:
   • Baseado em Estrutura: Correspondência de parâmetros de infobox/tabela.
   • Baseado em Links: Alinhamento de afirmações com valor de entidade via Wikilinks para QIDs.
   • Lexical: Correspondência de valores literais (tempo, quantidade) dentro do texto.
   • Ponteiros de Evidência: Cada FactSense inclui um ponteiro $(page\_id, revision\_id, view\_type, unit\_locator)$ e deslocamentos de caracteres, permitindo a re-localização exata a partir dos dumps de origem.

FactNet-Bench

Para avaliar o recurso, os autores construíram o FactNet-Bench, uma suíte para Completamento de Grafos de Conhecimento (KGC), Resposta a Perguntas em KG Multilíngue (MKQA) e Verificação de Fatos Multilíngue (MFC). As principais características de design incluem:

• Controles de Vazamento: As divisões são geradas via hash estável de synset_ids. A evidência alinhada a conjuntos de desenvolvimento/teste é estritamente excluída dos pools de treinamento.
• Mascaramento de Predicados: Para KGC consciente de texto, descrições no momento da consulta mascaram valores associados ao predicado consultado para prevenir extração trivial.
• Reprodutibilidade Determinística: Todas as divisões, baselines e artefatos de avaliação são derivados de um instantâneo congelado.

Principais Contribuições

1. FactNet: O primeiro recurso em escala de bilhões que acopla conhecimento estruturado com evidência textual nativa multilíngue em 316 idiomas. Agrega 1,7 bilhão de FactStatements e 3,01 bilhões de FactSenses em 1,55 bilhão de FactSynsets.
2. Construção Determinística: Um pipeline que alcança escala sem precedentes sem artefatos sintéticos, garantindo que cada ponteiro de evidência seja reproduzível a partir de dumps de dados brutos com precisão ao nível de byte.
3. FactNet-Bench: Uma suíte de benchmark com controles sistemáticos de vazamento para avaliar o raciocínio factual fundamentado, distinguindo entre métodos estruturais, conscientes de texto e integrados a LLM.

Resultados e Avaliação

Experimentos no FactNet-Bench demonstram o seguinte:

• Diferenciação de Métodos: O benchmark diferencia efetivamente métodos estruturais (TransE, RotatE), métodos conscientes de texto (SimKGC, KG-S2S) e abordagens integradas a LLM (GLTW). Métodos integrados a LLM alcançam o melhor desempenho (ex: GLTW: 0,386 MRR em KGC), mas métodos conscientes de texto mostram ganhos significativos sobre baselines estruturais.
• Sensibilidade ao Vazamento: Sem mascaramento de predicados, modelos conscientes de texto mostram ganhos de desempenho anômalos (ex: MRR do KG-S2S salta de 0,298 para 0,351), confirmando que o controle de vazamento é necessário para evitar que tarefas degenerem em extração de informação.
• Transferência Cross-Lingual: A estrutura compartilhada de FactSynset permite transferência de conhecimento. O treinamento em descrições de entidades apenas em inglês retém 78% do desempenho em idiomas Tier-2 e 64% em Tier-3, demonstrando que o alinhamento estrutural mitiga a escassez de texto.
• Qualidade da Evidência: A recuperação densa (E5-large) supera significativamente o BM25 na Verificação de Fatos (0,701 vs. 0,654 de precisão). Incluir evidência de infobox e tabela é crítico; removê-las reduz o Recall@5 de evidência MFC em 14,5%.
• Alucinação de LLM: A sondagem de GPT-4o e Qwen-2.5-72B em fatos do FactNet revela altas taxas de alucinação, particularmente em idiomas de baixo recurso (Tier-3: 44-48%) e para fatos temporais (34%). Isso desafia a suposição de que LLMs codificam conhecimento factual confiável a partir de seus dados de treinamento.
• Validação Externa: Sistemas RAG aumentados com FactNet superam baselines de dump da Wikipedia no TriviaQA (+3,4 EM) e FEVER (+2,2 de precisão, +4,5 de F1 de evidência), com ganhos ainda maiores em cenários cross-linguais.

Significado e Alegações

O artigo afirma que o FactNet aborda o "compromisso tripartite" entre escala, fidelidade de fundamentação e cobertura linguística que limitou recursos anteriores. Ao tratar a Wikipedia como uma árvore XML estruturada para indexação, em vez de um corpus para raspagem, o FactNet alcança a magnitude de grafos de conhecimento enquanto preserva a granularidade de fundamentação de conjuntos de dados de verificação.

Os autores enfatizam que o FactNet fornece supervisão confiável para sistemas RAG, verificação de fatos e raciocínio multilíngue sem depender de geração sintética. O recurso é projetado para ser proveniência-em-primeiro, permitindo que pesquisadores auditem a conexão entre fatos e evidências. Os autores observam que, embora o FactNet herde vieses de sua fonte (Wikidata/Wikipedia) e exiba uma distribuição de cauda longa favorecendo idiomas de alto recurso, sua construção determinística e tratamento explícito de "lacunas de evidência" (ex: via códigos ungrounded_reason) fornecem uma base transparente para pesquisas futuras em IA confiável. O artigo conclui que estruturas cross-linguais de FactSynset facilitam transferência significativa de conhecimento entre níveis de idioma, oferecendo um caminho para melhorar a fundamentação factual em idiomas de baixo recurso.