Resumen Técnico: FactNet

Declaración del Problema

Los Modelos de Lenguaje Grandes (LLM) frecuentemente alucinan afirmaciones factuales y luchan para fundamentar sus salidas en evidencia recuperable, una limitación que se exacerba en idiomas distintos al inglés. Aunque la Generación Aumentada por Recuperación (RAG) y los sistemas fundamentados en conocimiento ofrecen un camino a seguir, requieren datos de entrenamiento que acoplen simultáneamente conocimiento estructurado con evidencia textual nativa. Los recursos existentes imponen un compromiso crítico:

• Bases de Conocimiento Estructuradas (p. ej., Wikidata): Ofrecen escala y estructura consultable, pero carecen de fundamentación textual, dejando a los sistemas RAG sin señales de supervisión para la recuperación de hecho-a-texto.
• Conjuntos de Datos Fundamentados (p. ej., FEVER, AveriTeC): Proporcionan evidencia de alta calidad, pero están limitados en escala (miles de instancias) y son mayoritariamente monolingües debido a su dependencia de la curación manual.
• Recursos de Alineación (p. ej., T-REx, KELM): Puentean grafos y texto, pero a menudo carecen de precisión a nivel de byte, cubren solo el inglés o dependen de generación sintética que rompe las conexiones con documentos escritos por humanos.
• Expansión Sintética: La traducción automática o la generación por LLM aumenta la cobertura multilingüe, pero introduce artefactos de traducción y dependencias circulares donde los verificadores aprenden patrones del generador en lugar de fundamentarse en la realidad.

Existe una carencia de un recurso que proporcione cobertura a escala de miles de millones, amplio soporte multilingüe y fundamentación de evidencia nativa a nivel de fragmento con procedencia determinista.

Metodología

Los autores introducen FactNet, un recurso abierto a escala de miles de millones que acopla 1.700 millones de afirmaciones de Wikidata con 3.010 millones de punteros de evidencia extraídos de 316 ediciones nativas de Wikipedia. La construcción se basa en una pipeline determinista que evita la inferencia estocástica o la generación sintética, asegurando que cada unidad de evidencia sea rastreable hasta su fuente con precisión a nivel de byte.

Modelo de Datos y Arquitectura

FactNet se organiza en tres capas acopladas:

1. FactStatement: Una unidad atómica y neutra al lenguaje que representa una afirmación de Wikidata (Sujeto, Propiedad, Valor) incluyendo calificadores y referencias.
2. FactSense: Una realización fundamentada dentro de una edición específica de Wikipedia. Vincula un FactStatement con evidencia textual concreta (oración, campo de infobox o celda de tabla) con desplazamientos a nivel de byte (índices de puntos de código Unicode) relativos a cadenas de evidencia normalizadas.
3. FactSynset: Una clase de equivalencia que agrupa FactStatements que expresan el mismo hecho subyacente a través de diferentes idiomas y formas superficiales.

Pipeline de Construcción

La pipeline procesa volcados de Wikimedia (JSON de Wikidata, XML de Wikipedia, tablas de enlaces SQL) a través de tres etapas deterministas:

1. Generación de Vistas: Extrae tres vistas estables de procedencia a partir del wikitexto crudo: Vista de Oración (mediante eliminación de plantillas), Vista de Plantilla (extracción basada en AST de parámetros de infobox) y Vista de Tabla (análisis estructural). Se evita la expansión completa de plantillas para prevenir ruido e inestabilidad de desplazamientos.
2. Normalización y Canonización: Las afirmaciones se agregan en FactSynsets utilizando una clave canónica impulsada por políticas ($S \parallel P \parallel \text{NormValue} \parallel \text{NormQuals}$). La equivalencia estricta es la predeterminada; las relajaciones semánticas (p. ej., truncamiento de precisión temporal, conversión de unidades) se aplican solo mediante una política explícita $\pi$ y se registran con merge_reasons legibles por máquina.
3. Emparejamiento y Seguimiento de Procedencia: Utiliza emparejadores ordenados y conscientes del tipo de datos para alinear afirmaciones con evidencia:
   • Basado en estructura: Empareja parámetros de infobox/tabla.
   • Basado en enlaces: Alinea afirmaciones con valores de entidad mediante Wikilinks a QIDs.
   • Léxico: Empareja valores literales (tiempo, cantidad) dentro del texto.
   • Punteros de Evidencia: Cada FactSense incluye un puntero $(page\_id, revision\_id, view\_type, unit\_locator)$ y desplazamientos de caracteres, permitiendo la re-localización exacta desde los volcados de origen.

FactNet-Bench

Para evaluar el recurso, los autores construyeron FactNet-Bench, una suite para Completación de Grafos de Conocimiento (KGC), Respuesta a Preguntas de KG Multilingüe (MKQA) y Verificación de Hechos Multilingüe (MFC). Las características clave de diseño incluyen:

• Controles de Fuga: Las divisiones se generan mediante hashing estable de synset_ids. La evidencia alineada a los synsets de Desarrollo/Prueba se excluye estrictamente de los conjuntos de entrenamiento.
• Enmascaramiento de Predicados: Para KGC consciente del texto, las descripciones en tiempo de consulta enmascaran los valores asociados con el predicado consultado para evitar la extracción trivial.
• Reproducibilidad Determinista: Todas las divisiones, líneas base y artefactos de evaluación se derivan de una instantánea congelada.

Contribuciones Clave

1. FactNet: El primer recurso a escala de miles de millones que acopla conocimiento estructurado con evidencia textual nativa multilingüe en 316 idiomas. Agrega 1.700 millones de FactStatements y 3.010 millones de FactSenses en 1.550 millones de FactSynsets.
2. Construcción Determinista: Una pipeline que logra una escala sin precedentes sin artefactos sintéticos, asegurando que cada puntero de evidencia sea reproducible desde volcados de datos crudos con precisión a nivel de byte.
3. FactNet-Bench: Una suite de referencia con controles sistemáticos de fuga para evaluar el razonamiento factual fundamentado, distinguiendo entre métodos estructurales, conscientes del texto e integrados con LLM.

Resultados y Evaluación

Los experimentos en FactNet-Bench demuestran lo siguiente:

• Diferenciación de Métodos: La referencia diferencia eficazmente métodos estructurales (TransE, RotatE), métodos conscientes del texto (SimKGC, KG-S2S) y enfoques integrados con LLM (GLTW). Los métodos integrados con LLM logran el rendimiento más alto (p. ej., GLTW: 0.386 MRR en KGC), pero los métodos conscientes del texto muestran ganancias significativas sobre las líneas base estructurales.
• Sensibilidad a Fugas: Sin enmascaramiento de predicados, los modelos conscientes del texto muestran ganancias de rendimiento anómalas (p. ej., el MRR de KG-S2S salta de 0.298 a 0.351), confirmando que el control de fugas es necesario para evitar que las tareas degeneren en extracción de información.
• Transferencia Translingüe: La estructura compartida de FactSynset permite la transferencia de conocimiento. El entrenamiento con descripciones de entidades solo en inglés retiene el 78% del rendimiento en idiomas de Nivel 2 y el 64% en Nivel 3, demostrando que la alineación estructural mitiga la escasez de texto.
• Calidad de la Evidencia: La recuperación densa (E5-large) supera significativamente a BM25 en Verificación de Hechos (0.701 vs. 0.654 de precisión). Incluir evidencia de infobox y tablas es crítico; eliminarlos reduce la Recuperación@5 de evidencia de MFC en un 14.5%.
• Alucinación de LLM: La exploración de GPT-4o y Qwen-2.5-72B sobre hechos de FactNet revela altas tasas de alucinación, particularmente en idiomas de recursos bajos (Nivel 3: 44-48%) y para hechos temporales (34%). Esto desafía la suposición de que los LLM codifican conocimiento factual confiable a partir de sus datos de entrenamiento.
• Validación Externa: Los sistemas RAG aumentados con FactNet superan a las líneas base de volcados de Wikipedia en TriviaQA (+3.4 EM) y FEVER (+2.2 de precisión, +4.5 de F1 de evidencia), con ganancias aún mayores en escenarios translingües.

Significado y Afirmaciones

El artículo afirma que FactNet aborda el "compromiso triple" entre escala, fidelidad de fundamentación y cobertura lingüística que ha limitado los recursos anteriores. Al tratar Wikipedia como un árbol XML estructurado para indexación en lugar de un corpus para raspado, FactNet alcanza la magnitud de los grafos de conocimiento mientras preserva la granularidad de fundamentación de los conjuntos de datos de verificación.

Los autores enfatizan que FactNet proporciona supervisión confiable para sistemas RAG, verificación de hechos y razonamiento multilingüe sin depender de generación sintética. El recurso está diseñado para ser prioritario en procedencia, permitiendo a los investigadores auditar la conexión entre hechos y evidencia. Los autores señalan que, aunque FactNet hereda sesgos de su fuente (Wikidata/Wikipedia) y exhibe una distribución de cola larga que favorece idiomas de recursos altos, su construcción determinista y el manejo explícito de "brechas de evidencia" (p. ej., mediante códigos ungrounded_reason) proporcionan una base transparente para futuras investigaciones en IA confiable. El artículo concluye que las estructuras translingües de FactSynset facilitan una transferencia significativa de conocimiento entre niveles de idioma, ofreciendo un camino para mejorar la fundamentación factual en idiomas de recursos bajos.