Riepilogo Tecnico: FactNet

Enunciato del Problema

I Large Language Models (LLM) spesso allucineranno affermazioni fattuali e faticano a fondare le loro uscite su evidenze recuperabili, un limite che si aggrava nelle lingue non inglesi. Sebbene la Generazione Aumentata dal Recupero (RAG) e i sistemi basati su conoscenze offrano una via d'uscita, richiedono dati di addestramento che accoppino simultaneamente conoscenze strutturate ed evidenze testuali native. Le risorse esistenti impongono un compromesso critico:

• Basi di Conoscenza Strutturate (es. Wikidata): Offrono scala e struttura interrogabile ma mancano di fondamento testuale, lasciando i sistemi RAG privi di segnali di supervisione per il recupero fatto-testo.
• Dataset Fondati (es. FEVER, AveriTeC): Forniscono evidenze di alta qualità ma sono limitati in scala (migliaia di istanze) e largamente monolingue a causa della dipendenza dalla curatela manuale.
• Risorse di Allineamento (es. T-REx, KELM): Colmano il divario tra grafi e testo ma spesso mancano di precisione a livello di byte, coprono solo l'inglese o si affidano a generazione sintetica che recide i collegamenti con documenti redatti da umani.
• Espansione Sintetica: La traduzione automatica o la generazione tramite LLM aumenta la copertura multilingue ma introduce artefatti di traduzione e dipendenze circolari in cui i verificatori apprendono i modelli del generatore piuttosto che il fondamento nella realtà.

Manca una risorsa che offra una copertura su scala di miliardi, un ampio supporto multilingue e un fondamento di evidenze nativo a livello di span con provenienza deterministica.

Metodologia

Gli autori introducono FactNet, una risorsa aperta su scala di miliardi che accoppia 1,7 miliardi di asserzioni Wikidata con 3,01 miliardi di puntatori di evidenza tratti da 316 edizioni native di Wikipedia. La costruzione si basa su una pipeline deterministica che evita inferenze stocastiche o generazione sintetica, garantendo che ogni unità di evidenza sia tracciabile alla sua fonte con precisione a livello di byte.

Modello Dati e Architettura

FactNet è organizzato in tre livelli accoppiati:

1. FactStatement: Un'unità atomica e neutrale rispetto alla lingua che rappresenta un'affermazione Wikidata (Soggetto, Proprietà, Valore) inclusi qualificatori e riferimenti.
2. FactSense: Una realizzazione fondata all'interno di una specifica edizione di Wikipedia. Collega un FactStatement a un'evidenza testuale concreta (frase, campo infobox o cella tabella) con offset a livello di byte (indici di punti di codice Unicode) rispetto alle stringhe di evidenza normalizzate.
3. FactSynset: Una classe di equivalenza che raggruppa FactStatements che esprimono lo stesso fatto sottostante attraverso diverse lingue e forme superficiali.

Pipeline di Costruzione

La pipeline elabora i dump di Wikimedia (JSON di Wikidata, XML di Wikipedia, tabelle di collegamento SQL) attraverso tre stadi deterministici:

1. Generazione delle Viste: Estrae tre viste stabili per provenienza dal wikitext grezzo: Vista Frase (tramite rimozione dei template), Vista Template (estrazione basata su AST dei parametri dell'infobox) e Vista Tabella (parsing strutturale). Si evita l'espansione completa dei template per prevenire rumore e instabilità degli offset.
2. Normalizzazione e Canonizzazione: Le affermazioni sono aggregate in FactSynsets utilizzando una chiave canonica guidata da policy ($S \parallel P \parallel \text{NormValue} \parallel \text{NormQuals}$). L'equivalenza stretta è l'impostazione predefinita; le rilassamenti semantici (es. troncamento della precisione temporale, conversione delle unità) sono applicati solo tramite policy esplicita $\pi$ e registrati con merge_reasons leggibili da macchina.
3. Corrispondenza e Tracciamento della Provenienza: Utilizza matcher ordinati e consapevoli del tipo di dato per allineare le affermazioni alle evidenze:
   • Basata sulla struttura: Corrisponde ai parametri di infobox/tabella.
   • Basata sui collegamenti: Allinea affermazioni con valore entità tramite Wikilink ai QID.
   • Lessicale: Corrisponde ai valori letterali (tempo, quantità) all'interno del testo.
   • Puntatori di Evidenza: Ogni FactSense include un puntatore $(page\_id, revision\_id, view\_type, unit\_locator)$ e offset di caratteri, consentendo la rilocazione esatta dai dump sorgente.

FactNet-Bench

Per valutare la risorsa, gli autori hanno costruito FactNet-Bench, una suite per il Completamento del Grafo di Conoscenza (KGC), la Risposta alle Domande su KG Multilingue (MKQA) e il Fact Checking Multilingue (MFC). Le caratteristiche chiave di progettazione includono:

• Controlli di Perdita (Leakage): Le divisioni sono generate tramite hashing stabile degli synset_ids. Le evidenze allineate ai synset di Dev/Test sono rigorosamente escluse dai pool di addestramento.
• Mascheramento dei Predicati: Per il KGC consapevole del testo, le descrizioni al momento della query mascherano i valori associati al predicato interrogato per prevenire l'estrazione banale.
• Riproducibilità Deterministica: Tutte le divisioni, le baseline e gli artefatti di valutazione sono derivati da un'istantanea congelata.

Contributi Chiave

1. FactNet: La prima risorsa su scala di miliardi che accoppia conoscenze strutturate con evidenze testuali native multilingue attraverso 316 lingue. Aggrega 1,7 miliardi di FactStatement e 3,01 miliardi di FactSenses in 1,55 miliardi di FactSynset.
2. Costruzione Deterministica: Una pipeline che raggiunge una scala senza precedenti senza artefatti sintetici, garantendo che ogni puntatore di evidenza sia riproducibile dai dump di dati grezzi con precisione a livello di byte.
3. FactNet-Bench: Una suite di benchmark con controlli sistematici di perdita per valutare il ragionamento fattuale fondato, distinguendo tra metodi strutturali, consapevoli del testo e integrati con LLM.

Risultati e Valutazione

Gli esperimenti su FactNet-Bench dimostrano quanto segue:

• Differenziazione dei Metodi: Il benchmark differenzia efficacemente i metodi strutturali (TransE, RotatE), i metodi consapevoli del testo (SimKGC, KG-S2S) e gli approcci integrati con LLM (GLTW). I metodi integrati con LLM raggiungono le prestazioni più elevate (es. GLTW: 0,386 MRR in KGC), ma i metodi consapevoli del testo mostrano guadagni significativi rispetto alle baseline strutturali.
• Sensibilità alla Perdita: Senza mascheramento dei predicati, i modelli consapevoli del testo mostrano guadagni di prestazioni anomali (es. KG-S2S MRR passa da 0,298 a 0,351), confermando che il controllo della perdita è necessario per prevenire il degrado dei compiti in estrazione di informazioni.
• Trasferimento Cross-Linguale: La struttura condivisa di FactSynset abilita il trasferimento di conoscenze. L'addestramento su descrizioni di entità solo in inglese mantiene il 78% delle prestazioni sulle lingue Tier-2 e il 64% su quelle Tier-3, dimostrando che l'allineamento strutturale mitiga la sparsità del testo.
• Qualità dell'Evidenza: Il recupero denso (E5-large) supera significativamente BM25 nel Fact Checking (0,701 vs 0,654 di accuratezza). Includere evidenze da infobox e tabelle è critico; rimuoverle riduce il Recall@5 delle evidenze MFC del 14,5%.
• Allucinazione LLM: L'analisi di GPT-4o e Qwen-2.5-72B su fatti FactNet rivela alti tassi di allucinazione, in particolare nelle lingue a risorse limitate (Tier-3: 44-48%) e per i fatti temporali (34%). Ciò sfida l'assunzione che gli LLM codifichino conoscenze fattuali affidabili dai loro dati di addestramento.
• Validazione Esterna: I sistemi RAG aumentati con FactNet superano le baseline basate su dump di Wikipedia su TriviaQA (+3,4 EM) e FEVER (+2,2 di accuratezza, +4,5 di F1 evidenza), con guadagni ancora maggiori negli scenari cross-linguistici.

Significato e Affermazioni

Il paper afferma che FactNet affronta il "compromesso a tre vie" tra scala, fedeltà del fondamento e copertura linguistica che ha limitato le risorse precedenti. Trattando Wikipedia come un albero XML strutturato per l'indicizzazione piuttosto che come un corpus per lo scraping, FactNet raggiunge la magnitudine dei grafi di conoscenza preservando la granularità del fondamento dei dataset di verifica.

Gli autori sottolineano che FactNet fornisce supervisione affidabile per sistemi RAG, verifica fattuale e ragionamento multilingue senza fare affidamento sulla generazione sintetica. La risorsa è progettata per essere provenienza-prima, permettendo ai ricercatori di auditare il collegamento tra fatti ed evidenze. Gli autori notano che, sebbene FactNet erediti i bias dalla sua fonte (Wikidata/Wikipedia) e mostri una distribuzione a coda lunga favorevole alle lingue ad alta risorsa, la sua costruzione deterministica e la gestione esplicita dei "gap di evidenza" (es. tramite codici ungrounded_reason) forniscono una base trasparente per la futura ricerca nell'AI affidabile. Il paper conclude che le strutture cross-linguali FactSynset facilitano un trasferimento di conoscenze significativo attraverso i livelli linguistici, offrendo una via per migliorare il fondamento fattuale nelle lingue a risorse limitate.