Multilingual and Cross-Lingual Citation Needed Detection on Wikipedia for Lower-Resource Languages

Sintesi Tecnica: Rilevamento Multilingue e Cross-Linguale della Necessità di Citazioni su Wikipedia per le Lingue a Basse Risorse

Definizione del Problema
Il fact-checking automatizzato (AFC) si affida al rilevamento della rilevanza delle affermazioni (CWD) per identificare le dichiarazioni che richiedono verifica. Su Wikipedia, ciò si manifesta come Rilevamento della Necessità di Citazione (CND), un compito di classificazione binaria in cui gli editori segnalano affermazioni prive di citazioni inline autorevoli. Mentre la ricerca esistente ha affrontato il CND per le lingue ad alte risorse, le comunità linguistiche a basse risorse affrontano un carico sproporzionato a causa del minor numero di editor attivi e della mancanza di strumenti automatizzati. Inoltre, le recenti pipeline di AFC fanno sempre più affidamento sui Large Language Models (LLM), che sono spesso inaccessibili alle organizzazioni a basse risorse a causa di restrizioni proprietarie e alti costi di inferenza. Questo articolo affronta il divario nelle risorse CND multilingue e la fattibilità dell'uso di modelli più piccoli ed economici per questo compito.

Metodologia
Gli autori introducono MCN (Multilingual Citation Needed), un corpus su larga scala derivato da articoli di alta qualità ("Featured Articles") su Wikipedia. Il dataset copre 18 lingue linguisticamente diverse attraverso tre livelli di risorse (alte, medie e basse), comprendendo le famiglie Indo-Europee, Turche, Austronesiane e Austroasiatiche. Le affermazioni sono etichettate in base alla presenza o assenza di citazioni inline, aumentate da frasi contestuali e metadati tematici.

Lo studio valuta i Small Language Models (SLM) (specificamente Llama-3-8B, Qwen3-8B e Aya-8b) come alternative agli LLM. La metodologia si concentra su tre assi sperimentali:

1. Varianti di Supervised Fine-Tuning (SFT): Gli autori confrontano tre strategie di adattamento per i modelli decoder-based utilizzando QLoRA:
   • Full-Token Loss (FTL): Addestramento autoregressivo standard su tutti i token.
   • Target-Only Loss (TOL): Mascheramento dei token di input per concentrare l'apprendimento sui token dell'assistente (label).
   • Encoder-Style (ES): Adattamento del modello decoder come classificatore discriminativo, alimentando l'ultimo stato nascosto del token in un classificatore feed-forward, ottimizzando con perdita di cross-entropy.
2. Benchmarking Multilingue: Gli SLM sono messi a confronto con modelli di linguaggio pre-addestrati basati su encoder (come mBERT e XLM-R) e LLM commerciali (GPT-5, Gemini 2.5) utilizzando il prompting zero-shot e few-shot.
3. Trasferimento Cross-Linguale (X-CND): Gli autori valutano la trasferibilità di modelli addestrati esclusivamente su dati inglesi verso lingue target a risorse medie e basse in contesti zero-shot e few-shot. Ciò include test sia su dati paralleli sintetici (test set inglesi tradotti) che su dati reali non paralleli.

Contributi Chiave

• Corpus MCN: Il rilascio di un dataset CND su larga scala che copre 1 భాష (lingue) 18, espandendo significativamente la copertura linguistica e di livello di risorse rispetto ai dataset precedenti (es. CitationNeeded, CheckThat).
• Benchmark SLM vs. LLM: Una valutazione completa che dimostra come gli SLM sottoposti a fine-tuning superino sostanzialmente gli LLM tramite prompting in tutti i livelli di risorse.
• Primo Studio CND Cross-Linguale: La prima valutazione sistematica del CND cross-linguale, che mostra come gli SLM addestrati in inglese possano trasferirsi efficacemente alle lingue a basse risorse.
• Analisi della Strategia SFT: Identificazione del fine-tuning Encoder-Style (ES) come la strategia più efficace per adattare i modelli decoder-based al compito discriminativo del CND.

Risultati

• Varianti SFT: Il fine-tuning di tipo Encoder-style (ES) supera costantemente le varianti generative (FTL e TOL) nella maggior parte delle lingue e dei modelli, ottenendo guadagni di accuratezza fino a 8 punti percentuali rispetto ai metodi generativi.
• Performance dei Modelli: Gli SLM e i PLM sottoposti a fine-tuning superano significativamente gli LLM tramite prompting. Ad esempio, gli SLM con fine-tuning raggiungono un'accuratezza del 66–70% sulle lingue a basse risorse, mentre il miglior LLM (Gemini 2.5) raggiunge solo circa il 59%.
• Trasferimento Cross-Linguale:
  • Sui dati paralleli, gli SLM con fine-tuning mostrano una forte generalizzazione zero-shot (fino all'87% di accuratezza).
  • Sui dati reali non paralleli, l'accuratezza scende di circa 15–20 punti percentuali, evidenziando la sfida dei cambiamenti di distribuzione.
  • Crucialmente, gli SLM con fine-tuning ES addestrati solo su inglese superano gli LLM tramite prompting sulle lingue target, anche con zero o minima supervisione nella lingua target.
• Adattamento Few-Shot: Sebbene il fine-tuning few-shot migliori le prestazioni, richiede una calibrazione attenta degli iperparametri (specificamente tassi di apprendimento più bassi) per essere efficace per gli SLM con QLoRA. mBERT beneficia maggiormente del fine-tuning few-shot, ma gli SLM con ES superano comunque gli LLM con un adattamento minimo.
• Generalizzabilità: I modelli addestrati su "Featured Articles" si generalizzano bene agli articoli di Wikipedia campionati casualmente, con prestazioni che rimangono comparabili dopo la correzione dei bias di annotazione nei contenuti non "featured".

Significato e Implicazioni
L'articolo sostiene che i modelli compatti e specifici per il compito siano preferibili agli LLM generalisti per il CND, in particolare per le comunità di Wikipedia a basse risorse. Le conclusioni suggeriscono che:

1. Accessibilità: Le organizzazioni con risorse limitate possono implementare strumenti CND efficaci utilizzando modelli piccoli e open-source sottoposti a fine-tuning su lingue ad alte risorse, bypassando la necessità di costose API di LLM o grandi dataset nella lingua target.
2. Efficienza: Il fine-tuning di tipo Encoder-style fornisce una via affidabile ed economica per adattare i modelli decoder-based a compiti discriminativi.
3. Viabilità della Distribuzione: Il trasferimento cross-linguale di modelli specializzati addestrati in inglese offre una strategia valida per supportare le comunità a basse risorse, a patto di riconoscere i limiti dei cambiamenti di distribuzione nel mondo reale.

Gli autori segnalano alcune limitazioni, tra cui la concentrazione su lingue Indo-Europee, l'uso di fine-tuning basato su QLoRA e la natura specifica del dominio delle politiche di citazione di Wikipedia, che potrebbero non trasferirsi direttamente ad altri domini di fact-checking come i dibattiti politici.