Cite Pretrain: Retrieval-Free Knowledge Attribution for Large Language Models

1. Il Problema: L'Affidabilità delle Citazioni nei LLM

I modelli linguistici di grandi dimensioni (LLM) possono migliorare la fiducia nei loro output fornendo citazioni che giustificano le risposte. Tuttavia, le citazioni generate direttamente dagli LLM (citazioni interne) sono spesso inaffidabili a causa delle allucinazioni, con tassi di errore che possono superare il 90%.
Le soluzioni attuali si basano su citazioni esterne tramite sistemi di Retrieval-Augmented Generation (RAG), che interrogano un retriever esterno durante l'inferenza. Sebbene efficaci, questi approcci presentano limiti significativi:

• Overhead e Latenza: Aggiungono costi computazionali e dipendenze infrastrutturali.
• Fragilità: Sono vulnerabili al rumore del retrieval e possono confliggere con la conoscenza parametrica del modello.
• Mancanza di Trasparenza: Non rivelano cosa il modello sa internamente, limitando l'interpretabilità.

L'obiettivo di questo lavoro è determinare se è possibile addestrare gli LLM a fornire citazioni interne affidabili (basate sui dati di pre-addestramento) senza ricorrere al retrieval al momento dell'inferenza, rendendo il modello autonomo e trasparente.

2. Metodologia: CitePretrain e Active Indexing

Gli autori propongono un framework a due stadi e una nuova strategia di addestramento chiamata Active Indexing.

A. Benchmark: CitePretrain-Bench

Per valutare le capacità di citazione interna, è stato creato un benchmark che mescola corpora reali (Wikipedia, Common Crawl, arXiv) con documenti nuovi e non visti. Il benchmark include task di:

• Domande a risposta breve (Short-form): Richiedono una singola citazione.
• Domande a risposta lunga (Long-form): Richiedono la sintesi di informazioni da più documenti con citazioni coerenti.

B. Il Framework di Addestramento

Il processo avviene in due fasi:

1. Continual Pretraining (Indicizzazione): Il modello assorbe la conoscenza fattuale e impara a mappare i fatti agli identificatori dei documenti (titoli).
2. Instruction Tuning: Il modello impara a generare risposte alle domande includendo le citazioni appropriate.

C. Active Indexing vs. Passive Indexing

Il contributo centrale è il metodo Active Indexing, che supera i limiti del semplice "Passive Indexing" (dove un ID viene semplicemente aggiunto alla fine del documento). Active Indexing utilizza l'aumento dei dati sintetici per insegnare al modello a collegare attivamente fatti e fonti attraverso due direzioni complementari:

1. Forward Augmentation (Source → Fact):

   • Genera coppie domanda-risposta basate su entità estratte da un singolo documento.
   • Obiettivo: Insegnare al modello a recuperare fatti specifici quando è condizionato dall'identificatore del documento (es. "Cosa dice il documento X su Y?").
   • Rafforza la capacità di recupero interno e il ragionamento basato su una singola fonte.

2. Backward Augmentation (Fact → Source):

   • Crea task che richiedono di sintetizzare informazioni da più documenti (cluster di chunk).
   • Obiettivo: Insegnare al modello a prevedere l'identificatore corretto del documento dato un fatto generato.
   • Rafforza l'attribuzione e il grounding della fonte, simulando scenari reali dove la risposta deriva da più fonti.

Questa strategia bidirezionale forza il modello a imparare associazioni fattuali e non solo a memorizzare copie letterali (verbatim) di testo-ID.

3. Risultati Sperimentali

Gli esperimenti sono stati condotti su modelli Qwen-2.5 (3B e 7B) e confrontati con baseline come "Instruction Only" e "Passive Indexing".

• Prestazioni Superiori: Active Indexing supera costantemente le baseline passive. In termini di precisione delle citazioni, si osservano guadagni fino al 30,2% rispetto al Passive Indexing su tutti i task e i modelli.
• Complementarità: La combinazione di Forward e Backward augmentation produce i risultati migliori, dimostrando che le due direzioni si rafforzano a vicenda.
• Scalabilità: Le prestazioni continuano a migliorare all'aumentare della quantità di dati aumentati, mostrando un trend positivo anche a 16x la dimensione del corpus originale, senza segni di saturazione.
• Confronto con Modelli Proprietari: Anche modelli proprietari avanzati come GPT-4.1, pur eccellendo nella correttezza delle risposte, falliscono nel generare citazioni interne affidabili rispetto ai modelli addestrati con Active Indexing, evidenziando la necessità di un addestramento specifico per l'attribuzione.
• Robustezza: Il metodo funziona bene anche su documenti con titoli non semantici o rumorosi (es. Common Crawl), dove i modelli basati su "scorciatoie semantiche" falliscono.

4. Contributi Chiave

1. CitePretrain-Bench: Un nuovo benchmark completo per valutare l'attribuzione interna su task a risposta breve e lunga, coprendo sia conoscenza preesistente che nuova.
2. Active Indexing: Una strategia di pre-addestramento continuo che utilizza l'aumento dei dati sintetici bidirezionali (Source→Fact e Fact→Source) per insegnare ai modelli a legare i fatti agli identificatori dei documenti in modo robusto e generalizzabile.
3. Analisi di Scalabilità: Dimostrazione che l'investimento in dati sintetici per l'indicizzazione continua a pagare anche a scale molto elevate (fino a 16x i token originali).
4. Integrazione Ibrida: Dimostrazione che le citazioni interne ed esterne sono complementari; un approccio ibrido che usa il retrieval come fallback o integrazione offre la massima robustezza contro il rumore del retrieval.

5. Significato e Impatto

Questo lavoro rappresenta un passo fondamentale verso LLM più trasparenti e verificabili.

• Indipendenza dal Retrieval: Permette di ottenere citazioni affidabili in scenari "closed-book" (senza accesso a internet o motori di ricerca), riducendo la latenza e i costi infrastrutturali.
• Conformità Normativa: Risponde alle esigenze di regolamentazione (come l'AI Act dell'UE) che richiedono la tracciabilità delle fonti di addestramento e la spiegabilità delle uscite dei modelli ad alto rischio.
• Paradigma Unificato: Sposta l'attribuzione da un processo esterno e frammentato (RAG) a una capacità interna del modello, allineandosi con l'evoluzione storica del deep learning verso modelli end-to-end.

In sintesi, CitePretrain dimostra che è possibile "insegnare" ai modelli a citare le proprie fonti di addestramento in modo affidabile, trasformando la conoscenza parametrica in una risorsa verificabile senza dipendere da infrastrutture esterne.