C$^2$-Cite: Contextual-Aware Citation Generation for Attributed Large Language Models

1. Il Problema

Nonostante i progressi nella Retrieval-Augmented Generation (RAG), i modelli linguistici di grandi dimensioni (LLM) attribuiti (cioè capaci di generare citazioni) soffrono di un limite fondamentale: mancanza di consapevolezza contestuale delle citazioni.

• Placeholder Passivi: I modelli istruiti (instruction-tuned) tendono a trattare i simboli di citazione (es. [1], [i]) come semplici segnaposto generici privi di significato semantico intrinseco, piuttosto che come puntatori attivi verso informazioni specifiche.
• Conseguenze: Questa debolezza porta a:
  • Citazioni disgiunte o errate (hallucinations di riferimenti).
  • Integrazione povera della conoscenza recuperata nel testo generato.
  • Interruzione della coerenza semantica tra le frasi che precedono e seguono una citazione.
• Limiti degli approcci esistenti: I metodi basati su In-Context Learning (P-ICL) e Post-hoc retrieval spesso falliscono nell'allineamento dinamico delle informazioni durante la generazione, mentre i metodi di Instruction-Tuning esistenti si affidano troppo a dati di addestramento di alta qualità senza risolvere il problema fondamentale dell'associazione semantica tra il simbolo e il documento.

2. Metodologia: C2-Cite

Gli autori propongono C2-Cite, un nuovo framework di fine-tuning che trasforma i simboli di citazione da segnaposto passivi a "puntatori di conoscenza attivi" integrando esplicitamente le relazioni semantiche tra i marcatori e il contenuto referenziato.

L'architettura si basa su un decoder-only LLM standard modificato con due componenti chiave e un meccanismo di augmentazione:

A. Contextual-Aware Embedding (Incorporazione Consapevole del Contesto)

Invece di usare embedding standard per i token di citazione, il modello sostituisce l'embedding del simbolo (es. [i]) con un embedding contestuale derivato dal documento recuperato corrispondente.

• Meccanismo: I token multi-carattere [i] vengono normalizzati in token speciali <c_i>.
• Fusione: L'embedding di <c_i> è calcolato applicando un mean-pooling sugli embedding dei token del documento di riferimento $d[i]$.
• Risultato: Il token di citazione porta con sé le informazioni semantiche del documento, permettendo al modello di accedere direttamente al significato della fonte durante la generazione.

B. Contextual Citation Alignment (Allineamento Contestuale delle Citazioni)

Un meccanismo di allineamento che ottimizza la generazione per associare correttamente il testo alle fonti.

• Citation Router: Un classificatore binario che determina se un token generato è un token standard o un token di citazione.
• Allineamento Semantico: Per i token di citazione, il modello mappa lo stato nascosto nel "spazio delle citazioni" e lo confronta con la matrice degli embedding contestuali dei documenti disponibili. L'obiettivo è classificare il token di citazione nel numero corretto basandosi sulla similarità semantica, minimizzando la perdita cross-entropy tra la previsione e il numero di citazione vero.

C. Contextual Attentive Augment (Augmentazione Attentiva Contestuale)

Per migliorare l'integrazione delle informazioni, il framework introduce un vincolo sull'attenzione.

• Obiettivo: Garantire che i token successivi a una citazione mantengano un'attenzione significativa verso il contenuto della citazione stessa e del contesto precedente.
• Funzione di Perdita: Viene introdotta una perdita ($L_{attn}$) che forza il punteggio di attenzione tra un token corrente $t_j$ e un token di citazione precedente $t_c$ ad avvicinarsi a un punteggio target, utilizzando un coefficiente di decadimento basato sulla distanza inversa. Questo rafforza la coerenza inter-sentenziale.

Funzione di Perdita Totale:
Il modello è ottimizzato minimizzando una somma pesata:
$$L = L_{default} + \alpha L_{citation} + \beta L_{router} + \gamma L_{attn}$$

3. Contributi Chiave

1. Framework C2-Cite: Un approccio innovativo al fine-tuning che modella esplicitamente le relazioni semantiche tra i marcatori di citazione e il contenuto contestuale.
2. Trasformazione dei Segnaposto: Introduzione di meccanismi di embedding contestuale e allineamento che trasformano i simboli di citazione in puntatori di conoscenza attivi, risolvendo il problema della "cecità contestuale" degli LLM.
3. Prestazioni Superiori: Validazione empirica che dimostra come l'integrazione contestuale superi i limiti dei metodi basati solo sulla qualità dei dati di addestramento.

4. Risultati Sperimentali

Il framework è stato valutato sul benchmark ALCE (Automatic LLM Citation Evaluation) su tre dataset: ASQA, ELI5 e QAMPARI, utilizzando il modello base Llama3-8B.

• Metriche: Qualità della citazione (Precision, Recall, F1) e Correttezza della risposta (Corr.).
• Confronto: C2-Cite++ è stato confrontato con metodi Prompt-based (P-ICL), Iterative (I-ICL) e altri metodi di Fine-Tuning (incluso lo stato dell'arte Front).
• Risultati Principali:
  • Qualità delle Citazioni: Miglioramento medio del 5.8% rispetto al baseline SOTA (Front) in termini di F1-score.
  • Correttezza della Risposta: Miglioramento medio del 17.4% rispetto al baseline SOTA.
  • Efficienza: C2-Cite++ ha mostrato la più alta Throughput (campioni/secondo), superando anche i metodi iterativi complessi.
• Ablation Study: La rimozione dell'embedding contestuale (CAE) ha causato un calo drastico del 25.6% nel F1 delle citazioni e del 21.7% nella correttezza, confermando che l'informazione contestuale è il componente più critico.

5. Significato e Impatto

Il lavoro di C2-Cite affronta una limitazione critica nell'attribuzione degli LLM: la separazione tra il simbolo della citazione e il suo significato semantico.

• Coerenza Semantica: Dimostrato tramite heatmap di attenzione, il modello mantiene una forte connessione tra le frasi prima e dopo una citazione, evitando la frammentazione del testo tipica dei modelli esistenti.
• Indipendenza dai Dati: A differenza di approcci precedenti che dipendono da pipeline complesse di sintesi dati, C2-Cite dimostra che un metodo di apprendimento efficace (contextual alignment) può migliorare le prestazioni anche su dataset di sintesi standard.
• Affidabilità: Migliorando sia la qualità delle citazioni che la correttezza della risposta, il framework aumenta la fiducia degli utenti nell'output degli LLM, rendendo i sistemi di generazione più trasparenti e verificabili.

In sintesi, C2-Cite rappresenta un passo avanti significativo verso LLM attribuiti che non solo "citano", ma comprendono e integrano semanticamente le fonti che citano, trasformando i riferimenti bibliografici in strumenti attivi di ragionamento.