Riepilogo Tecnico: FullCite – Fondamento di Evidenza Esplicita tramite la Generazione di Citazioni Inline Strutturate

Definizione del Problema

Man mano che i Large Language Models (LLM) sostituiscono i motori di ricerca tradizionali fornendo risposte dirette, la domanda di generazione fattuale e fedele è cresciuta, in particolare in domini ad alto rischio come la medicina, il diritto e la scienza. Sebbene la Retrieval-Augmented Generation (RAG) consenta ai modelli di fondare i propri output su documenti esterni, la mera presenza di contesto recuperato non garantisce un uso fedele. I modelli spesso si affidano alla conoscenza parametrica, attribuiscono erroneamente le affermazioni a documenti irrilevanti o producono output supportati solo parzialmente dalle evidenze.

Le soluzioni esistenti ricadono generalmente in due categorie:

1. Citazioni a livello di documento: Attribuzioni grossolane che fanno riferimento a un documento sorgente ma non riescono a identificare l'evidenza specifica, citando potenzialmente documenti che contengono informazioni correlate ma non a supporto.
2. Citazioni a grana fine: Approcci che fanno riferimento a specifici segmenti di evidenza (span), ma spesso mancano di una simultanea attribuzione del documento o faticano a mantenere un rigoroso rispetto strutturale.

Esiste un vuoto critico in termini di framework che ottimizzino simultaneamente sia l'attribuzione a livello di documento che l'identificazione precisa dello span di evidenza, mantenendo al contempo la fedeltà semantica.

Metodologia: Il Framework FullCite

Gli autori introducono FullCite, un framework progettato per generare citazioni inline strutturate che collegano ogni affermazione in una risposta sia al suo documento sorgente che a uno span di evidenza testuale verbatim. Il formato della citazione è rigorosamente definito come {doc_id: <identificatore>, snippet: <testo verbatim>}.

FullCite valuta tre strategie distinte per la generazione di queste citazioni strutturate:

1. Generazione basata su Prompt: Il modello riceve istruzioni tramite prompt in linguaggio naturale per fornire citazioni di evidenza verbatim dopo ogni affermazione. La conformità dipende interamente dalle capacità di seguire le istruzioni del modello senza intervento durante la decodifica.
2. Decodifica Vincolata (Constrained Decoding): Un automa a stati finiti (FSA) impone la grammatica della citazione durante l'inferenza. L'automa traccia lo stato di generazione (affermazione, ID documento o snippet) e restringe il prossimo token a quelli coerenti con la grammatica e il contenuto verbatim del contesto. Se il modello non segue la struttura, riprova fino a tre volte con una temperatura aumentata.
3. Allineamento dello Span Post-hoc: Il modello genera il testo liberamente. Successivamente, il sistema tenta di approssimare l'evidenza citata cercando lo snippet più simile nel documento sorgente (dato un ID documento corretto) utilizzando la somiglianza di Jaccard a livello di parola. Viene utilizzata una soglia di somiglianza di 0,7 per ricostruire gli snippet che non corrispondono parola per parola.

Configurazione Sperimentale

Il framework è stato valutato su tre benchmark che coprono diversi domini e tipi di domande:

• BioASQ: Dominio biomedico (yes/no, factoid, summary, list).
• ASQA: Domande factoid di dominio generale.
• ExpertQA: Domande multi-dominio (32 domini) con fonti annotate da esperti.

Poiché ASQA ed ExpertQA originariamente mancavano di annotazioni a grana fine per gli span di evidenza, gli autori hanno applicato un passaggio di annotazione aggiuntivo utilizzando GPT-5.4-mini per estrarre span di evidenza atomici, validati contro le annotazioni gold di BioASQ (ottenendo un ROUGE-L >90%).

Gli esperimenti hanno utilizzato due LLM open-weight: Qwen3-8B e Gemma-3-12B-it. L'valutazione ha misurato le prestazioni attraverso tre dimensioni:

1. Correttezza a livello di documento (Doc-F1): Accuratezza nel citare il corretto documento sorgente.
2. Identificazione dello span di evidenza (Snippet-F1): Accuratezza nell'identificare il testo di supporto preciso.
3. Fedeltà tra affermazione e citazione: Similarità semantica tra l'affermazione e lo span citato, valutata tramite sentence transformer, LLM-as-a-Judge (GPT-5.4) e annotazione umana.

Risultati Chiave

1. Localizzazione di Documento vs. Span

I risultati rivelano una disparità significativa nelle capacità dei modelli. Gli LLM sono generalmente efficaci nell'identificare i documenti rilevanti (alti punteggi Doc-F1) ma faticano a individuare con precisione gli span di evidenza all'interno di essi (bassi punteggi Snippet-F1).

• Baseline (basata su Prompt): Ha ottenuto un alto Doc-F1 (es. 58.08 su BioASQ) ma un valore Snippet-F1 molto basso (6.18 su BioASQ).
• Strategia Posthoc: Ha mostrato i guadagni più sostanziali nell'identificazione dello span. Per ASQA, lo Snippet-F1 è migliorato da 12.80 (basato su prompt) a 61.87 (Posthoc) utilizzando Qwen3-8B. Tuttavia, ciò ha spesso comportato un compromesso in cui la copertura del documento è leggermente diminuita in cambio di una maggiore precisione dello span.
• Decodifica Vincolata: Ha fornito miglioramenti moderati nella identificazione dello span, ma è stata meno efficace dell'approccio Posthoc in alcuni contesti.

2. Fedeltà e Allineamento Semantico

Si nota un compromesso tra la rigorosa localizzazione dello span e la fedeltà semantica.

• Qwen3-8B ha raggiunto i suoi punteggi più alti di similarità semantica sotto l'impostazione baseline basata su prompt, con punteggi in calo nelle impostazioni Posthoc e Constrained.
• Gemma-3-12B-it ha dimostrato maggiore stabilità, con punteggi di similarità spesso preservati o migliorati sotto le impostazioni Posthoc e Constrained.
• Valutazione Umana/LLM: Sia gli annotatori umani che GPT-5.4 hanno valutato le citazioni positivamente per "Supporto" e "Rilevanza", con la strategia Posthoc che ha generalmente ottenuto le prestazioni più forti. I disaccordi tra valutatori umani e LLM riguardavano principalmente punteggi adiacenti (es. 1 vs 2).

3. Bias Sistematici e Fallimenti

L'analisi ha scoperto due pattern sistematici che minano il fondamento delle evidenze:

• Bias di Primazia (Primacy Bias): In BioASQ, l'81,8% delle citazioni prendeva di mira solo i primi due dei cinque documenti di contesto, in linea con il fenomeno "lost-in-the-middle".
• Omissione della Citazione: I modelli hanno frequentemente omesso interamente le citazioni per le domande binarie yes/no, gonfiando artificialmente i punteggi della baseline. Una volta imposta l'attribuzione, questi punteggi sono scesi, rivelando che il successo della baseline era dovuto alla mancanza di grounding piuttosto che a una prestazione superiore.

4. Impatto a Valle (Downstream)

Nei compiti di QA a valle, l'impostazione Posthoc FullCite ha prodotto i risultati complessivi più forti, in particolare per BioASQ (guadagno medio di 19,85 punti). Sebbene le baseline basate su prompt ottenessero punteggi più alti nelle domande yes/no, ciò era attribuito all'omissione della citazione. Per le domande factoid, summary e list, il grounding ha migliorato significativamente le prestazioni, specialmente per risposte brevi e verificabili.

Significato e Claim

Il paper afferma che FullCite è l'unico framework che ottimizza simultaneamente sia l'attribuzione a livello di documento che quella dello span di evidenza, mantenendo al contempo punteggi di similarità semantica competitivi.

• Copertura Congiunta: A differenza dei lavori precedenti che si concentrano o sui riferimenti ai documenti o sugli snippet di evidenza, FullCite fornisce un approccio bilanciato alla QA con attribuzione fedele.
• Gap di Identificazione dello Span: Il lavoro evidenzia che il collo di bottiglia principale nell'attribuzione fedele non è il recupero del documento, ma l'identificazione precisa degli span di evidenza.
• Insight Metodologico: Lo studio dimostizza che imporre una struttura rigorosa (tramite decodifica vincolata) o approssimare gli span post-generazione (Posthoc) produce un migliore grounding delle evidenze rispetto al semplice affidarsi alla generazione basata su prompt, sebbene ciò possa avvenire a scapito di una certa allineamento semantico a seconda del modello.

Gli autori concludono che raggiungere una QA con attribuzione fedele richiede uno spostamento dell'enfasi della ricerca dal recupero del documento a livello di documento all'identificazione precisa degli span di evidenza e a metodi di valutazione che possano distinguere la similarità superficiale dal supporto genuino.

Limitazioni

Gli autori riconoscono diverse limitazioni:

• Ambito del Dominio: Le conclusioni si basano su dataset biomedici, generali e multi-dominio e potrebbero non trasferirsi ai domini legale o finanziario.
• Ambito dei Modelli: Gli esperimenti sono stati limitati a due modelli open-weight; i pattern potrebbero differire per modelli più grandi o proprietari.
• Metriche di Valutazione: Le metriche automatiche (Doc-F1, Snippet-F1) sono proxy e non catturano completamente l'implicazione (entailment); la valutazione umana è stata limitata in scala.
• Bias Non Affrontati: Il framework non mitiga esplicitamente il bias di primazia o la tendenza a omettere le citazioni per le domande binarie.
• Addestramento: Lo studio non ha esplorato il fine-tuning dei modelli specificamente per la generazione congiunta di citazioni di documento e di span.