Riepilogo Tecnico: CITECHECK

Enunciato del Problema

I Large Language Models (LLM) sono sempre più integrati nei flussi di lavoro scientifici, inclusa la stesura di manoscritti e la generazione di relazioni. Tuttavia, persiste un problema critico di affidabilità: gli LLM generano frequentemente "allucinazioni di citazione". Si tratta di riferimenti che appaiono stilisticamente legittimi ma contengono metadati corrotti (ad esempio, autori, anni o DOI errati) o puntano a paper completamente inesistenti. Tali errori minano la tracciabilità, l'attribuzione e la riproducibilità della comunicazione scientifica. I metodi di verifica esistenti spesso si affidano alla conoscenza parametrica interna del modello o a semplici ricerche web, che faticano a distinguere tra lievi derive dei metadati e falsificazioni complete, o non riescono a fondare la verifica su evidenze accademiche strutturate.

Metodologia: Il Framework CITECHECK

CITECHECK è un framework ibrido progettato per rilevare le allucinazioni di citazione fondando ogni riferimento su fonti esterne accademiche piuttosto che sulla conoscenza interna dell'LLM. Il sistema opera attraverso una pipeline strutturata composta da quattro fasi principali:

1. Estrazione dei Metadati

Il sistema analizza inizialmente una stringa di citazione grezza in campi strutturati (titolo, autori, anno, URL, DOI, ID arXiv). Impiega un parser basato su regole per i pattern standard e invoca un parser basato su LLM solo quando l'estrazione deterministica fallisce. Questa fase genera segnali di recupero senza determinare la validità.

2. Cascata di Recupero dei Candidati

CITECHECK tenta di localizzare la pubblicazione reale corrispondente alla citazione utilizzando una cascata a cascata su più fonti esterne:

• Ricerca Diretta: Se è presente un identificatore arXiv, viene eseguita prima una ricerca diretta su arXiv.
• API Strutturate: Il sistema interroga CrossRef, Semantic Scholar e OpenAlex utilizzando ricerche basate sul titolo.
• Fallback di Ricerca Web: Se le fonti strutturate non restituiscono una corrispondenza affidabile, viene attivata una ricerca web assistita da LLM.
• Logica di Selezione: I candidati sono accettati in base alla similarità Levenshtein normalizzata tra il titolo della citazione pulita e il titolo del candidato, con ulteriori soglie di confidenza (ad esempio, da CrossRef) e segnali di ranking basati sull'anno.

3. Verifica Strutturata con LLM

Una volta recuperata una pubblicazione candidata, un LLM verificatore confronta i metadati della citazione originale con i metadati del candidato recuperato. A differenza dei prompt di classificazione standard, il verificatore produce:

• Un punteggio numerico (0–10) che rappresenta il grado di accordo.
• Un livello di confidenza e una breve motivazione.
• L'identificazione di specifiche discrepanze.
  Il sistema utilizza un punteggio numerico per consentire confini di decisione calibrati, piuttosto che affidarsi all'etichetta categorica del modello, che può essere incoerente.

4. Soglia e Passaggio del Revisore

Il punteggio numerico è mappato su tre etichette utilizzando soglie fisse ($\tau_M$ e $\tau_E$) determinate su un set di validazione:

• ESATTO: La citazione descrive fedelmente la pubblicazione reale ($s \ge \tau_E$).
• MINORE: Il paper previsto esiste, ma i campi dei metadati sono corrotti ($\tau_M \le s < \tau_E$).
• MAGGIORE: Non esiste alcuna pubblicazione corrispondente, oppure il candidato è troppo dissimile ($s < \tau_M$).

Viene applicato un "Passaggio del Revisore" per i casi sospetti in cui un identificatore (URL/ID arXiv) risolve a un paper reale, ma la similarità del titolo è bassa. Un secondo giudice LLM rivaluta questi casi per garantire che il testo della citazione descriva accuratamente la fonte, prevenendo falsi positivi in cui un link valido è accoppiato a metadati falsificati.

Costruzione del Dataset

Per valutare il framework, gli autori hanno costruito un benchmark di 982 citazioni tratte dalla letteratura fisica, coprendo nove sottodomini (ad esempio, astrofisica, materia condensata, calcolo quantistico).

• Corruzioni Controllate: Il dataset include citazioni valide, "allucinazioni minori" (derive dei metadati come autori o anni alterati mantenendo l'identità del paper) e "allucinazioni maggiori" (riferimenti completamente falsificati ma rimasti plausibili a livello tematico).
• Generazione: Le corruzioni sono state generate utilizzando GPT-4o-mini con impostazioni specifiche di temperatura per simulare errori di trascrizione (minori) e falsificazioni sostanziali (maggiori).
• Bilanciamento: Il benchmark finale è approssimativamente bilanciato tra le tre classi (36,25% valide, 30,55% minori, 33,20% maggiori).

Risultati

Valutato su un set di test tenuto da parte di 792 citazioni, CITECHECK ha ottenuto:

• 88,9% di Accuratezza
• 88,7 Macro-F1

Prestazioni Comparative:

• CITECHECK ha superato le baseline dirette degli LLM (GPT-5.4, Claude Sonnet 4.6, Gemini 2.5 Flash) sia in setting zero-shot che few-shot.
• Ha superato la baseline più forte (Claude Sonnet 4.6 con ricerca web ed esempi few-shot) di 5,8 punti Macro-F1 e 5,7 punti di accuratezza.
• Significativamente, CITECHECK ha raggiunto questo risultato rimanendo zero-shot nella fase di verifica, dimostrando che la verifica fondata sul recupero è più efficace della supervisione in contesto o del prompting da solo.
• Studi di Ablazione: Rimuovere il fallback di ricerca web ha ridotto il Macro-F1 di 7,0 punti, e rimuovere il passaggio del revisore lo ha ridotto di 4,0 punti, confermando la necessità sia del recupero ampio che della revisione mirata per gestire le lievi derive dei metadati.

Significato e Affermazioni

Il paper afferma che una verifica affidabile delle citazioni richiede un passaggio dal fare affidamento sulla conoscenza interna dell'LLM a una pipeline che combina recupero accademico, confronto strutturato basato su LLM e regole di decisione calibrate.

I punti chiave evidenziati dagli autori includono:

1. Il Recupero è Essenziale: Anche gli LLM più potenti faticano a rilevare le allucinazioni senza accesso a evidenze esterne; la ricerca web migliora significativamente le prestazioni della baseline ma è insufficiente da sola senza un confronto strutturato.
2. Confronto Strutturato rispetto al Prompting: Trattare la verifica come un recupero di candidati seguito da un confronto dei metadati produce un'accuratezza superiore rispetto al prompting diretto, in particolare per le allucinazioni "minori" dove il paper esiste ma i metadati sono corrotti.
3. Rilevamento Granulare: Il framework distingue con successo tra corrispondenze esatte, errori minori nei metadati e falsificazioni maggiori, una sfumatura spesso persa nel rilevamento binario "reale vs falso".

Gli autori concludono che CITECHECK fornisce una base per pipeline di verifica più ampie per testi scientifici generati dall'IA, sebbene riconoscano le limitazioni relative all'attuale focus sulla fisica e la necessità di lavori futuri su bibliografie generate naturalmente da LLM e sull'allineamento a livello di affermazioni.