How LLMs Cite and Why It Matters: A Cross-Model Audit of Reference Fabrication in AI-Assisted Academic Writing and Methods to Detect Phantom Citations

Questo studio presenta un'ampia audit su 10 modelli linguistici che rivela tassi di allucinazione delle citazioni variabili tra l'11,4% e il 56,8%, dimostrando che tali errori sono indotti dal prompt e proponendo efficaci strategie di mitigazione come il consenso multi-modello e un classificatore leggero basato sulle stringhe bibliografiche per rilevare le citazioni fantasma senza interrogare database esterni.

L'essenziale

🎭 L'AI che inventa le fonti: Il grande audit delle "Citazioni Fantasma"

Immagina di avere un assistente di ricerca super intelligente, capace di scrivere in secondi. Ma c'è un problema: a volte, questo assistente è un grande bugiardo. Quando gli chiedi di citare libri o articoli scientifici, invece di cercare nei suoi archivi, ne inventa di nuovi che non esistono mai esistiti. Li chiama "citazioni fantasma".

Questo studio, condotto dal Dr. M.Z. Naser della Clemson University, è stato come un grande controllo di polizia per vedere quanti di questi "falsi" vengono prodotti da 10 diversi modelli di Intelligenza Artificiale (come ChatGPT, Claude, Gemini, ecc.).

Ecco cosa hanno scoperto, spiegato con metafore semplici:

1. Il Test della "Domanda a Sorpresa" 🕵️‍♂️

Gli scienziati hanno fatto un esperimento geniale. Hanno chiesto alle AI: "Fammi una lista di 10 articoli su questo argomento" (condizione provocata). Poi, hanno chiesto: "Parlami di questo argomento" senza chiedere liste o citazioni (condizione non provocata).

• Risultato: Quando non chiedevano citazioni, le AI non ne inventavano nessuna.
• La metafora: È come se un attore recitasse una scena in cui deve mentire solo se il regista gli dice "Menti!". Se il regista non glielo chiede, l'attore dice la verità. Quindi, l'AI non è "cattiva" di natura; è solo che, quando le chiedi di citare, si sente in dovere di inventare qualcosa per accontentarti.

2. Chi è il bugiardo e chi è il sincero? 📉📈

Hanno testato 10 modelli diversi. La differenza è stata enorme, come la differenza tra un orologio svizzero e uno di plastica.

• I "Sinceri": Alcuni modelli (come GPT-5-mini) hanno mentito solo nel 11% dei casi.
• I "Bugiardi": Altri modelli (come haiku-4.5) hanno mentito nel 57% dei casi!
• La metafora: Immagina di chiedere a 10 studenti di fare una ricerca. Uno ti porta 10 libri veri. Un altro te ne porta 10, ma 6 sono libri scritti da lui su fogli di carta stropicciata. Non tutti gli studenti (o le AI) sono ugualmente affidabili.

3. Il trucco del "Tempo" ⏳

Hanno notato che le AI mentono di più quando chiedi cose recenti rispetto a cose vecchie e famose.

• Perché? Le AI sono come studenti che hanno studiato su libri vecchi. Conoscono bene i classici (le "fondamenta"), ma se chiedi loro cosa è successo ieri, devono inventare perché non hanno letto i giornali di ieri.
• Risultato: Chiedere "cose recenti" fa schizzare le bugie al 74%. Chiedere "cose classiche" le abbassa al 55%.

4. Come scoprire le bugie senza andare in biblioteca? 🛡️

La parte più utile dello studio è: "Come possiamo fidarci?". Gli scienziati hanno trovato due trucchi semplici, come se fossero filtri magici:

• Trucco 1: Il "Consiglio dei Saggi" (Consenso Multi-Modello)
  Se chiedi la stessa cosa a 3 AI diverse e tutte e 3 ti danno lo stesso titolo di libro, è quasi certo che quel libro esista (95% di probabilità). Se invece ogni AI ti dà un titolo diverso, è probabile che stiano mentendo.

  • Metafora: Se chiedi a 3 amici diversi "Dove hai mangiato ieri?" e tutti dicono "Da Mario", probabilmente è vero. Se ognuno dice un posto diverso, uno di loro sta mentendo.

• Trucco 2: Il "Ripeti e Controlla" (Ripetizione)
  Se chiedi alla stessa AI la stessa cosa 3 volte e lei ti dà lo stesso titolo ogni volta, è probabile che sia vero. Se ogni volta ti dà un titolo diverso, sta inventando.

  • Metafora: È come se un testimone raccontasse la stessa storia tre volte. Se la storia cambia ogni volta, è un'invenzione.

5. L'AI ha un "filtro" interno? 🤖

Gli scienziati hanno creato un piccolo programma (un "detective digitale") che legge solo la forma della citazione (il nome dell'autore, l'anno, il titolo) senza andare a cercare su internet.

• Ha scoperto che le citazioni false hanno un "odore" specifico: spesso hanno meno autori, nomi più corti e mancano di dettagli tecnici.
• È come se un falso quadro avesse pennellate diverse da un originale: il programma sa riconoscere lo "stile" della bugia solo guardando la forma delle parole.

🎯 In sintesi: Cosa dobbiamo fare?

1. Non fidarsi ciecamente: Le AI sono fantastiche per scrivere bozze, ma non sono biblioteche.
2. Usare il "Consiglio dei Saggi": Se devi usare una citazione, chiedi a più AI. Se si accordano, è più probabile che sia vera.
3. Controllare sempre: Anche se un'AI sembra intelligente, le sue citazioni vanno sempre verificate su Google Scholar o nelle biblioteche universitarie.

Il messaggio finale: Le AI non stanno cercando di ingannarci di proposito; stanno solo cercando di essere "utili" inventando risposte quando non hanno i dati. Sta a noi, come ricercatori e studenti, usare i filtri giusti per non cadere nelle trappole delle "citazioni fantasma".

Sommario tecnico

Titolo: Come gli LLM Citano e Perché è Importante: Un Audit Cross-Modello sulla Fabbricazione di Riferimenti nella Scrittura Accademica Assistita da AI

Autore: M.Z. Naser, PhD, PE (Clemson University, USA)

---

1. Il Problema

I Modelli Linguistici di Grande Dimensione (LLM) sono diventati strumenti diffusi nella scrittura accademica, utilizzati per redigere manoscritti, generare revisioni della letteratura e compilare bibliografie. Tuttavia, questi modelli soffrono di un grave problema noto come "allucinazione delle citazioni" (o citation hallucination): la generazione di riferimenti bibliografici che non esistono.
Queste citazioni fantasma sono spesso formattate correttamente e contestualmente appropriate, rendendole indistinguibili da quelle reali senza una verifica indipendente. Le conseguenze sono gravi:

• Degrado dell'integrità scientifica: Le citazioni fantasma entrano nel registro accademico, creando catene di attribuzione falsa difficili da smontare.
• Fallimento dei controlli tradizionali: Studi recenti hanno mostrato che i revisori esperti spesso non rilevano queste citazioni nei processi di peer review.
• Mancanza di dati comparativi: La letteratura esistente manca di studi su larga scala che confrontino diversi provider, domini accademici e condizioni di prompting, lasciando incerto quali modelli siano affidabili.

2. Metodologia

Lo studio presenta uno degli audit più ampi mai condotti sulla fabbricazione di citazioni, caratterizzato da un disegno sperimentale rigoroso:

• Campione di Modelli: Sono stati testati 10 LLM commerciali distribuiti da 7 sviluppatori diversi (OpenAI, Anthropic, Meta, DeepSeek, Moonshot AI, Mistral), includendo sia modelli a pesi aperti (open-weight) che chiusi (closed-weight).
• Design Sperimentale:
  • Domini: 4 aree accademiche (Ingegneria Strutturale, Scienze Ambientali, Ricerca Biomedica, NLP/AI).
  • Framing Temporale: Due varianti di prompt: "riferimenti recenti e influenti" vs. "testi seminali e fondamentali".
  • Condizione di Controllo: Un gruppo di prompt identici ma senza richiesta esplicita di citazioni (condizione unprompted) per verificare se la generazione di citazioni sia intrinseca o indotta.
  • Repliche: Ogni condizione è stata ripetuta 3 volte per modello.
• Dati: Sono state generate 69.557 istanze di citazioni.
• Pipeline di Verifica: Ogni citazione è stata verificata contro tre database accademici indipendenti: CrossRef, OpenAlex e Semantic Scholar.
  • È stato utilizzato un sistema di punteggio di confidenza (0-100) basato sulla similarità del titolo, sovrapposizione degli autori e anno.
  • Citazioni con punteggio ≥ 80 classificate come "confermate", 65-79 come "probabili", < 65 come "allucinate".
• Validazione: Un campione stratificato è stato validato manualmente tramite un modello LLM con accesso al web, confermando un'alta precisione del sistema di verifica.

3. Contributi Chiave

Lo studio offre sei contributi principali:

1. Quantificazione dei tassi di allucinazione: Mappatura delle performance su 10 modelli diversi.
2. Analisi del Framing Temporale: Dimostrazione che la richiesta di riferimenti "recenti" aumenta drasticamente le allucinazioni rispetto a quelle "seminali".
3. Controllo Non Promptato: Evidenza che nessun modello genera citazioni formali spontaneamente se non esplicitamente richiesto, indicando che l'allucinazione è un fenomeno indotto dal prompt e non intrinseco.
4. Bias Bibliometrici: Identificazione di una sovrarappresentazione sistematica di lavori open-access e ad alta citazione nelle citazioni verificate.
5. Euristiche di Verifica: Proposta e validazione di due filtri pratici (consenso multi-modello e ripetizione interna) per ridurre le allucinazioni senza interrogare database esterni.
6. Classificatore di Allucinazione: Sviluppo di un classificatore leggero basato solo sulle stringhe bibliografiche per rilevare le citazioni false.

4. Risultati Principali

A. Tassi di Allucinazione e Performance dei Modelli

• I tassi di allucinazione variano di 5 volte tra i modelli, dall'11,4% (GPT-5-mini) al 56,8% (haiku-4.5).
• GPT-5-mini è il modello più affidabile (11,4%), mentre i modelli Anthropic (haiku-4.5) e alcuni modelli open-source mostrano tassi superiori al 45-50%.
• Nessun modello ha generato citazioni nella condizione di controllo unprompted (0 su 3.030 risposte), confermando che l'allucinazione è una risposta alla richiesta specifica.

B. Effetti del Prompting e del Dominio

• Framing Temporale: La richiesta di riferimenti "recenti" ha un tasso di allucinazione del 74,1%, contro il 55,0% per i riferimenti "seminali". Questo suggerisce che i modelli hanno meno dati di addestramento solidi per le pubblicazioni recenti.
• Domini: L'AI/NLP ha il tasso più basso (26,6%), mentre l'Ingegneria Strutturale ha il più alto (50,1%), riflettendo la densità dei dati di addestramento disponibili online per ciascun campo.

C. Bias Bibliometrici

• Le citazioni verificate mostrano una forte sovrarappresentazione di lavori Open Access (fino al 91,8% per alcuni modelli, contro una media globale del 50-55%).
• C'è un bias verso articoli ad alta citazione: i modelli tendono a citare lavori già famosi, amplificando la visibilità di chi è già prominente.

D. Euristiche di Filtraggio

Due strategie pratiche riducono drasticamente le allucinazioni:

1. Consenso Multi-Modello: Se 3 o più modelli diversi citano lo stesso lavoro, l'accuratezza sale al 95,6% (un miglioramento di 5,8 volte rispetto a un singolo modello).
2. Ripetizione Interna: Se lo stesso modello ripete la stessa citazione in 2 o più repliche dello stesso prompt, l'accuratezza sale all'88,9%.

E. Classificatore di Allucinazione

È stato sviluppato un classificatore (Gradient Boosted Machine) che analizza solo le caratteristiche testuali della stringa bibliografica (es. numero di autori, lunghezza della stringa, presenza di "et al.", anno di pubblicazione).

• Prestazioni: AUC di 0,876 nella validazione incrociata e 0,834 nella generalizzazione leave-one-model-out.
• Segnale Chiave: Le citazioni allucinate tendono ad avere meno autori (media 1,81 vs 2,07), stringhe di autori più corte e raramente includono "et al.".
• Questo strumento può fungere da filtro pre-screening a basso costo prima di effettuare verifiche esterne.

F. Evoluzione Generazionale e Scalabilità

• Open vs Closed: Non c'è una differenza significativa nei tassi di allucinazione tra modelli a pesi aperti e chiusi; la variabilità dipende dal singolo modello, non dalla licenza.
• Generazioni: L'evoluzione non garantisce sempre miglioramenti. Mentre OpenAI ha ridotto le allucinazioni del 33,9% passando da GPT-4o-mini a GPT-5-mini, Anthropic ha visto un peggioramento (da 48,8% a 56,8%) passando da haiku-3.5 a haiku-4.5.
• Scalabilità: All'interno delle famiglie di modelli, i modelli con maggiore capacità (più parametri o MoE) tendono a generare meno allucinazioni.

5. Significato e Implicazioni

• Natura Indotta: L'allucinazione delle citazioni non è un difetto intrinseco della generazione di testo, ma una conseguenza della richiesta esplicita di citare. Questo sposta il focus della mitigazione sulla gestione del prompt e sulla verifica post-hoc.
• Strumenti Pratici: I ricercatori possono immediatamente adottare strategie di consenso multi-modello o ripetizione per aumentare l'affidabilità delle loro bibliografie senza costi aggiuntivi significativi.
• Bias Epistemico: La tendenza degli LLM a citare prevalentemente lavori Open Access e ad alta citazione rischia di marginalizzare ulteriormente la ricerca in abbonamento e quella proveniente da contesti a risorse limitate, creando un circolo vizioso di visibilità.
• Trasparenza: La mancanza di trasparenza sulle scelte di addestramento e allineamento dei fornitori rende difficile prevedere quale modello sarà affidabile per compiti accademici specifici.

In conclusione, lo studio fornisce una base empirica solida per comprendere, misurare e mitigare il fenomeno delle citazioni fantasma, offrendo strumenti pratici per la comunità accademica per navigare l'uso dell'AI nella scrittura scientifica.