LLM hallucinations in the wild: Large-scale evidence from non-existent citations

Riepilogo Tecnico: Allucinazioni degli LLM nel Mondo Reale

Enunciato del Problema
I Modelli Linguistici di Grande Dimensione (LLM) sono noti per generare informazioni plausibili ma false ("allucinazioni"), tuttavia la portata reale e le conseguenze di questo fenomeno rimangono scarsamente comprese. Sebbene le allucinazioni siano state documentate in ambienti simulati e in resoconti aneddotici (ad esempio, rapporti governativi, atti giudiziari), manca un'evidenza sistematica e su larga scala riguardo alla loro prevalenza nella produzione di conoscenze scientifiche già implementata. Studiare le allucinazioni su larga scala è difficile perché sono tipicamente incorporate in testi non strutturati, richiedendo costose valutazioni umane o pipeline automatizzate che potrebbero reintrodurre bias specifici del modello. Le citazioni scientifiche offrono un'opportunità unica per l'audit perché forniscono una verità di base tracciabile e binaria: un riferimento citato esiste oppure no.

Metodologia
Gli autori hanno condotto un audit su scala di popolazione di 111 milioni di riferimenti attraverso 2,5 milioni di articoli provenienti da quattro grandi corpora: arXiv (scienze matematiche, fisiche, computazionali), bioRxiv (scienze biologiche), SSRN (scienze sociali, diritto, discipline umanistiche) e PubMed Central (letteratura biomedica revisionata tra pari).

1. Pipeline di Verifica:

   • Estrazione e Parsing: I riferimenti sono stati estratti dai file originali dei manoscritti (LaTeX, PDF tramite GROBID, XML o metadati).
   • Corrispondenza Iniziale: I titoli analizzati sono stati interrogati contro un indice Elasticsearch locale costruito a partire da Semantic Scholar e OpenAlex. Criteri di similarità stringa hanno determinato le corrispondenze valide.
   • Pulizia: Le voci non corrispondenti sono state instradate attraverso una fase di pulizia basata su LLM (GPT-4o-mini) per escludere fonti non accademiche e affinare l'estrazione dei titoli, riducendo il tasso di non corrispondenza da circa il 4,9% all'1,54%.
   • Validazione Finale: È stata eseguita una ricerca tramite l'API di Google Scholar di terze parti sulle voci non corrispondenti rimanenti. Un riferimento è stato considerato valido se Google Scholar restituiva un record corrispondente o prove coerenti dell'opera citata altrove.
   • Definizione di Allucinazione: Lo studio definisce le "citazioni allucinate" non come ogni riferimento non corrispondente, ma come l'eccesso di citazioni non corrispondenti osservato dopo l'adozione degli LLM rispetto a una linea di base pre-LLM (fine 2022). Questo approccio controlla per errori bibliografici ordinari e artefatti di formattazione.

2. Quadro Analitico:

   • Dinamiche Temporali: Sono stati utilizzati modelli di regressione per stimare il tasso di citazioni non corrispondenti nel tempo, identificando il punto di flesso dell'emergere delle allucinazioni.
   • Analisi della Distribuzione: Lo studio ha esaminato la distribuzione delle citazioni allucinate tra gli articoli per verificare se la contaminazione fosse concentrata in pochi manoscritti "mela marcia" o diffusamente incorporata.
   • Analisi degli Autori e dei Crediti: Gli autori hanno correlato i tassi di allucinazione con la produttività degli autori (conteggi di pubblicazioni precedenti), la dimensione del team e le caratteristiche degli autori citati (produttività, impatto delle citazioni, genere e gerarchia del team).
   • Valutazione delle Salvaguardie: L'efficacia dei controlli di qualità esistenti è stata valutata analizzando i tassi di rifiuto nella moderazione di arXiv e la persistenza delle allucinazioni dalle bozze (bioRxiv) alle versioni pubblicate (PMC).

Risultati Chiave

• Aumento delle Allucinazioni: Un netto aumento di riferimenti inesistenti è iniziato a metà 2024, circa 18 mesi dopo il rilascio iniziale di ChatGPT. Entro agosto 2025, i tassi di allucinazione hanno raggiunto lo 0,39% (arXiv), lo 0,21% (bioRxiv), l'1,91% (SSRN) e lo 0,27% (PMC).
• Portata: Estrapolando queste tendenze, gli autori stimano conservativamente che 146.932 citazioni allucinate siano state introdotte attraverso questi quattro corpora nel solo 2025.
• Contaminazione Diffusa: Le allucinazioni non sono concentrate in pochi articoli fortemente contaminati. Al contrario, sono diffusamente incorporate; l'aumento è guidato da una crescente proporzione di articoli contenenti una piccola frazione (0–10%) di riferimenti non corrispondenti, piuttosto che da pochi articoli con alti tassi di errori.
• Correlati della Produzione:
  • Esperienza dell'Autore: Gli autori che citano fonti allucinate ("citatori di allucinazioni") avevano significativamente meno pubblicazioni precedenti al 2023 rispetto ai controlli. Tuttavia, entro il 2025, la loro produttività è esplosa (aumento relativo da 1,33x a 3,13x), suggerendo che gli LLM hanno abbassato le barriere all'ingresso per ricercatori meno esperti, portando a un alto volume di output con errori incorporati.
  • Dimensione del Team: I tassi di allucinazione sono inversamente correlati alla dimensione del team; gli articoli scritti da soli o da piccoli team mostrano tassi più elevati.
  • Uso degli LLM: Esiste una forte correlazione positiva (r = 0,441) tra l'uso stimato degli LLM nella scrittura e i tassi di allucinazione sia a livello di sottocampo che di articolo.
• Bias nell'Allocazione dei Crediti:
  • Le citazioni allucinate attribuiscono in modo sproporzionato credito ad autori con alta produttività precedente e alto impatto delle citazioni.
  • Esiste una significativa disparità di genere: le citazioni allucinate hanno il 7,6% in più di probabilità di attribuire credito ad autori con nomi maschili.
  • Questi bias si estendono alle citazioni valide all'interno degli stessi articoli, suggerendo una più ampia riallocazione del credito scientifico verso studiosi prominenti.
• Fallimento delle Salvaguardie:
  • Moderazione delle Bozze: Sebbene i moderatori di arXiv rifiutino manoscritti con tassi di allucinazione più elevati, si stima che il 78,8% delle citazioni inesistenti superi comunque la moderazione.
  • Revisione tra Pari: L'85,3% delle citazioni allucinate presenti nelle bozze di bioRxiv è persistito nelle loro versioni pubblicate su PubMed Central.
  • Contaminazione dei Database: I riferimenti allucinati appaiono sempre più come voci autonome su Google Scholar, creando un ciclo di feedback in cui opere inesistenti diventano parte della "verità di base" per il recupero futuro.

Significato e Affermazioni
Il documento afferma di fornire il primo audit su larga scala e interdisciplinare delle allucinazioni degli LLM nel lavoro sulla conoscenza nel mondo reale. Il suo significato principale risiede nello spostare il discorso dalla negligenza individuale a una preoccupazione a livello di sistema. I risultati dimostrano che:

1. Scala e Persistenza: Le allucinazioni degli LLM stanno infiltrando la produzione di conoscenze su vasta scala e stanno persistendo attraverso le fasi delle bozze e della pubblicazione, superando le attuali salvaguardie.
2. Implicazioni per l'Equità: Gli errori non sono casuali; rafforzano le disuguaglianze esistenti canalizzando il credito verso studiosi affermati e maschi, mentre sono prodotti in modo sproporzionato da ricercatori alle prime armi o meno esperti.
3. Generalizzabilità: La scienza rappresenta un dominio "migliore" per il rilevamento grazie alle citazioni strutturate e all'indicizzazione ricca. Gli autori sostengono che se le allucinazioni stanno penetrando nella letteratura scientifica nonostante questi robusti meccanismi di verifica, il problema è probabilmente molto più grave e più difficile da rilevare in domini meno strutturati come gli atti giudiziari, i rapporti politici e il giornalismo.
4. Cicli di Feedback: L'accumulo di citazioni allucinate nei database bibliometrici minaccia di erodere i meccanismi utilizzati per rilevarle, creando un degrado dipendente dal percorso dell'affidabilità scientifica.

Gli autori concludono che, sebbene gli strumenti di verifica automatizzata offrano speranza per errori strutturati come le citazioni, la sfida più ampia di rilevare affermazioni allucinate in prosa non strutturata rimane un problema critico e irrisolto per l'integrità della futura scoperta scientifica e del processo decisionale istituzionale.