The Range Shrinks, the Threat Remains: Re-evaluating LLM Package Hallucinations on the 2026 Frontier-Model Cohort

Questo articolo replica ed estende lo studio del 2025 di Spracklen et al. sulle allucinazioni di pacchetti da parte dei LLM utilizzando cinque modelli all'avanguardia del 2026, rivelando che, sebbene i tassi di allucinazione siano diminuiti significativamente e la varianza inter-modello si sia ridotta, permane una minaccia persistente caratterizzata da un nuovo insieme di 127 nomi di pacchetti allucinati agnostici rispetto al modello e da distinti pattern comportamentali trasversali agli ecosistemi e ai modelli.

L'essenziale

Immagina di essere uno chef che cerca di preparare una nuova ricetta. Chiedi aiuto a un sous-chef super-intelligente, potenziato dall'intelligenza artificiale. Il sous-chef ti dice con sicurezza: "Devi acquistare SuperSpice-9000 al supermercato!" Vai al negozio, ma SuperSpice-9000 non esiste.

Nel mondo della programmazione, questo "supermercato" è un magazzino digitale chiamato PyPI (per Python) o npm (per JavaScript). Questi magazzini contengono milioni di "ingredienti" di codice pre-confezionati (pacchetti) che i programmatori possono scaricare con un singolo comando.

Questo articolo è un seguito di una storia inquietante raccontata l'anno scorso. All'epoca, i ricercatori hanno scoperto che gli chef AI erano molto bravi a inventare nomi di ingredienti. Inventavano nomi falsi come "SuperSpice-9000" circa il 5%–22% delle volte. Un ladro astuto poteva registrare un pacchetto malevolo con quel nome falso, attendere che un programmatore lo chiedesse all'AI, e poi indurre il programmatore a installare un virus. Questo fenomeno è chiamato "slopsquatting".

L'autore di questo articolo, un ricercatore indipendente, si è chiesto: "L'AI è migliorata in questo dopo due anni?"

Ecco cosa hanno scoperto, spiegato in modo semplice:

1. Il problema dell'"ingrediente falso" è diminuito, ma non è scomparso

I ricercatori hanno testato i cinque modelli di codifica AI più intelligenti disponibili all'inizio del 2026 (di aziende come Anthropic, OpenAI, Google e DeepSeek).

• La buona notizia: Il divario tra l'AI "migliore" e l'AI "peggiore" si è ridotto drasticamente. Nel 2024, alcune AI erano terribili (22% di nomi falsi) mentre altre erano accettabili (5%). Nel 2026, sono tutte più o meno uguali: inventano tutte nomi falsi circa il 4,6%–6,1% delle volte. La "dispersione" della cattiva qualità è crollata.
• La cattiva notizia: La minaccia è ancora molto reale. Anche se il tasso è diminuito, il 4–6% è ancora abbastanza alto perché un ladro possa trarre profitto. Se un'AI inventa un nome falso 1 volta su 20, un ladro può ancora registrare quel nome falso e attendere che migliaia di programmatori lo scarichino per errore.

2. La scoperta dell'"Ingrediente Falso Universale"

Questa è la sorpresa più grande dell'articolo. I ricercatori hanno trovato 127 nomi falsi specifici che tutti e cinque i modelli AI principali hanno inventato.

• L'analogia: Immagina di chiedere a cinque chef esperti diversi: "Qual è l'ingrediente segreto in questa zuppa?" e tutti rispondono indipendentemente: "È BlueFlavor-7", anche se quell'ingrediente non esiste.
• Il pericolo: Se un ladro registra "BlueFlavor-7" una sola volta, può attaccare gli utenti di tutte e cinque le aziende AI contemporaneamente. È una "trappola universale" che non dipende da quale AI utilizzi.

3. Alcuni strani capovolgimenti

L'articolo ha trovato alcuni modelli opposti a quanto ci si aspettava:

• Python vs JavaScript: Nel 2024, l'AI era peggiore nel nominare gli ingredienti JavaScript. Nel 2026, è in realtà peggiore nel nominare gli ingredienti Python. L'AI sembra confondersi dalle regole di denominazione disordinate di Python.
• Il "Fratellino" vs il "Fratellone": Di solito, i modelli AI più piccoli ed economici commettono più errori di quelli grandi e costosi. Ma qui, il modello "piccolo" (Claude Haiku) ha in realtà inventato meno nomi falsi del suo "fratellone" (Claude Sonnet). Sembra che il modello piccolo sia stato addestrato per essere estremamente attento alle istruzioni.

4. Perché il problema si è ridotto?

L'autore suggerisce tre motivi per cui l'AI è leggermente migliore ora:

1. Pari opportunità: I modelli "open-source" (gratuiti da usare) sono diventati così bravi che ora sono intelligenti quanto i modelli "commerciali" (a pagamento), quindi il divario tra loro si è chiuso.
2. Migliore addestramento: Le aziende che forniscono i dati all'AI sembrano aver ripulito i loro "ricettari" (dati di addestramento) per rimuovere più nomi di ingredienti falsi.
3. Addestramento standardizzato: Tutte le grandi aziende AI stanno utilizzando metodi di insegnamento simili ora, quindi commettono tutte errori simili (leggermente migliori).

La conclusione

Gli chef AI hanno ripulito un po' il loro comportamento, ma continuano ancora a inventare ingredienti falsi abbastanza spesso da essere pericolosi. La parte più preoccupante è che stanno tutti inventando gli stessi ingredienti falsi.

Cosa l'articolo NON dice:

• Non dice che questo è un problema risolto.
• Non dice che dovresti smettere di usare l'AI.
• Non afferma che tutti i modelli AI sono cattivi (hanno testato solo i primi 5 modelli "frontiera"; i modelli più piccoli e vecchi potrebbero essere ancora molto peggiori).

Il messaggio principale dell'autore è: La gamma di errori si è ridotta, ma la minaccia rimane. I programmatori e i team di sicurezza devono essere consapevoli che anche le AI più intelligenti di oggi possono ancora portarti a un download falso e pericoloso.

Sommario tecnico

Riepilogo Tecnico: Rivalutazione delle Allucinazioni di Pacchetti LLM sulla Coorte di Modelli Frontier del 2026

Enunciato del Problema

Il documento affronta la vulnerabilità di sicurezza nota come slopsquatting, un vettore di attacco alla catena di approvvigionamento in cui gli avversari registrano pacchetti malevoli su PyPI o npm con nomi che i Modelli Linguistici di Grandi Dimensioni (LLM) allucinano. Quando gli sviluppatori si fidano di codice generato da LLM contenente direttive pip install o npm install per pacchetti inesistenti, installano involontariamente questi artefatti malevoli.

Sebbene Spracklen et al. (USENIX Security '25) avessero stabilito l'esistenza di questa minaccia nel 2024, riportando tassi di allucinazione compresi tra il 5,2% (modelli commerciali) e il 21,7% (modelli open-source), rimaneva una domanda empirica aperta se questo fenomeno si fosse evoluto con il rapido avanzamento dei modelli frontier rilasciati tra la fine del 2025 e l'inizio del 2026. Nello specifico, gli autori hanno cercato di determinare se i tassi di allucinazione fossero diminuiti, se la varianza inter-modello si fosse ristretta e se fossero emerse nuove superfici di attacco agnostiche rispetto al modello.

Metodologia

Lo studio è una fedele replica della metodologia di Spracklen et al. applicata a una nuova coorte di cinque LLM frontier capaci di generazione di codice, rilasciati tra ottobre 2025 e marzo 2026:

1. Claude Sonnet 4.6 (Anthropic)
2. Claude Haiku 4.5 (Anthropic)
3. GPT-5.4-mini (OpenAI)
4. Gemini 2.5 Pro (Google)
5. DeepSeek V3.2 (DeepSeek)

Progettazione Sperimentale:

• Corpus di Prompt: Gli autori hanno utilizzato i dataset di prompt esatti dall'artefatto di Spracklen (576.000 prompt totali su 16 modelli nello studio originale), comprendenti 20.163 domande di Stack Overflow e 19.806 domande sintetizzate da LLM, suddivise equamente tra Python e JavaScript.
• Generazione: È stato generato un totale di 199.845 campioni di codice (circa 39.969 per modello).
• Estrazione e Validazione: I riferimenti ai pacchetti sono stati estratti utilizzando euristiche basate su espressioni regolari che corrispondono a pip install, npm install e istruzioni di importazione. I nomi estratti sono stati validati contro elenchi principali di pacchetti esistenti per PyPI (500.565 nomi) e npm (~3 milioni di nomi) al 28 aprile 2026.
• Analisi Statistica: I tassi di allucinazione sono stati calcolati come il rapporto tra riferimenti non risolvibili e riferimenti totali. La significatività statistica è stata testata utilizzando le statistiche $\chi^2$ di Pearson con correzione Holm–Bonferroni per confronti a coppie, insieme a metriche di similarità di Jaccard per misurare la sovrapposizione nei nomi allucinati.

Contributi Chiave

1. Replica su Modelli Frontier: Una misurazione completa dei tassi di allucinazione di pacchetti su cinque modelli all'avanguardia, generando una nuova linea di base per il 2026.
2. Identificazione della Compressione dell'Intervallo: Documentazione di un significativo restringimento della dispersione delle allucinazioni inter-modello rispetto ai dati del 2024.
3. Scoperta di Allucinazioni Universali: L'identificazione di un insieme di 127 nomi di pacchetti (109 su PyPI, 18 su npm) che sono allucinati in modo identico da tutti e cinque i modelli valutati, costituendo una superficie di attacco agnostica rispetto al modello.
4. Osservazione di Anomalie:
   • Un'inversione dell'asimmetria delle allucinazioni Python/JavaScript (i tassi Python sono ora più alti).
   • Un'inversione all'interno della famiglia Anthropic in cui il modello più piccolo (Haiku 4.5) allucina meno del modello più grande (Sonnet 4.6).
   • Un'alta similarità di Jaccard (0,343) tra DeepSeek V3.2 e GPT-5.4-mini, che suggerisce origini comuni dei dati di addestramento o pattern di errore convergenti.
5. Artefatto di Scienza Aperta: Rilascio di codice di replica, log di validazione e script di analisi, con una politica di accesso verificato per i ricercatori per il corpus completo delle allucinazioni.

Risultati

Tassi di Allucinazione e Compressione dell'Intervallo

Lo studio ha rilevato che i tassi di allucinazione nella coorte del 2026 variano dal 4,62% (Claude Haiku 4.5) al 6,10% (GPT-5.4-mini).

• Compressione: Questo rappresenta un restringimento di 11 volte della dispersione inter-modello rispetto ai risultati del 2024 di Spracklen (5,2%–21,7%).
• Causa: La compressione è attribuita alla chiusura del divario tra modelli a pesi aperti e modelli commerciali (ad esempio, DeepSeek V3.2 è ora competitivo con i leader commerciali) e alla saturazione della curatela dei dati di addestramento riguardo ai riferimenti ai pacchetti.
• Persistenza: Nonostante la compressione, la minaccia rimane economicamente vitale per gli avversari, poiché anche un tasso del 4,62% produce centinaia di nomi allucinati unici per modello.

Insieme di Allucinazioni Universali

Un risultato critico è l'esistenza di 127 nomi di pacchetti allucinati da tutti e cinque i modelli.

• Significato: Questo crea una superficie di attacco "agnostica rispetto al modello". Un attaccante che registra un singolo pacchetto malevolo (ad esempio opentelemetry o @ember/service) può colpire gli utenti di qualsiasi dei cinque principali fornitori simultaneamente.
• Meccanismo: Gli autori suggeriscono che questi errori universali derivino da sottostringhe condivise dei dati di addestramento (ad esempio, documentazione che utilizza erroneamente i nomi) o da una generalizzazione sistematica delle convenzioni degli spazi dei nomi (ad esempio, trattare sottopacchetti interni come target installabili).

Anomalie Specifiche

• Asimmetria Linguistica: Contrariamente ai risultati del 2024 in cui JavaScript era "più rumoroso", tutti e cinque i modelli del 2026 hanno mostrato tassi di allucinazione più alti per Python (+2,73 fino a +4,13 punti percentuali più alti rispetto a JavaScript). Gli autori ipotizzano che ciò sia dovuto alle convenzioni di denominazione più eterogenee di Python (snake_case, trattini, punti) rispetto alla struttura più piatta di JavaScript.
• Inversione Anthropic: All'interno della famiglia Anthropic, Claude Haiku 4.5 (4,62%) ha allucinato significativamente meno di Claude Sonnet 4.6 (5,41%). Questo contraddice il pattern tipico in cui i modelli più piccoli allucinano di più. Gli autori attribuiscono ciò alla capacità predefinita di "pensiero esteso" di Haiku 4.5 e a un'enfasi specifica post-addestramento sulla fedeltà alle istruzioni.
• Convergenza DeepSeek/OpenAI: DeepSeek V3.2 e GPT-5.4-mini hanno mostrato la più alta similarità di Jaccard a coppie (0,343), suggerendo bias condivisi o origini dei dati di addestramento.

Significato e Affermazioni

Il documento conclude che, sebbene l'intervallo dei tassi di allucinazione si sia ridotto, la minaccia non è stata ritirata.

• Vitalità Economica: Al 4–7%, l'attacco slopsquatting rimane altamente redditizio per gli avversari a causa della natura a costo zero della registrazione dei pacchetti.
• Cambiamento Metodologico: Gli autori sostengono che gli studi su un singolo modello siano insufficienti. L'esistenza di un insieme di allucinazioni universali significa che la superficie di attacco totale è sottostimata se viene valutato solo un modello. L'analisi di intersezione tra coorti dovrebbe diventare una metrica standard nella futura ricerca sulla sicurezza.
• Implicazioni per la Difesa: I risultati evidenziano che il post-addestramento per la sicurezza e il scaling dei modelli hanno ridotto la varianza ma non hanno eliminato il problema fondamentale dei modelli che convergono su nomi di pacchetti specifici e errati. Gli autori sottolineano che il "frontier" si è compresso, ma i modelli open-source di livello inferiore potrebbero ancora esibire i tassi elevati osservati nel 2024.

Lo studio mantiene un tono modesto riguardo alle sue affermazioni, notando limitazioni come la potenziale fuoriuscita di dati di addestramento (poiché il corpus di prompt è stato rilasciato nel 2025) e l'esclusione di configurazioni agentiche in cui meccanismi di recupero potrebbero mitigare le allucinazioni. Il contributo principale è la prova empirica che la minaccia slopsquatting persiste e si è evoluta in una vulnerabilità multi-fornitore.