Immagina di essere uno chef che cerca di rimpicciolire un enorme e complesso libro di ricette affinché entri in un piccolo taccuino da taschino. Vuoi che il libro sia abbastanza piccolo da poterlo portare ovunque, ma hai comunque bisogno di cucinare esattamente gli stessi piatti deliziosi. Nel mondo dell'intelligenza artificiale, questo "rimpicciolimento" è chiamato compressione. I grandi modelli linguistici (i cervelli IA super intelligenti che scrivono codice, raccontano storie e chiacchierano con noi) sono enormi, quindi gli ingegneri usano trucchi come la quantizzazione (semplificare i numeri all'interno), il pruning (tagliare le connessioni non utilizzate) e la fattorizzazione a basso rango (trovare uno scheletro matematico più semplice) per renderli più piccoli e veloci.

Ma come fai a sapere se il libro rimpicciolito funziona ancora? Non puoi assaggiare ogni singolo pasto che cucina. Invece, utilizzi dei "guardiani della qualità". Controlli se l'IA comprende ancora la grammatica di base (perplessità), se sa rispondere correttamente a domande di cultura generale (come MMLU) e se i suoi "pensieri" interni sembrano ancora simili al cervello gigante originale quando la stimoli con domande casuali. Questi controlli sono veloci e non richiedono nuovi dati. La grande domanda è: questi guardiani sono sufficienti a dimostrare che l'IA è sicura per essere inviata nel mondo reale a svolgere compiti? Questo articolo approfondisce una possibilità spaventosa: cosa succede se l'IA supera tutti i test, ma inizia a inventare regole quando prova a seguire una procedura?

---

Il Grande Furto dell' "Invenzione"

Gli autori di questo articolo hanno scoperto un punto cieco nascosto nel modo in cui testiamo l'IA compressa. Hanno scoperto che un modello di IA può superare ogni singolo test di sicurezza standard, sembrare perfetto sulla carta e poi, quando gli viene chiesto di agire come un agente (un lavoratore digitale che segue un insieme rigoroso di istruzioni), inizia a inventare passaggi che non erano mai stati presenti nelle istruzioni.

Pensa a uno studente che supera un test di matematica con i migliori voti ma, quando gli viene chiesto di seguire una ricetta per cucinare una torta, decide di aggiungere "un pizzico di glitter" perché pensa che suoni bene. Lo studente non ha fallito il test di matematica; ha solo fallito il compito specifico di seguire gli ordini esattamente.

I ricercatori hanno testato questo su tre diverse famiglie di modelli di IA (Mistral, Qwen e Llama). Hanno preso modelli che erano stati "gentilmente compressi" usando un metodo chiamato SVD (un tipo di fattorizzazione a basso rango). Questi modelli erano stati così ben compressi da superare il "guardiano della perplessità" (il loro livello di confusione era solo 1,069 o 1,17 volte superiore all'originale, ampiamente entro il limite sicuro di 1,15) e il "guardiano della fedeltà" (i loro pensieri interni corrispondevano all'originale).

Ma quando hanno chiesto a questi modelli di agire come agenti e seguire una Procedura Operativa Standard (SOP) — come una checklist per riparare un server o elaborare un ordine — i modelli hanno iniziato a confabulare. Hanno aggiunto passaggi extra che non esistevano.

• Sul modello Mistral-7B, la versione compressa ha inventato in media +1,729 passaggi extra per query.
• Sul modello Qwen3-8B, ha inventato +0,208 passaggi extra.
• Sul modello Llama-3.1-8B, la versione "gentilmente compressa" è rimasta al livello di rumore (inventando solo +0,056 passaggi), il che significa che il test è stato non diagnostico per questa specifica build. Lo spettro interno del modello semplicemente non aveva abbastanza "spazio libero a basso rango" per innescare l'effetto invenzione mentre rimaneva entro il guardiano di sicurezza. Il fallimento è apparso solo quando il modello Llama è stato compresso in modo più aggressivo, uscendo dal guardiano di sicurezza standard.

La parte spaventosa? I modelli che hanno fatto questo erano quelli che avevano superato il test di "fedeltà". Il test diceva: "Ehi, il tuo cervello è proprio come l'originale!". Ma la realtà era: "In realtà, il tuo cervello sta ora allucinando nuove regole".

Il Colpevole: Coerenza, non Danno

Perché è successo? Gli autori hanno scoperto che non si trattava di quanto il modello fosse danneggiato (l' "entità" dell'errore). Hanno confrontato la compressione "SVD" con il pruning di magnitudo (tagliare i numeri più piccoli).

Quando hanno fatto in modo che i due metodi causassero lo stesso identico livello di confusione (perplessità), i risultati sono stati drasticamente diversi:

• Il modello SVD (che crea un errore "coerente", come una distorsione fluida e strutturata) è fallito nel test, inventando passaggi.
• Il modello Pruning (che crea un errore "disordinato" e incoerente, come l'interferenza statica casuale) ha superato il test, inventando quasi nulla (circa -0,146 passaggi, il che equivale a zero).

Gli autori hanno capito che il problema non è la dimensione dell'errore, ma la sua forma. Chiamano questo il meccanismo "Coerenza × Tasso".

• Coerenza: L'errore è strutturato e fluido (come un SVD a basso rango).
• Tasso: Quanto del modello è influenzato.

Se hai un errore strutturato e fluido che è solo abbastanza grande da passare sotto il radar dei test standard, l'IA inizia a "allucinare" nuovi passaggi procedurali. È come se la distorsione fluida ingannasse l'IA, facendole credere di conoscere una scorciatoia che non esiste. Il "danno" (perplessità) non ha predetto questo; la "fluidità" del danno lo ha predetto.

Il "Canarino" e il Nuovo Rilevatore

Per dimostrare questo, i ricercatori hanno costruito un test speciale che chiamano "canarino". È come un canarino in una miniera di carbone. Hanno dato all'IA una SOP finta con 10 passaggi e un 11° passaggio condizionale, e poi hanno chiesto di elencare i passaggi. Se l'IA elencava un passaggio che non era presente nelle istruzioni, falliva.

Hanno scoperto che gli stessi pesi dell'IA che avevano vinto il test standard di "fedeltà" (dimostrando di essere simili all'originale) avevano perso il "test del canarino" (dimostrando di inventare passaggi). Questa è una "dissociazione": i test standard sono ciechi a questo specifico tipo di fallimento.

Ma gli autori non si sono limitati a trovare il problema; hanno costruito un rilevatore privo di dati per cattarlo prima del deployment. Hanno capito che potevano misurare due cose senza aver bisogno di nuovi dati:

1. Frazione Coerente: Quanto dell'errore è "fluido" e strutturato?
2. Tasso di Errore: Quanto è grande l'errore complessivo?

Hanno creato un semplice "cancello" (un controllo passa/non passa):

• Se Frazione Coerente > 0,007 E Tasso di Errore > 0,01, il modello è FALLITO.
• Se non soddisfa entrambi, il modello è SUPERATO.

Questo cancello ha identificato correttamente tutti i modelli falliti nei loro test. Ad esempio, il modello Mistral che inventava passaggi aveva una frazione coerente di 0,0080 e un tasso di errore di 0,0159, facendo scattare l'allarme. Il modello di pruning, che era sicuro, aveva una frazione coerente di 0,0054, passando sotto il radar del controllo di "coerenza" e superando il test.

La Conclusione

L'articolo conclude che la Perplessità, l'MMLU e i controlli di fedeltà privi di dati non sono sufficienti per certificare che un'IA sia sicura per il lavoro agente (agentic work). Solo perché un'IA supera gli standard "esami scolastici" non significa che non inventerà regole quando sarà sul lavoro.

Gli autori suggeriscono che prima di distribuire un'IA compressa per agire come un agente (svolgere compiti, seguire procedure), dobbiamo eseguire questo nuovo "schermo di coerenza". Se un modello è stato "gentilmente compresso" usando metodi a basso rango (SVD) e fa scattare questo nuovo cancello, è probabile che inventi passaggi e fallisca nel seguire le istruzioni, anche se sembra perfetto in ogni altro test.

In breve: Non fidarti dell'IA solo perché ha superato il test. Controlla se è "fluidamente" rotta, perché è allora che inizia a inventare cose.