Riepilogo Tecnico: LLM Ghostbusters: Soppressione Chirurgica delle Allucinazioni tramite Dimenticanza Adattiva

1. Enunciato del Problema

I Large Language Models (LLM) distribuiti nella generazione di codice producono frequentemente allucinazioni: output linguisticamente fluenti ma fattualmente errati. Nel contesto dello sviluppo software, ciò si manifesta come allucinazione di pacchetti, dove un modello inventa nomi di librerie software inesistenti (ad esempio, un pacchetto Python fasullo).

Questa modalità di fallimento crea una vulnerabilità critica della catena di approvvigionamento nota come slopsquatting. Un avversario può registrare proattivamente questi nomi di pacchetti allucinati su registri pubblici (come PyPI) con payload malevoli. Quando sviluppatori o agenti autonomi installano successivamente questi pacchetti basandosi sulla raccomandazione dell'LLM, il codice malevolo viene eseguito.

Le strategie di mitigazione esistenti sono insufficienti per il perfezionamento post-distribuzione:

• Il riaddestramento completo è computazionalmente proibitivo.
• La Generazione Aumentata dal Recupero (RAG) e la verifica al momento dell'inferenza aggiungono latenza e complessità senza alterare le rappresentazioni apprese sottostanti del modello.
• La Dimenticanza Machine Standard (ad esempio, Gradient Ascent, NPO) richiede tipicamente un "insieme di dimenticanza" pre-specificato e finito. Tuttavia, lo spazio dei prompt che inducono allucinazioni è aperto, e le specifiche allucinazioni che un modello produrrà sono sconosciute fino a quando non vengono evocate.
• Il Collasso Parziale del Modello (PMC) offre un meccanismo per la rimozione mirata di contenuti, ma presuppone un dataset fisso e noto da dimenticare, il che non si applica alla natura dinamica e illimitata delle allucinazioni.

2. Metodologia: Dimenticanza Adattiva (AU)

Gli autori propongono la Dimenticanza Adattiva (AU), un framework a ciclo chiuso, post-distribuzione, progettato per sopprimere chirurgicamente le allucinazioni preservando l'utilità generale del modello. AU opera interamente su dati sintetici generati dal modello stesso, non richiedendo alcuna annotazione umana.

Componenti Principali

1. Ciclo di Mutazione Adattiva dei Prompt:

   • Invece di affidarsi a un insieme statico di dimenticanza, AU scopre continuamente nuovi contesti che inducono allucinazioni.
   • Il sistema genera campioni dal modello corrente. Se un prompt non riesce a indurre un'allucinazione o è stato addestrato per un numero fissato di epoche, è considerato "esaurito".
   • Il prompt viene quindi mutato (variato semanticamente) per evocare nuovi pattern di allucinazione, assicurando che il modello impari a sopprimere i pattern piuttosto che memorizzare coppie specifiche prompt-output.

2. Instradamento Tri-Mask dei Token:

   • Un nuovo meccanismo di instradamento del gradiente a tre valori partiziona il flusso di token in tre popolazioni disgiunte per ogni campione di addestramento:
     • Mask = 0 (Regolarizzare): Token contestuali (prompt, struttura del codice, punteggiatura). Questi ricevono una perdita Cross-Entropy (CE) scalata per ancorare la distribuzione del modello e prevenire output incoerenti.
     • Mask = 1 (Rafforzare): Token validi (ad esempio, nomi di pacchetti corretti confermati da un oracolo del registro). Questi ricevono la perdita CE standard per rafforzare le generazioni corrette.
     • Mask = 2 (Sopprimere): Token allucinati (ad esempio, nomi di pacchetti inesistenti). Questi ricevono la perdita Negative Preference Optimization (NPO) per spingere la massa di probabilità lontano da questi token.
   • Questa tri-masking garantisce che i gradienti di rafforzamento e soppressione agiscano su insiemi di token disgiunti, prevenendo il collasso catastrofico spesso osservato quando si applicano obiettivi opposti agli stessi token.

3. Funzione Obiettivo Ibrida:

   • La perdita totale combina i tre termini:
     $$L_{AU} = \lambda_{retain} L_{CE}^{T_{retain}} + \lambda_{forget} L_{NPO}^{T_{forget}} + \lambda_{reg} L_{CE}^{T_{reg}}$$
   • Ciò permette al modello di imparare simultaneamente cosa non generare (allucinazioni) e cosa generare (alternative valide) all'interno della stessa sequenza.

4. Cicli di Addestramento Annidati:

   • Per stabilizzare il processo di dimenticanza, AU adotta una struttura di addestramento a due scale temporali:
     • Epoche Esterne: Rigenerare campioni e rilevare allucinazioni per aggiornare le tri-mask.
     • Epoche Interne: Addestrare sui campioni memorizzati nell'epoca esterna per più passi prima di ricampionare. Ciò permette al modello di consolidare il segnale di soppressione piuttosto che inseguire costantemente campioni in movimento.

3. Contributi Chiave

1. Framework di Dimenticanza Adattiva: Il primo metodo di dimenticanza ad accoppiare un ciclo adattivo di scoperta delle allucinazioni con un obiettivo ibrido a livello di token, consentendo la generalizzazione a prompt non visti senza un insieme di dimenticanza pre-specificato.
2. Instradamento Tri-Mask dei Token: Un meccanismo che permette modifiche chirurgiche all'interno di una singola sequenza partizionando i token in categorie valide, allucinate e contestuali, permettendo agli obiettivi CE e NPO di operare senza conflitti.
3. Mutazione Adattiva dei Prompt: Una strategia che estende la dimenticanza da insiemi finiti a spazi di prompt aperti, assicurando che il modello sopprima i pattern di allucinazione piuttosto che adattarsi eccessivamente a prompt specifici.
4. Addestramento Annidato per la Stabilità: Uno schema di aggiornamento della cache che affronta l'instabilità dei precedenti metodi di dimenticanza basati sul collasso, cruciale per una riduzione stabile delle allucinazioni.
5. Valutazione Congiunta Sistematica: Un confronto empirico che valuta simultaneamente il tasso di allucinazione, la deriva distribuzionale e l'utilità nella codifica, dimostrando che una mitigazione efficace richiede di bilanciare tutti e tre gli assi.

4. Risultati Sperimentali

Gli autori hanno valutato AU sui modelli DeepSeek-Coder (7B e 16B parametri) utilizzando un dataset di prompt di generazione di codice progettati per evocare allucinazioni di pacchetti.

• Riduzione delle Allucinazioni:

  • Sul modello DeepSeek-7B, AU ha ridotto il tasso totale di allucinazione dei pacchetti dal 21,2% (Base) al 2,56%, una riduzione dell'88%.
  • Sul modello DeepSeek-16B, il tasso è sceso dal 27,75% al 6,13%, una riduzione del 78%.
  • Ciò ha superato significativamente i baseline: Gradient Ascent (GA), Negative Preference Optimization (NPO) e Partial Model Collapse (PMC).

• Preservazione dell'Utilità:

  • AU ha mantenuto o leggermente migliorato le prestazioni su benchmark di codifica standard (HumanEval, MBPP e le loro varianti EvalPlus).
  • Per DeepSeek-7B, il punteggio medio del benchmark di codifica è migliorato a 68,57 (vs. 66,98 per il modello base).
  • Per DeepSeek-16B, il punteggio è rimasto stabile a 73,17 (vs. 77,4 per il base, notando un leggero calo attribuito alle dinamiche di addestramento MoE ma comunque superiore ad altri baseline di dimenticanza).

• Deriva Distribuzionale (Divergenza KL):

  • L'analisi ha mostrato che i cambiamenti comportamentali indotti da AU erano altamente concentrati nella distribuzione di generazione dei pacchetti (divergenza KL ~1,4 nat per le query sui pacchetti) mentre rimanevano minimi per la generazione di codice generale (divergenza KL ~0,08 nat) e il rispetto delle istruzioni.
  • Ciò conferma la natura "chirurgica" della dimenticanza, evitando danni collaterali ampi alle capacità del modello.

• Studi di Ablazione:

  • Composizione della Perdita: Né CE-only (rafforzamento) né NPO-only (soppressione) sono stati sufficienti; entrambi hanno portato a tassi di allucinazione >12%. L'approccio ibrido era essenziale.
  • Epoche Interne: L'addestramento senza epoche interne (ricampionamento a singolo passo) non è riuscito a ridurre efficacemente le allucinazioni. Era richiesto un minimo di ~10 epoche interne per un consolidamento stabile.
  • Mutazione dei Prompt: La mutazione adattiva era critica per la generalizzazione. Senza mutazione, i tassi di allucinazione rimanevano alti (~10,7%); con 6 mutazioni, i tassi scendevano a ~3,9%.

5. Significato e Affermazioni

Il documento afferma che la Dimenticanza Adattiva fornisce un percorso principiato e pratico per i vendor per affrontare le allucinazioni negli LLM distribuiti tra i cicli di rilascio.

• Impatto sulla Sicurezza: Riducendo i tassi di allucinazione dei pacchetti di oltre l'80%, AU riduce direttamente la superficie di attacco per gli attacchi slopsquatting, una vulnerabilità critica della catena di approvvigionamento.
• Fattibilità Operativa: A differenza del riaddestramento completo, AU opera su dati sintetici auto-generati, non richiede annotazione umana e non si affida a basi di conoscenza esterne o sovraccarico di verifica al momento dell'inferenza.
• Generalizzabilità: Sebbene gli esperimenti si concentrino sulle allucinazioni di pacchetti Python, gli autori sostengono che il framework è agnostico rispetto all'ecosistema e applicabile a qualsiasi dominio con un oracolo deterministico (ad esempio, endpoint API, citazioni, affermazioni storiche).
• Limitazioni: Gli autori notano modestamente che l'oracolo attuale verifica la validità a livello di stringa (esistenza del registro) piuttosto che la correttezza semantica nel codice. Riconoscono inoltre che il fine-tuning a parametri completi su scale maggiori (oltre 16B) richiede risorse oltre il loro studio attuale, e la generalizzazione agli LLM generici (non codice) rimane un'estensione aperta.

In sintesi, il documento presenta AU come un metodo che naviga con successo il compromesso tra la soppressione di comportamenti specifici indesiderati e la preservazione dell'utilità generale del modello, affrontando un vuoto in cui i precedenti metodi di dimenticanza fallivano a causa della natura aperta delle allucinazioni.