🤖 machine learning

Mitigating Diffusion Model Hallucinations with Dynamic Guidance

Questo articolo introduce la Dynamic Guidance, un nuovo approccio durante la fase di generazione che mitiga le allucinazioni dei modelli di diffusione affinando selettivamente la funzione di score lungo le direzioni soggette ad artefatti pur preservando le variazioni semantiche valide, superando così i baseline esistenti sia su dataset di immagini controllate che naturali.

Autori originali: Kostas Triaridis, Alexandros Graikos, Aggelina Chatziagapi, Grigorios G. Chrysos, Dimitris Samaras

Pubblicato 2026-06-09

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Kostas Triaridis, Alexandros Graikos, Aggelina Chatziagapi, Grigorios G. Chrysos, Dimitris Samaras

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a dipingere a un artista molto talentuoso ma un po' confuso. Questo artista, un "Modello di Diffusione", è bravissimo a creare immagini bellissime, ma a volte diventa un po' troppo creativo nel modo sbagliato. Potrebbe disegnare una mano con sei dita, un gatto senza coda o un cavallo con tre zampe. Nel mondo dell'IA, chiamiamo questi errori "allucinazioni".

Secondo questo articolo, il motivo per cui l'artista commette questi errori è che cerca di essere troppo fluido. Quando l'artista sta imparando, vede l'immagine di un "cane" e l'immagine di un "gatto". Invece di mantenerli come due idee distinte e nitide, cerca di fonderle in una via di mezzo sfocata. A volte, questa via di mezzo sfocata si trasforma in una strana creatura che non esiste realmente in natura.

Gli autori di questo articolo, della Stony Brook University e della University of Wisconsin-Madison, propongono una nuova tecnica chiamata Guida Dinamica (Dynamic Guidance) per risolvere il problema. Ecco come funziona, usando alcune semplici analogie:

Il Problema: La "Via di Mezzo Sfocata"

Pensa alla mente dell'artista come a un paesaggio con due montagne alte: una è "Cane" e l'altra è "Gatto". Il sentiero tra di loro è una valle piatta e liscia.

Il Vecchio Modo: Quando l'artista prova a disegnare, a volte rimane bloccato in quella valle piatta. Poiché il percorso è così fluido, l'artista non sa quale direzione prendere, quindi disegna un mix strano di un cane e di un gatto. Questa è l' "allucinazione".
La Soluzione Standard: Di solito, le persone cercano di dire all'artista: "Disegna un Cane!" (questo si chiama Classifier Guidance). Ma se l'artista parte con uno schizzo casuale che somiglia più a un gatto, e tu lo costringi a essere un cane, l'artista potrebbe confondersi e fare comunque un errore, come disegnare un cane con la coda di un gatto.

La Soluzione: Guida Dinamica (Il "Navigatore Intelligente")

Gli autori suggeriscono un approccio più intelligente. Invece di scegliere una destinazione (come "Cane") all'inizio del processo e attenersi ad essa a prescindere, l'artista riceve un Navigatore Intelligente che controlla la mappa ad ogni singolo passaggio del processo di disegno.

Controlla lo Stato Attuale: In ogni minuscolo momento in cui l'immagine viene formata, il Navigatore chiede: "In base a ciò che abbiamo disegnato proprio ora, sembra più un Cane o un Gatto?"
Regola il Percorso: Se lo schizzo attuale sembra pendere verso "Cane", il Navigatore rende più nitido il percorso verso la montagna del "Cane". Se pende verso "Gatto", rende più nitido il percorso verso il "Gatto".
Evita la Via di Mezzo Sfocata: Regolando costantemente l'obiettivo, l'artista non rimane mai bloccato in quella valle liscia e confondente. È costretto a compiere un passo deciso verso una forma reale e valida.

Perché è Speciale

L'articolo evidenzia tre punti chiave di questo metodo:

È Selettivo: Immagina che l'artista stia disegnando una mano. Il Navigatore sa che cambiare il colore della pelle è un cambiamento valido e corretto (diversità). Ma cambiare il numero di dita è un cambiamento errato (allucinazione). La Guida Dinamica è abbastanza intelligente da rendere nitido il percorso solo nella direzione del "conteggio delle dita", lasciando invece la direzione del "colore della pelle" fluida e varia. Corregge le cose brutte senza rovinare quelle belle.
Avviene Durante il Disegno: La maggior parte degli altri metodi cerca di correggere l'immagine dopo che è stata finita (come un filtro che elimina le brutte immagini). Questo metodo corregge l'immagine mentre viene disegnata. È come un coach che corregge la forma di un corridore durante la gara, piuttosto che dirgli che ha corso male una volta terminata la corsa.
Funziona con le Parole: Gli autori hanno testato questo metodo sui modelli text-to-image (dove scrivi "un cavallo in un campo"). A volte il computer si confonde su come il cavallo sia posizionato. Il sistema di Guida Dinamica può guardare il cavallo a metà costruzione, rendersi conto che la posa è ambigua e regolare sottilmente le istruzioni in "un cavallo al galoppo" o "un cavallo sdraiato" per far sì che l'anatomia abbia senso.

I Risultati

L'articolo ha testato questo metodo su diverse cose:

Forme Semplici: Quando gli è stato chiesto di disegnare triangoli o quadrati, il metodo ha impedito all'IA di disegnare strani mix di entrambi.
Immagini Reali: Su un enorme dataset di 1,2 milioni di immagini (ImageNet), il metodo ha prodotto immagini che apparivano più realistiche e con meno caratteristiche "impossibili".
Feedback Umano: Quando gli esseri umani hanno guardato le immagini generate con questo nuovo metodo, hanno concordato sul fatto che ci fossero meno errori (come zampe extra sugli animali) e preferivano le nuove immagini rispetto a quelle vecchie.

In breve, la Guida Dinamica è come dare all'artista IA un GPS che ricalcola costantemente la rotta per assicurarsi che rimanga sulla strada della realtà, evitando le trappole fuori strada dove vivono le allucinazioni.

Riepilogo Tecnico: Mitigare le Allucinazioni dei Modelli di Diffusione con la Guida Dinamica

Definizione del Problema

I modelli di diffusione, pur essendo dominanti nella generazione di immagini ad alta fedeltà, soffrono di "allucinazioni"—campioni che contengono incongruenze strutturali (ad esempio, anatomia errata come dita in eccesso o parti del corpo mancanti) che si trovano al di fuori del supporto della vera distribuzione dei dati. Gli autori attribuiscono queste allucinazioni all'interpolazione di modo.

Recenti scoperte indicano che la funzione di score appresa nei Denoising Diffusion Probabilistic Models (DDPM) è eccessivamente fluida nelle regioni a bassa densità tra i modi dei dati. Mentre la vera funzione di score dovrebbe essere netta in queste regioni intermedie per costringere il campionatore a compiere passi correttivi più ampi, la fluidità appresa causa il "intrappolamento" dei campioni nel processo di denoising, risultando in interpolazioni semanticamente non valide tra modi incompatibili.

I metodi di guida esistenti (ad esempio, Classifier Guidance, Classifier-Free Guidance) tipicamente orientano i campioni verso regioni ad alta probabilità basandosi su una condizione fissa fornita all'inizio del campionamento. Gli autori sostengono che se questa condizione fissa non è allineata con il rumore iniziale o con la traiettoria in evoluzione, la guida può spingere il campione in regioni che richiedono grandi passi correttivi, portando a un eccesso (overshooting) o a un difetto (undershooting) rispetto al modo target, generando così allucinazioni. Inoltre, gli approcci attuali trattano spesso le allucinazioni come un problema di filtraggio post-hoc o un problema di allineamento testo-immagine, piuttosto che come un difetto fondamentale della traiettoria di campionamento stessa.

Metodologia: Guida Dinamica (DG)

Il documento propone la Guida Dinamica (Dynamic Guidance, DG), un metodo che mitiga le allucinazioni affinando adattivamente la funzione di score durante il processo di campionamento, invece di fare affidamento su condizioni statiche o sul filtraggio post-generazione.

Meccanismo Core

Inveve di impegnarsi in un singolo target di guida (classe $c$ ) sin dall'inizio, la DG identifica il modo più probabile $c^*$ per l'attuale campione rumoroso $x_t$ ad ogni timestep di denoising. La guida viene quindi applicata verso questo modo selezionato dinamicamente.

L'algoritmo approssima una funzione di score più netta $\hat{s}_\theta(x_t)$ come segue:
$\hat{s}_\theta(x_t) := \sum_{c} \mathbb{1}_{c^*}(c) \nabla_{x_t} \log p_\theta(x_t | c)$
dove $c^* = \arg \max_{c \in C} \log p(c | x_t)$ .

Ricalcolando la classe più probabile ad ogni passo, il segnale di guida rimane allineato con la direzione locale dello score, impedendo alla traiettoria di rimanere bloccata in percorsi che richiedono passi di interpolazione ampi e induttori di allucinazioni.

Varianti di Implementazione

Condizionamento Discreto (Classifier Guidance): Per dataset con etichette discrete (ad esempio, classi di ImageNet, tipi di forme), la DG utilizza un classificatore per predire $p(c|x_t)$ e applica i gradienti verso la classe più probabile $c^*$ .
Pseudo-Classi (Clustering): Il metodo non richiede classi semantiche predefinite. Gli autori dimostrano che l'uso del clustering per identificare vicinati semanticamente coerenti nella distribuzione dei dati (ad esempio, utilizzando le feature di DINOv2) per creare "pseudo-classi" è sufficiente. Ciò consente alla DG di isolare le direzioni soggette ad allucinazioni senza mappare verso concetti interpretabili.
Text-to-Image (Classifier-Free Guidance): Per i modelli condizionati dal testo, la DG viene estesa regolando dinamicamente il prompt testuale. Un modello visivo-linguistico (VLM) osserva le predizioni intermedie denoisate e, se l'immagine corrisponde a un particolare "ramo" di un prompt (generato da un LLM per risolvere le ambiguità), il prompt viene aggiornato a quel ramo specifico. Ciò affina efficacementmente la funzione di score lungo la direzione dell'ambiguità risolta.

Affinamento Selettivo

Un insight teorico chiave è che la DG affina selettivamente la funzione di score. Essa aumenta l'ampiezza del gradiente solo lungo le direzioni associate al modo di guida selezionato (dove avvengono le allucinazioni), lasciando inalterate le altre direzioni (ad esempio, variazioni semantiche valide come il tono della pelle). Ciò preserva la diversità dei campioni sopprimendo al contempo le generazioni non valide.

Contributi Chiave

Algoritmo di Guida Dinamica: Una nuova strategia di campionamento che seleziona adattivamente i target di guida ad ogni timestep per evitare regioni di interpolazione a bassa probabilità.
Affinamento Selettivo dello Score: Dimostrazione che la DG mitiga le allucinazioni affinando la funzione di score specificamente lungo le direzioni che inducono allucinazioni, preservando la diversità altrove.
Mitigazione durante la Generazione: Il primo approccio che affronta le allucinazioni durante il processo di campionamento, anziché attraverso la rilevazione/rigetto post-hoc o il post-training.
Estensione alle Pseudo-Classi: Un metodo rigoroso per estendere la DG a scenari privi di etichette di classe esplicite tramite l'uso del clustering basato sui dati.
Adattamento Text-to-Image: Un'estensione della DG ai modelli di diffusione latente tramite l'aggiustamento dinamico del prompt tramite VLM e LLM.

Risultati Sperimentali

Dataset Controllati

Gli autori hanno valutato la DG su dataset sintetici dove le allucinazioni sono rigorosamente definite:

Forme Singole (Single Shapes): Immagini con 1-3 istanze della stessa forma. Le allucinazioni consistono in forme miste.
- Risultato: La DG ha ottenuto una riduzione del 74,21% del tasso di allucinazione (HR), superando significativamente la Variance Filtering (11,58%) e la Classifier Guidance (11,05%).
Forme Miste (Mixed Shapes): Immagini con fino a un'istanza di ciascuna forma. Le allucinazioni consistono in molteplici istanze della stessa forma.
- Risultato: La DG ha ottenuto una riduzione dell'HR del 72,97%, mentre la Classifier Guidance ha effettivamente aumentato le allucinazioni (-1,92%).
Hands-11k: Immagini di mani umane. Le allucinazioni sono errori anatomici.
- Risultato: La DG ha ottenuto una riduzione dell'HR del 45,12%, superando la Variance Filtering e la Classifier Guidance.

Benchmark su Larga Scala (ImageNet-1k)

Poiché le allucinazioni sono difficili da definire in ImageNet, gli autori hanno utilizzato metriche proxy: Precision (frazione di campioni nel supporto dei dati reali) e Inception Score (IS).

Performance: La DG ha costantemente superato la Classifier Guidance attraverso varie scale di guida.
Metriche: Nella migliore configurazione, la DG ha migliorato la Precision di 8 punti e l'Inception Score di 5 punti rispetto al baseline, mantenendo la diversità (il Recall non è stato significativamente ridotto).
Ablation: Gli autori hanno scoperto che applicare la DG solo durante i timestep intermedi $[T_1, T_2]$ (specificamente tra 800 e 400 nel loro setup) produceva i risultati migliori, evitando la rigidità della guida sull'intera traiettoria.

Generazione Text-to-Image

Applicata a Stable Diffusion 2.1 con uno studio di utenti su 18 partecipanti:

Riduzione delle Allucinazioni: La DG ha ridotto il tasso di allucinazione percepito per il 100% dei partecipanti, con una riduzione media del 14,1% (dal 52,7% al 45,3%).
Preferenza: I partecipanti hanno preferito le immagini generate con DG rispetto al baseline (tasso di preferenza del 38,7% contro il 27,3%).

Significato e Rivendicazioni

Il documento sostiene che la Guida Dinamica rappresenti un cambiamento fondamentale nel modo in cui si affrontano le allucinazioni dei modelli di diffusione. Intervenendo direttamente nel processo generativo, la DG impedisce alle allucinazioni di verificarsi sin dall'inizio, evitando lo spreco computazionale di generare e poi scartare campioni difettosi.

Gli autori sottolineano che il loro approccio è fondato su principi: si basa sulla necessità matematica di affinare la funzione di score nelle regioni a bassa densità per prevenire l'interpolazione di modi. Fondamentalmente, dimostrano che ciò può essere ottenuto senza sacrificare le interpolazioni "valide" che contribuiscono alla diversità e alla generalizzazione del campione. La capacità di utilizzare pseudo-classi e l'aggiustamento dinamico dei prompt suggerisce che la DG sia una soluzione scalabile per compiti di generazione complessi e reali, dove le rigide definizioni di classe sono insufficienti.

Il lavoro conclude che la DG rappresenta un passo avanti verso modelli di diffusione più affidabili, offrendo un meccanismo per controllare il compromesso tra fedeltà e diversità, prendendo di mira le proprietà geometriche specifiche della funzione di score appresa che portano a inconsistenze strutturali.