Riepilogo Tecnico: Classificatori di Diffusione Auto-Miglioranti con Ottimizzazione della Preferenza delle Minoranze (MiPO)

1. Definizione del Problema

I classificatori di diffusione (DC) hanno dimostrato prestazioni robuste nella classificazione zero-shot, in particolare riguardo ai campioni out-of-distribution (OOD) e alla comprensione compositiva. Tuttavia, la loro efficacia dipende fortemente dalla distribuzione dei dati di pre-addestramento. Gli attuali DC funzionano bene nelle regioni "maggioritarie" (ad alta densità) del manifold dei dati, ma mostrano un degrado significativo dell'accuratezza nelle regioni "minoritarie" (a bassa densità).

Questo divario di prestazioni deriva dal fatto che la funzione di perdita standard di matching del rumore utilizzata per addestrare i modelli di diffusione è intrinsecamente influenzata dai campioni frequenti e ad alta densità. Di conseguenza, la copertura generativa del modello è scarsa nelle regioni sottorappresentate, portando a scarse capacità percettive per i concetti minoritari. Sebbene lavori precedenti abbiano tentato di affrontare il campionamento delle minoranze attraverso la guida durante l'inferenza o classificatori ausiliari, questi metodi spesso comportano elevati costi computazionali, richiedono modelli esterni o non riescono ad aggiornare la rappresentazione sottostante del modello di diffusione stesso, limitando la loro capacità di migliorare le prestazioni di classificazione.

2. Metodologia: MiPO

Gli autori propongono MiPO (Minority Preference Optimization), un framework di auto-miglioramento che affina un modello di diffusione text-to-image pre-addestrato per potenziare la sua rappresentazione delle regioni minoritarie senza richiedere dati immagine aggiuntivi o modelli di ricompensa esterni.

Componenti Core

• Meccanismo di Auto-Miglioramento: MiPO utilizza solo dati di didascalie arbitrarie (ad es., da HPSv2) per generare campioni candidati. Non si affida a dataset di immagini esterni o modelli di fondazione per il calcolo della ricompensa.
• Ricompensa di Preferenza delle Minoranze: Per quantificare quanto un campione generato copra una regione minoritaria, il metodo impiega un'approssimazione della formula di Tweedie basata su DDIM.
  • Per un'immagine generata $x_0$, viene aggiunto del rumore gaussiano per creare un latente perturbato $x_t$.
  • Il modello ricostruisce $\hat{x}_0$ tramite inversione DDIM.
  • Lo Score di Minoranza è definito come la discrepanza di ricostruzione: $M(x_0) = \|\hat{x}_0 - x_0\|_2$.
  • Errori di ricostruzione più elevati indicano regioni in cui il denoiser presenta una maggiore incertezza (ovvero, regioni minoritarie), fungendo da segnale di ricompensa positivo.
• Apprendimento per Rinforzo con GRPO: Il modello viene affinato utilizzando la Group Relative Policy Optimization (GRPO).
  • Vengono campionate molteplici traiettorie dallo stesso prompt e rumore iniziale.
  • I vantaggi normalizzati per gruppo sono calcolati sulla base delle ricompense delle minoranze.
  • La policy viene aggiornata per massimizzare la verosimiglianza di generare campioni ad alta ricompensa (minoranza).
• Integrazione LoRA: Per garantire efficienza e stabilità, gli aggiornamenti sono applicati tramite un adattatore Low-Rank Adaptation (LoRA) invece di un fine-tuning completo del modello. Ciò consente la compatibilità plug-and-play con varie architetture (ad es., Stable Diffusion 1.5 e 2.0).
• Regolarizzazione KL: Per evitare che la policy diverga troppo dalla distribuzione pre-addestrata (il che potrebbe degradare la fedeltà visiva o le prestazioni della maggioranza), un termine di divergenza di Kullback–Leibler (KL) viene aggiunto alla funzione obiettivo:
  $$\mathcal{J}(\theta) = \alpha \mathcal{J}_{Minority}(\theta) + \beta D_{KL}(\pi_\theta \| \pi_{pre})$$
  Questo bilancia l'esplorazione delle minoranze con la preservazione del prior generativo originale.
• Ottimizzazione Selettiva della Policy: Il metodo aggiorna solo il primo 40% degli step temporali di diffusione. L'analisi empirica suggerisce che i primi step sono critici per la formazione di informazioni semantiche e strutturali grossolane, e limitare gli aggiornamenti a questa fase riduce il costo computazionale mantenendo la fedeltà visiva.

3. Contributi Chiave

1. Nuova Connessione: Il paper stabilisce una relazione diretta tra il campionamento delle minoranze nella generazione e la capacità percettiva dei classificatori di diffusione, dimostrando che potenziare la copertura generativa delle regioni a bassa densità migliora la classificazione zero-shot.
2. Framework MiPO: Un approccio di auto-miglioramento che affina i modelli di diffusione utilizzando ricompense di preferenza delle minoranze derivate esclusivamente da dati di didascalie, eliminando la necessità di dati immagine esterni, modelli di ricompensa esterni (ad es., CLIPScore, ImageReward) o ottimizzazione per singolo prompt.
3. Ottimizzazione Efficiente: L'integrazione di GRPO con LoRA e l'aggiornamento selettivo degli step temporali consente un campionamento delle minoranze stabile e adattivo al prompt con un overhead di inferenza trascurabile e un ingombro di parametri ridotto.
4. Valutazione Esaustiva: Il metodo è valutato su cinque dataset standard, dimostrando miglioramenti sia nell'accuratezza della classificazione zero-shot che nella qualità della generazione di immagini minoritarie.

4. Risultati Sperimentali

Gli autori hanno valutato MiPO su backbone SD 1.5 e SD 2.0 su molteplici dataset:

• Classificazione Zero-Shot:

  • CIFAR10: Migliorato dall'85,38% all'87,89% (SD 1.5).
  • CIFAR10-C (Robustezza): Migliorato dal 57,72% al 59,76% (SD 1.5) e dal 64,61% al 65,33% (SD 2.0).
  • ImageNet-Tiny: Migliorato dal 46,50% al 47,30% (SD 1.5) e dal 51,45% al 55,25% (SD 2.0).
  • Caltech & SUN09: Guadagni consistenti osservati su entrambi i backbone.
  • Nota: Il paper riconosce che le prestazioni su dataset complessi e multi-oggetto come LabelME e VOC2007 sono state meno stabili o hanno mostrato un leggero degrado, attribuendo ciò a gap di dominio e inconsistenze nelle annotazioni.

• Generazione di Minoranze:

  • MiPO ha raggiunto prestazioni comparabili o superiori allo stato dell'arte MinorityPrompt in metriche sensibili alle minoranze (Minority Score, JEPA-SCORE) mantenendo un'alta qualità percettiva (CLIPScore, HPSv3).
  • Fondamentalmente, MiPO opera in modo completamente adattivo al prompt (1s per immagine) senza l'oneroso ottimizzazione per singolo prompt richiesta da MinorityPrompt (63s per immagine).

• Preferenza Umana:

  • MiPO ha ottenuto il punteggio ImageReward più alto (0,228) rispetto al baseline (0,184) e a MinorityPrompt (-0,026), indicando un migliore equilibrio tra la generazione orientata alle minoranze e la qualità visiva preferita dagli esseri umani.

5. Significato e Rivendicazioni

Il paper afferma che la percezione dei classificatori di diffusione è intrinsecamente influenzata dalle regioni maggioritarie e che questo bias può essere alleviato attraverso l'ottimizzazione della preferenza delle minoranze. Dimostrando che potenziare la copertura generativa delle regioni sottorappresentate si traduce direttamente in migliori capacità di riconoscimento, gli autori sostengono che la "percezione" di un modello di diffusione è indissolubilmente legata alle sue capacità di "generazione".

La significanza di MiPO risiede nella sua capacità di migliorare i classificatori di diffusione senza dati immagine aggiuntivi o modelli esterni, affidandosi invece a un ciclo di auto-miglioramento guidato dalle ricompense delle minoranze. Gli autori pongono questo lavoro come un passo verso modelli generativi più robusti ed equi, mostrando che un campionamento delle minoranze stabile e adattivo al prompt è ottenibile attraverso un'efficiente ottimizzazione della policy (GRPO + LoRA) e che tale approccio produce guadagni tangibili nei compiti di classificazione zero-shot.

Il paper rimane modesto riguardo ai propri limiti, notando che il metodo si basa sul miglioramento basato su didascalie, il che può portare a miglioramenti instabili su dataset con significativi gap di dominio o annotazioni ambigue. Inoltre, riconosce un trade-off intrinseco tra la massimizzazione della distintività delle minoranze e la preservazione dell'allineamento estetico di alto livello del prior pre-addestrato.