RBF-Solver: A Multistep Sampler for Diffusion Probabilistic Models via Radial Basis Functions

1. Il Problema

I Modelli Probabilistici di Diffusione (DPM) hanno raggiunto lo stato dell'arte nella generazione di immagini, video e audio grazie alla loro alta fedeltà. Tuttavia, il processo di campionamento (inference) è computazionalmente costoso perché richiede numerosi passaggi iterativi di denoising (spesso centinaia o migliaia).

Per accelerare l'inferenza, sono stati sviluppati campionatori multistep basati su approssimazioni polinomiali (come espansioni di Taylor o interpolazione di Lagrange). Sebbene questi metodi offrano garanzie teoriche di accuratezza, presentano limitazioni significative:

• Rigidità: Generano la traiettoria di campionamento secondo uno schema predefinito, senza flessibilità per l'ottimizzazione.
• Instabilità numerica: A ordini elevati (4° ordine o superiore), i metodi basati su polinomi tendono a diventare instabili e degradano la qualità dell'immagine (fenomeno di Runge).
• Mancanza di adattività: Non riescono ad adattarsi alle caratteristiche locali dei dati durante il processo di generazione.

2. Metodologia: RBF-Solver

Gli autori propongono RBF-Solver, un nuovo campionatore multistep che sostituisce l'interpolazione polinomiale con l'interpolazione tramite Funzioni a Raggio Radiale (RBF) Gaussiane.

Concetti Chiave:

• Interpolazione con RBF Gaussiane: Invece di approssimare la funzione di previsione del modello $\hat{x}_\theta$ con un polinomio, RBF-Solver utilizza una combinazione lineare di funzioni Gaussiane radiali:
  $$R(\lambda) = \sum w_{j} \phi_j(\lambda) + w_{const}$$
  dove $\phi_j(\lambda) = \exp\left(-\left(\frac{\lambda - \lambda_{ti-j}}{\gamma_{ti} h_{ti}}\right)^2\right)$.
• Parametri di Forma Apprendibili ($\gamma$): La caratteristica distintiva è l'introduzione di un parametro di forma $\gamma$ (legato alla larghezza della Gaussiana) che è apprendibile. Questo permette al campionatore di adattare la forma delle funzioni base alle caratteristiche locali della traiettoria di denoising, ottimizzando il percorso di generazione.
• Condizione di Somma dei Coefficienti: Il metodo è progettato per soddisfare una condizione di somma dei coefficienti, garantendo coerenza con il metodo di Eulero (DDIM) al primo ordine.
• Convergenza Teorica:
  • Se $\gamma \to \infty$, le RBF diventano piatte e il metodo converge al Metodo di Adams (basato su interpolazione di Lagrange), assicurando compatibilità con i metodi esistenti.
  • Se $\gamma \to 0$, converge a un campionatore con coefficienti uguali.
  • Per valori intermedi, il metodo trova un punto ottimale che massimizza l'accuratezza.

Ottimizzazione dei Parametri:

Il paper introduce un algoritmo per ottimizzare i parametri di forma $\gamma$ (sia per il predittore che per il correttore).

1. Si genera un set di "traiettorie target" ad alta fedeltà utilizzando un campionatore esistente con un numero elevato di valutazioni della funzione (NFE), ad esempio 200.
2. Durante l'esecuzione, i parametri $\gamma$ vengono ottimizzati (tramite ricerca su griglia) per minimizzare l'errore quadratico medio tra la previsione del campionatore RBF e la traiettoria target.
3. Questo processo è "training-free" rispetto al modello di diffusione stesso, ma richiede un'ottimizzazione offline dei parametri del campionatore.

3. Contributi Chiave

1. Nuovo Paradigma di Interpolazione: Spostamento dall'interpolazione polinomiale all'interpolazione RBF Gaussiana per la risoluzione delle ODE di diffusione.
2. Flessibilità e Adattività: L'uso di parametri di forma apprendibili permette di seguire traiettorie di campionamento ottimali che i metodi polinomiali fissi non possono cogliere.
3. Stabilità ad Ordini Elevati: A differenza dei metodi polinomiali che degradano oltre il 3° ordine, RBF-Solver mantiene alta fedeltà anche a ordini 4, 5 e 6, grazie alla proprietà di località delle basi Gaussiane (l'influenza di un punto decade rapidamente con la distanza).
4. Garanzie Teoriche: Dimostrazione che il metodo soddisfa le condizioni di consistenza, converge al metodo di Adams per $\gamma \to \infty$ e offre garanzie di accuratezza globale di ordine $p$.

4. Risultati Sperimentali

Il metodo è stato valutato su diversi dataset (CIFAR-10, ImageNet 64x64, 128x128, 256x256) e modelli (Score-SDE, EDM, Guided-Diffusion, Stable Diffusion).

• Generazione Non Condizionata (Unconditional):

  • Su CIFAR-10 (Score-SDE), RBF-Solver supera i campionatori basati su polinomi (DPM-Solver++, UniPC) quando il numero di valutazioni della funzione (NFE) è $\ge 15$.
  • Raggiunge un FID di 2.87 con 15 NFE e 2.48 con 40 NFE, superando lo stato dell'arte.
  • Su ImageNet 64x64, mostra prestazioni superiori per NFE $\ge 10$.

• Generazione Condizionata (Conditional):

  • Su ImageNet 256x256 (Guided-Diffusion) con scale di guida elevate (8.0), RBF-Solver ottiene riduzioni significative del FID (dal 16% al 33%) rispetto ai metodi basici nella regione a basso NFE (5-10 passaggi).
  • Su Stable Diffusion v1.4, dimostra una migliore similarità coseno (CLIP) e un errore RMSE inferiore rispetto ai competitor, specialmente ad alte scale di guida.

• Stabilità ad Alto Ordine:

  • Mentre l'UniPC e altri metodi basati su polinomi mostrano un crollo delle prestazioni (FID che aumenta drasticamente) quando si passa da ordine 3 a ordine 4 o superiore, RBF-Solver rimane stabile e continua a migliorare o mantenere le prestazioni fino all'ordine 6.

5. Significato e Impatto

RBF-Solver rappresenta un avanzamento significativo nella teoria e nella pratica del campionamento per i modelli di diffusione:

• Efficienza Computazionale: Permette di generare immagini di alta qualità con meno passaggi (NFE), riducendo i costi di inferenza.
• Robustezza: Risolve il problema dell'instabilità numerica che affligge i metodi multistep ad alto ordine, aprendo la strada a tecniche di integrazione più aggressive.
• Versatilità: Essendo un metodo "training-free" (non richiede il ri-addestramento del modello di diffusione), può essere applicato direttamente a qualsiasi checkpoint esistente, rendendolo immediatamente utilizzabile nella comunità.
• Nuova Direzione di Ricerca: Introduce l'uso di funzioni di base non polinomiali e adattive nel contesto delle ODE di diffusione, suggerendo nuove direzioni per l'ottimizzazione dei solutori numerici nel machine learning generativo.

In sintesi, RBF-Solver combina la solidità teorica dei metodi multistep con la flessibilità delle funzioni di base radiali, offrendo un campionatore più veloce, stabile e di alta qualità rispetto alle soluzioni attuali.