RBF-Solver: A Multistep Sampler for Diffusion Probabilistic Models via Radial Basis Functions

Resumo Técnico: RBF-Solver

1. O Problema

Os Modelos Probabilísticos de Difusão (DPMs) alcançaram resultados state-of-the-art em tarefas generativas (imagem, vídeo, áudio). No entanto, a geração de amostras é computacionalmente custosa devido à necessidade de resolver equações diferenciais ordinárias (EDOs) reversas através de muitos passos iterativos de denoising.

Para mitigar esse custo, foram desenvolvidos amostradores multietapa (multistep) baseados em aproximações polinomiais (como expansões de Taylor e interpolação de Lagrange). Embora teoricamente precisos, esses métodos possuem limitações:

• Rigidez: Seguem um esquema pré-definido sem flexibilidade para otimização adicional.
• Instabilidade Numérica: Em ordens superiores (acima de 3 ou 4), os métodos polinomiais tendem a sofrer de instabilidade (fenômeno de Runge), degradando a qualidade da imagem.
• Falta de Adaptação: Não se adaptam dinamicamente às características locais da trajetória de amostragem.

2. Metodologia: RBF-Solver

O RBF-Solver propõe uma nova abordagem para amostragem de DPMs baseada na Interpolação por Funções de Base Radial (RBF), especificamente utilizando RBFs Gaussianas.

Principais Componentes:

• Interpolação com RBFs Gaussianas: Em vez de usar polinômios para aproximar a função de predição do modelo ($\hat{x}_\theta$) ao longo do tempo (ou log-SNR), o método interpola as avaliações anteriores do modelo usando uma soma de funções gaussianas:
  $$R(\lambda) = \sum w_{j} \exp\left[-\left(\frac{\lambda - \lambda_{j}}{\gamma h}\right)^2\right] + w_{const}$$
  Onde $\gamma$ é um parâmetro de forma (shape parameter) aprendível.
• Parâmetro de Forma ($\gamma$) Aprendível: A inovação central é a otimização do parâmetro $\gamma$.
  • Se $\gamma \to \infty$, a RBF Gaussiana se torna plana e a interpolação converge para a interpolação de Lagrange (recuperando o método de Adams, usado por amostradores como UniPC).
  • Se $\gamma$ é otimizado, o método pode ajustar a "curvatura" da interpolação para seguir trajetórias ótimas de amostragem que polinômios não conseguem capturar.
• Condição de Soma dos Coeficientes: O método é projetado para satisfazer uma condição de soma de coeficientes, garantindo consistência com o método de Euler (DDIM) na primeira ordem.
• Algoritmo Preditivo-Corretivo: O RBF-Solver utiliza um esquema preditor-corretor linear multietapa. Os parâmetros de forma são otimizados offline (ou em tempo de execução) minimizando o erro quadrático médio entre a trajetória prevista e uma trajetória alvo de alta precisão (gerada por um amostrador existente com muitas avaliações de função).

3. Contribuições Chave

1. Generalização Teórica: O RBF-Solver unifica métodos existentes. Ele se reduz ao método de Euler (DDIM) na primeira ordem e converge para o método de Adams (Lagrange) quando o parâmetro de forma tende ao infinito, garantindo compatibilidade com a teoria existente.
2. Estabilidade em Ordens Superiores: Devido à propriedade de localidade das bases Gaussianas (sua influência decai rapidamente com a distância), o RBF-Solver mantém alta fidelidade e estabilidade mesmo em ordens 4, 5 e 6, onde os métodos polinomiais falham e produzem artefatos visuais.
3. Otimização de Trajetória: Ao aprender os parâmetros de forma, o amostrador adapta-se dinamicamente às características locais dos dados, permitindo trajetórias de amostragem mais eficientes do que esquemas fixos.
4. Eficiência Computacional: O processo de otimização dos parâmetros não requer re-treinamento da rede neural, apenas a busca de parâmetros escalares baseados em trajetórias de referência, mantendo o método "training-free" (livre de treinamento).

4. Resultados Experimentais

O RBF-Solver foi avaliado em tarefas de geração incondicional e condicional, comparado a amostradores state-of-the-art como DPM-Solver++ e UniPC.

• Geração Incondicional (CIFAR-10 e ImageNet 64x64):

  • No regime de NFE (Número de Avaliações de Função) alto ($\ge 15$), o RBF-Solver supera consistentemente os métodos baseados em polinômios.
  • Em CIFAR-10 (Score-SDE), alcançou um FID de 2.87 com 15 NFEs e 2.48 com 40 NFEs, superando os concorrentes.
  • Demonstrou estabilidade superior em ordens altas (p=4, 5, 6), enquanto o UniPC degradava drasticamente em ordens superiores a 4.

• Geração Condicional (ImageNet 128x128, 256x256 e Stable Diffusion):

  • No regime de NFE baixo (5–10), especialmente com escalas de guia (guidance scale) altas (6.0 e 8.0), o RBF-Solver obteve ganhos substanciais.
  • Redução de 16,12% a 33,73% no FID em relação aos métodos baseados em polinômios para ImageNet 256x256 com escala de guia 8.0.
  • No Stable Diffusion v1.4, superou os concorrentes na similaridade cosseno CLIP e no erro quadrático médio (RMSE) em várias escalas de guia.

5. Significado e Impacto

O RBF-Solver representa um avanço significativo na eficiência de inferência de modelos de difusão.

• Quebra de Limites de Ordem: Resolve o problema de instabilidade em ordens superiores, permitindo o uso de passos de tempo maiores sem perda de qualidade.
• Flexibilidade: Introduz uma nova classe de amostradores que não são rígidos como os métodos numéricos clássicos, mas adaptáveis como métodos de aprendizado, sem o custo de re-treinamento.
• Aplicabilidade: Oferece uma solução prática para reduzir o custo computacional na geração de conteúdo de alta fidelidade, tornando a geração de imagens e vídeos mais acessível, embora também levante considerações sobre o uso de mídias sintéticas (impacto ético mencionado no artigo).

Em suma, o RBF-Solver demonstra que a substituição de aproximações polinomiais por interpolação RBF Gaussiana com parâmetros otimizados oferece um caminho superior para a aceleração de modelos de difusão, equilibrando precisão teórica, estabilidade numérica e qualidade de amostragem.