Resumo Técnico: Busca de Evolução Espectral (SES)

1. Declaração do Problema

O escalonamento em tempo de inferência oferece um paradigma para alinhar modelos generativos visuais com objetivos de jusante (ex: qualidade estética, preferência humana) sem exigir atualizações de parâmetros ou retreinamento. No entanto, os métodos existentes enfrentam ineficiências significativas:

• Otimização de Trajetória: Depende de intervenções intrusivas nos caminhos de denoising, o que frequentemente acopla-se a solvers de Equações Diferenciais Estocásticas (SDE), dificultando a compatibilidade com amostradores de Equações Diferenciais Ordinárias (ODE) eficientes ou modelos de Flow Matching.
• Otimização Baseada em Gradiente: Requer funções de recompensa diferenciáveis, o que impede o uso de métricas de preferência humana não diferenciáveis e é suscetível ao "reward hacking" (exploração de recompensa) via artefatos de alta frequência imperceptíveis.
• Busca de Ruído Inicial: Embora tratar a inferência como uma busca de caixa-preta sobre o ruído inicial seja amplamente compatível, as abordagens atuais sofrem com a maldição da dimensionalidade. Elas tipicamente empregam uma parametrização isotrópica implícita que trata todas as direções de busca como iguais. Essa suposição leva a uma redundância computacional severa, pois muitas direções de busca (particularmente perturbações de alta frequência) exercem influência negligenciável na geração final, resultando em retornos decrescentes.

2. Metodologia: Busca de Evolução Espectral (SES)

Os autores propõem a Busca de Evolução Espectral (SES), um framework plug-and-play para otimização de ruído inicial que aborda essas ineficiências ao explorar um viés espectral na dinâmica generativa. O insight central é que a sensibilidade do modelo a perturbações iniciais diminui rapidamente à medida que a frequência aumenta; perturbações de baixa frequência remodelam significativamente a estrutura da imagem, enquanto perturbações de alta frequência de energia equivalente possuem impacto visual mínimo.

A SES opera através de dois módulos primários:

A. Desacoplamento Espectral Baseado em Wavelets

Para mitigar a maldição da dimensionalidade, a SES restringe o espaço de busca a um manifold compacto de baixa frequência:

1. Decomposição: O ruído inicial $x_{init}$ é decomposto usando uma Transformada Wavelet Discreta (DWT) em coeficientes de baixa frequência ($c_{LL}$) e detalhes de alta frequência ($c_{H}$).
2. Congelamento: Os componentes de alta frequência são congelados como um fundo estático.
3. Espaço de Otimização: A otimização é restrita exclusivamente ao vetor de baixa frequência $u \equiv c_{LL}$. Isso reduz a dimensionalidade da busca por um fator de $4^J$ (onde $J$ é o nível de decomposição).
4. Reconstrução: Vetores candidatos de baixa frequência são combinados com o fundo de alta frequência congelado e reconstruídos via DWT Inversa (IDWT) para formar o ruído inicial válido para o amostrador.

B. Otimização por Método de Cross-Entropy (CEM)

Dentro do subespaço reduzido de baixa frequência, a SES emprega uma estratégia evolutiva livre de gradiente:

• Inicialização: Uma distribuição Gaussiana $p(u; \mu, \Sigma)$ é inicializada para corresponder ao prior de difusão pré-treinado ($\mu=0, \Sigma=I$).
• Loop de Amostragem-Avaliação-Atualização:
  1. Amostragem: Candidatos são extraídos da distribuição atual.
  2. Avaliação: Candidatos são reconstruídos, submetidos a denoising e pontuados usando uma função de recompensa $R$ (que pode ser não diferenciável).
  3. Atualização: Os parâmetros da distribuição são atualizados usando as estatísticas dos top-$K$ candidatos "elite", empregando um fator de suavização $\gamma$ para evitar a convergência prematura.
• Geração Final: A imagem final é gerada amostrando da distribuição otimizada.

3. Análise Teórica

O artigo deriva a Predição de Escalonamento Espectral para fundamentar teoricamente o foco nas baixas frequências. Ao analisar a dinâmica de propagação de perturbação em fluxos generativos de tempo contínuo (modelados como ODEs), os autores mostram que o ganho cumulativo $G(\omega)$ de uma perturbação inicial segue um escalonamento de lei de potência inversa em relação à norma de frequência $\|\omega\|$:
$$G(\omega) \propto \|\omega\|^{-\beta/2}$$
Esta derivação, baseada na suposição de que o denoiser atua como um filtro Wiener e que imagens naturais exibem decaimento espectral de lei de potência, confirma que os graus de liberdade efetivos são intrinsecamente esparsos e concentrados na banda de baixa frequência. Perturbações de alta frequência exibem ganho cumulativo negligenciável, tornando-as variáveis de controle ineficazes.

4. Resultados Experimentais

Experimentos extensos foram conduzidos em modelos mainstream (SDXL, FLUX.1-dev, Qwen-Image) através de diversos objetivos de recompensa (CLIP, PickScore, HPS, ImageReward, Aesthetic Score).

• Desempenho: Sob um orçamento computacional fixo (NRE = 200), a SES superou consistentemente baselines fortes, incluindo Best-of-N (BoN), Zero-Order Search (ZO-N) e métodos de trajetória (SMC, SVDD, Demon). A SES alcançou as maiores pontuações de recompensa em todas as métricas e arquiteturas.
• Comportamento de Escalonamento: Enquanto o BoN exibiu um escalonamento do tipo logarítmico que estabilizou rapidamente, a SES demonstrou uma trajetória de escalonamento íngreme e contínua até NRE = 1000, indicando crescimento sustentado de desempenho sem saturação.
• Estudos de Ablação:
  • Seleção de Subespaço: A busca no subespaço de baixa frequência superou significativamente os subespaços de frequência total, alta frequência e de frequência aleatória de dimensionalidade equivalente, confirmando que os ganhos derivam da autoridade de controle específica das baixas frequências, e não apenas da redução de dimensionalidade.
  • Estratégia de Otimização: O Método de Cross-Entropy (CEM) superou substancialmente a busca aleatória dentro do subespaço fixo.
• Eficiência: Um mecanismo de busca guiado por proxy (usando LCM ou ODEs de passos reduzidos) reduziu os custos de avaliação em ~85%, mantendo a consistência de ranking e alta fidelidade estrutural.
• Generalização: A SES permaneceu eficaz mesmo quando aplicada a modelos já alinhados via métodos de treinamento (DPO, SPO), demonstrando ortogonalidade aos paradigmas de treinamento. Também mostrou robustez em amostradores determinísticos (ODE) e estocásticos (SDE).

5. Significância e Alegações

O artigo afirma que a SES avança significativamente a fronteira de Pareto entre qualidade de geração e custo computacional. Ao identificar e explorar o viés espectral inerente à dinâmica generativa, a SES fornece uma solução model-agnostic e teoricamente fundamentada que:

1. Elimina a Redundância: Foca o orçamento computacional exclusivamente nos graus de liberdade mais influentes (baixas frequências).
2. Garante Compatibilidade: Funciona com recompensas não diferenciáveis e vários tipos de amostradores (ODE/SDE) sem modificações intrusivas no processo de geração.
3. Previne o Reward Hacking: Ao restringir a otimização ao manifold de baixa frequência, a SES regula implicitamente a busca, prevenindo a exploração de artefatos de alta frequência imperceptíveis que frequentemente assolam métodos baseados em gradiente.

Os autores concluem que a SES oferece um paradigma versátil e eficiente para o escalonamento em tempo de inferência, permitindo que modelos estáticos se adaptem a objetivos específicos de forma mais eficaz do que as estratégias de busca existentes.