Resumo Técnico: Treinamento de Orientação Supervisionada para Modelos de Difusão em Dimensões Infinitas

Declaração do Problema

Problemas inversos, particularmente aqueles que surgem de equações diferenciais parciais (EDPs), frequentemente exigem a inferência de parâmetros desconhecidos que existem em espaços de funções de dimensão infinita. No quadro bayesiano, o objetivo é amostrar a partir de uma distribuição posterior sobre essas funções, condicionada a observações ruidosas. Embora os modelos de difusão baseados em pontuação (SDMs) tenham sido recentemente estendidos a espaços de funções de dimensão infinita para servir como prios expressivos, a teoria para condicionar esses modelos a amostrar a partir da posterior permanece um problema em aberto.

Técnicas de condicionamento em dimensões finitas existentes, como a transformação $h$ de Doob, dependem de decomposições de densidade e operadores de transição que não se traduzem diretamente para dimensões infinitas. Os desafios incluem a inexistência de densidades de Lebesgue, a possível singularidade de medidas (teorema de Feldman-Hájek) ao deslocar medidas Gaussianas fora de seu espaço de Cameron-Martin, e a dificuldade de garantir a diferenciabilidade de operadores de transição em espaços de Hilbert. Além disso, discretizar os dados imediatamente para aplicar métodos de dimensões finitas introduz erros dependentes da resolução e limita a flexibilidade do quadro.

Metodologia

Fundamentação Teórica: Transformação $h$ em Dimensões Infinitas

Os autores propõem um quadro principiado para condicionar modelos de difusão em dimensões infinitas usando uma extensão da transformação $h$ de Doob. Eles estabelecem a existência de um processo de difusão condicional sob duas configurações:

1. Configuração 1: A distribuição a priori é suportada dentro de uma bola do espaço de Cameron-Martin do processo de Wiener usado na EDE de difusão.
2. Configuração 2: A priori é absolutamente contínua em relação a uma medida Gaussiana, com limites específicos na função potencial e seu gradiente.

Sob essas configurações, os autores provam que o processo condicional reverso no tempo satisfaz uma equação diferencial estocástica (EDE) onde a deriva é modificada por um termo de orientação. Especificamente, eles demonstram que a função de pontuação condicional, $s_y(t, x)$, decompõe-se na pontuação incondicional, $s(t, x)$, e um termo de orientação, $C\nabla \log h_y(t, x)$:
$$s_y(t, x) = s(t, x) + C\nabla \log h_y(t, x)$$
Aqui, $h_y$ é a transformação $h$ em dimensões infinitas definida via a esperança condicional do potencial de verossimilhança.

Treinamento de Orientação Supervisionada (SGT)

Como o termo de orientação $C\nabla \log h_y$ é intratável devido à sua dependência da lei de transição completa do processo em dimensões infinitas, os autores introduzem o Treinamento de Orientação Supervisionada (SGT). Este é um objetivo de treinamento livre de simulação projetado para aprender o termo de orientação diretamente.

• Objetivo: O método minimiza uma perda de correspondência de pontuação de remoção de ruído. Em vez de depender de controle estocástico baseado em simulação (que sofre de alta variância e requer amostragem de trajetórias), o SGT aproveita a pontuação incondicional conhecida $s(t, x)$ e a distribuição conjunta de dados e observações $(X_0, Y)$.
• Função de Perda: A perda é formulada para minimizar a diferença entre o termo de orientação aprendido $u(t, x, y)$ e o termo de orientação verdadeiro. O objetivo é:
  $$\mathbb{E} \left[ \left\| \frac{X_t - e^{-t/2}X_0}{1 - e^{-t}} + s(t, X_t) + u(t, X_t, Y) \right\|^2_K \right]$$
  onde $K$ é um espaço de Hilbert escolhido (por exemplo, o espaço de Cameron-Martin).
• Parametrização: O termo de orientação é parametrizado usando uma rede neural. Os autores exploram a pré-condicionamento da saída da rede com o operador de covariância $C$ em diferentes graus ($k \in \{0, 1/2, 1\}$) para impor regularidade e alinhar com a estrutura de ruído da EDE.

Aproximações e Comparações

O artigo também analisa abordagens heurísticas existentes:

• Controle Estocástico Ótimo (SOC): Embora teoricamente sólido, o SOC requer treinamento baseado em simulação, que é computacionalmente caro e instável nos estágios iniciais do treinamento.
• Aproximação de Tweedie (FunDPS): Os autores estendem a aproximação FunDPS (que usa a fórmula de Tweedie para estimar os dados limpos) para a Configuração 2 (continuidade absoluta), relaxando as suposições restritivas do trabalho anterior. No entanto, eles observam que essa abordagem ainda incorre em sobrecarga computacional devido à necessidade de retropropagação através do modelo de pontuação em cada passo de discretização.

Contribuições Principais

1. Extensão Teórica: O artigo fornece a primeira prova rigorosa de que modelos de difusão em dimensões infinitas podem ser condicionados via transformação $h$ de Doob sob configurações gerais (suporte de Cameron-Martin ou continuidade absoluta), estabelecendo a decomposição da pontuação condicional em uma pontuação incondicional e um termo de orientação.
2. Treinamento de Orientação Supervisionada (SGT): Os autores propõem um algoritmo de treinamento inovador e livre de simulação para aprender o termo de orientação intratável. Essa abordagem evita a alta variância dos métodos baseados em simulação e o custo computacional de diferenciar através do modelo de pontuação a cada passo (como exigido por aproximações baseadas em Tweedie).
3. Invariância de Resolução: Ao tratar o problema em dimensões infinitas e discretizar apenas no passo final, o quadro oferece uma abordagem invariante de resolução para condicionamento, evitando a degradação de desempenho frequentemente observada ao aplicar arquiteturas de dimensões finitas a resoluções mais altas.
4. Generalização do FunDPS: O trabalho prova que aproximações baseadas em Tweedie (FunDPS) valem sob a Configuração 2 menos restritiva (continuidade absoluta), ampliando sua aplicabilidade.

Resultados Experimentais

Os autores avaliam o SGT em três problemas inversos bayesianos em espaços de funções:

1. Observações Esparsas: Recuperação de uma função 1D a partir de observações pontuais ruidosas.
2. Equação do Calor: Recuperação da distribuição inicial de temperatura de uma equação do calor a partir de observações ruidosas em um momento posterior.
3. Inpainting de Formas: Reconstrução de formas (dígito "3" do MNIST) a partir de coeficientes de Fourier parciais (descritores de Fourier elípticos).

Descobertas:

• Desempenho: O SGT supera consistentemente a linha de base heurística FunDPS em termos de Erro Quadrático Médio Raiz (RMSE) e Pontuação de Energia (ES).
• Comparação com Difusão Condicional: O SGT alcança precisão comparável a um modelo de "difusão condicional" treinado do zero (que serve como limite superior), apesar do modelo condicional ser significativamente maior e treinado por mais passos.
• Robustez: Em experimentos com modelos base incondicionais imperfeitos (inicializados aleatoriamente ou parcialmente treinados), o SGT demonstra superior robustez, recuperando amostras realistas onde o FunDPS falha completamente.
• Eficiência: O SGT requer menos parâmetros e passos de treinamento do que treinar um modelo condicional completo do zero, pois treina apenas a rede de orientação enquanto reutiliza um modelo incondicional pré-treinado.

Significado e Alegações

O artigo afirma oferecer o primeiro método em espaço de funções para ajuste fino de modelos de difusão treinados para amostrar com precisão a partir de uma distribuição posterior. O significado reside em preencher a lacuna entre os requisitos teóricos da inferência bayesiana em dimensões infinitas e a implementação prática de modelos de difusão.

Os autores enfatizam que seu quadro permite:

• Invariância de Resolução: A capacidade de gerar amostras em resoluções diferentes dos dados de treinamento sem degradação de desempenho.
• Estabilidade: Um regime de treinamento que é estável mesmo quando o modelo incondicional subjacente é imperfeito.
• Flexibilidade: Opções alternativas para discretização, treinamento e funções de perda que não são restringidas por suposições de densidade de dimensões finitas.

O trabalho conclui que aprender explicitamente o termo de orientação em dimensões infinitas produz precisão superior em comparação com aproximações heurísticas, fornecendo um caminho principiado para a aplicação de modelos de difusão a problemas inversos complexos na ciência e engenharia.