Resumo Técnico: Uma Estrutura de Distribuição Robusta para Reconstruções Aprendidas em Problemas Inversos

Definição do Problema

Problemas inversos visam recuperar um sinal desconhecido $x$ a partir de medições indiretas e ruidosas $y$, tipicamente modeladas como $y = Hx + \eta$. Embora operadores de reconstrução aprendidos (ex: redes neurais) tenham se tornado populares, eles são geralmente treinados sob suposições fixas em relação ao modelo de ruído e à distribuição dos dados. Consequentemente, esses modelos costentes generalizam mal quando a distribuição de teste diverge da distribuição de treinamento.

A Otimização de Distribuição Robusta (DRO) padrão aborda isso otimizando contra a pior distribuição dentro de um conjunto de ambiguidade (tipicamente uma bola de Wasserstein) em torno da distribuição empírica. No entanto, a DRO de Wasserstein padrão perturba a distribuição conjunta completa $\mu \in \mathcal{P}(X \times Y)$ de forma uniforme. Esta abordagem é frequentemente excessivamente conservadora porque ignora a física específica do processo de medição, tratando as incertezas na distribuição de entrada e no ruído de medição (operador direto) como indistinguíveis.

Metodologia: DRO Estruturada

Os autores propõem a DRO Estruturada, um framework que restringe o conjunto de ambiguidade a perturbações alinhadas com o processo de aquisição de dados. A ideia central é fatorizar a lei geradora de dados como $\mu = \mu_X \otimes \mu_{Y|X}$, onde $\mu_X$ representa a priori sobre as entradas e $\mu_{Y|X}$ representa a verossimilhança condicional de medição (codificando o operador direto e o ruído).

O Framework

Em vez de perturbar a distribuição conjunta arbitrariamente, o adversário é restringido a um subconjunto estruturado $\mathcal{K} \subseteq \mathcal{P}(X \times Y)$. O artigo foca primariamente em perturbações $Y|X$, onde a marginal de entrada $\mu_X$ é fixa e apenas a distribuição condicional $\mu_{Y|X}$ é perturbada. Isso isola a incerteza para o modelo de medição, alinhando-se com a realidade física de que o ruído e as imperfeições do operador direto afetam $y$ dado $x$, mas não alteram a distribuição do sinal subjacente $x$.

O problema de otimização é formulado como:
$$\inf_{G \in \mathcal{G}} \sup_{\pi_{S|S} \in \Omega_{\mathcal{K}, c, \varepsilon}} \int_S \int_S \ell(r, G) \, d\pi_{S|S=s}(r) \, d\mu^*(s)$$
onde $\mathcal{G}$ é o espaço dos operadores de reconstrução, $\ell$ é a função de perda e $\Omega_{\mathcal{K}, c, \varepsilon}$ é o conjunto de núcleos de perturbação admissíveis restritos por uma função de custo $c$ e raio $\varepsilon$.

Contribuições Teóricas

1. Dualidade Forte: Os autores estabelecem a dualidade forte para esta formulação geral em espaços poloneses compactos, estendendo os resultados de Blanchet e Murthy [12] e Blanchet et al. [9] para conjuntos de perturbação estruturados.
2. Representações Duais Explícitas: Eles derivam formulações duais de dimensão finita para perturbações nas distribuições conjunta, marginal e condicional.
   • Para perturbações $P(Y|X)$, a formulação dual leva a um limite de risco de pior caso explícito.
3. Conexão com Regularização: Um resultado central é a derivação de um limite de risco de pior caso explícito para perturbações $P(Y|X)$:
   $$\text{Risco} \leq \left( \sqrt{\mathbb{E}[\|G(y) - x\|^2]} + L_G \sqrt{\varepsilon} \right)^2$$
   onde $L_G$ é a constante de Lipschitz do operador de reconstrução $G$. Este limite induz uma regularização do tipo Tikhonov na constante de Lipschitz de $G$.
   • No cenário linear, esta regularização penaliza os maiores valores singulares do operador inverso, recuperando efetivamente um análogo orientado a dados da regularização SVD truncada que trunca no nível da dimensão intrínseca dos dados.
   • Os autores demonstram que este limite estruturado é estritamente menos conservador que a DRO conjunta padrão (que produz um fator de $\sqrt{1 + L_G^2}$) para problemas bem postos, pois remove a penalidade associada à perturbação da marginal de entrada.

Implementação Computacional

Para tornar o framework tratável, os autores utilizam a distância de Sinkhorn condicional (distância de Wasserstein com regularização entrópica) como uma aproximação. Eles utilizam um algoritmo de Descida de Espelho Estocástica Enviesada (BSMD) com busca por bisseção para resolver o problema min-max, aproximando as variáveis duais e o operador de reconstrução.

Resultados Experimentais

O framework foi avaliado em vários problemas inversos: diferenciação, deblurring (MNIST e CIFAR-10) e reconstrução de sinograma-para-CT.

1. Robustez e Estabilidade: Em todos os experimentos, a DRO Estruturada demonstrou robustez superior a mudanças distributivas (ex: níveis de ruído variados, diferentes tipos de ruído como Gaussiano vs. Poisson, e operadores diretos mal especificados) em comparação com as linhas de base de Erro Quadrático Médio (MSE) padrão e a DRO conjunta padrão.
2. Interpretabilidade: Mapas de saliência revelaram que os modelos treinados com DRO focam em características estruturalmente significativas (bordas, traços) e ignoram o ruído de fundo, enquanto as linhas de base MSE exibiram sensibilidade difusa e não estruturada.
3. Comportamento Espectral: Na tarefa de diferenciação, o inverso aprendido via DRO mostrou-se efetivamente de baixo posto, truncando valores singulares além da dimensão intrínseca dos dados, confirmando a ligação teórica com o SVD truncado.
4. Simulação Direta: O framework também foi aplicado a um "simulador robusto" (aprendendo um mapa direto estável sob perturbações de entrada), demonstrando sua flexibilidade além dos problemas inversos.
5. Reconstrução de CT: Na reconstrução de CT de baixa dose (alto ruído), o DRO-UNet manteve a qualidade da imagem e a integridade estrutural onde o MSE-UNet degradou significativamente com artefatos.

Significância e Alegações

O artigo afirma que a DRO Estruturada preenche a lacuna entre a otimização de distribuição robusta e a regularização clássica de problemas inversos. Ao restringir as perturbações à distribuição condicional $P(Y|X)$, o framework:

• Modela a incerteza de forma mais fiel: Respeita a física do processo de medição ao separar a incerteza de entrada do ruído de medição.
• Reduz o Conservadorismo: Fornece um limite de risco menos conservador que a DRO padrão para problemas bem postos, evitando penalidades desnecessárias na distribuição de entrada.
• Induz Regularização Interpretável: Leva naturalmente à regularização de Lipschitz, que em cenários lineares se manifesta como SVD truncado orientado a dados, oferecendo uma justificativa teórica para a estabilidade de inversos aprendidos.
• Melhora a Generalização: Resulta em operadores de reconstrução que são mais estáveis e interpretáveis sob condições fora da distribuição, incluindo modelos de ruído variados e operadores diretos mal especificados.

Os autores concluem que, embora a implementação atual dependa de aproximações entrópicas, o framework fornece um caminho fundamentado para aprender operadores de reconstrução robustos que são inerentemente alinhados com a estrutura do problema inverso.