Distributional Consistency Loss: Beyond Pointwise Data Terms in Inverse Problems

Título: Perda de Consistência Distribucional: Além dos Termos de Dados Pontuais em Problemas Inversos

Autores: George Webber & Andrew J. Reader (King's College London)

---

1. O Problema

A recuperação de sinais verdadeiros a partir de medições ruidosas é um desafio central em problemas inversos, com aplicações em imageamento médico (como PET), geofísica e processamento de sinais.

• Abordagem Atual: As soluções convencionais equilibram um termo de fidelidade aos dados (para garantir consistência com as medições ruidosas) e um termo de regularização (para impor estrutura ao sinal).
• Limitação Principal: As funções de perda de fidelidade padrão, como Erro Quadrático Médio (MSE) ou Negativa da Verossimilhança (NLL), buscam um acordo ponto a ponto com as medições ruidosas.
• Consequência: Isso incentiva o modelo a ajustar-se (overfitting) às realizações específicas do ruído, em vez de capturar a distribuição estatística subjacente. Para mitigar isso, métodos como Deep Image Prior (DIP) exigem "parada antecipada" (early stopping) manual, e reconstruções iterativas (como em PET) sofrem de degradação da imagem em iterações tardias devido ao ajuste ao ruído.

2. Metodologia: Perda de Consistência Distribucional (DC Loss)

Os autores propõem uma reformulação da fidelidade aos dados, substituindo o ajuste ponto a ponto por uma calibração ao nível da distribuição.

Conceito Central

Em vez de minimizar a diferença entre o valor previsto e a medição individual, a DC Loss verifica se o conjunto de medições observadas é estatisticamente consistente com a distribuição de ruído prevista pelo modelo atual.

Algoritmo e Formulação

1. Transformada Integral de Probabilidade (PIT): Para cada medição $m_i$ e sua distribuição de ruído prevista $D_i(\hat{y}_i)$, calcula-se a probabilidade cumulativa (CDF):
   $$s_i = F_i(m_i | \hat{y}_i)$$
   Se o modelo estiver bem calibrado, os valores $s_i$ devem seguir uma distribuição uniforme em $[0, 1]$.
2. Transformação Logit: Para evitar gradientes que desaparecem (vanishing gradients) quando $s_i$ está próximo de 0 ou 1, aplica-se a transformação logit:
   $$r_i = \text{logit}(s_i) = \ln\left(\frac{s_i}{1-s_i}\right)$$
   Isso mapeia a distribuição uniforme alvo para uma distribuição Logística $(0, 1)$.
3. Cálculo da Perda: A perda é calculada como a distância de Wasserstein-1 (Earth Mover's Distance) entre a distribuição empírica dos valores transformados $\{r_i\}$ e a distribuição de referência Logística.
   $$L_{DC} = \frac{1}{N} \sum_{i=1}^{N} |r_i - u_i|$$
   Onde $u_i$ são amostras ordenadas da distribuição Logística alvo.

Comportamento Dinâmico

• Fase Inicial (Longe da Solução): A DC Loss comporta-se de maneira similar ao MSE/NLL, guiando o modelo rapidamente em direção à solução.
• Fase Tardia (Perto da Solução): Diferente do MSE, que continua a minimizar resíduos individuais (ajustando-se ao ruído), a DC Loss estabiliza. Uma vez que a distribuição dos resíduos corresponde à distribuição de ruído esperada, a perda não diminui mais, mesmo que o modelo continue a "caçar" o ruído. Isso elimina a necessidade de parada antecipada.

3. Contribuições Principais

1. Novo Termo de Fidelidade: Introdução da DC Loss como um termo de fidelidade baseado em calibração distribucional, compatível com frameworks de auto-diferenciação.
2. Análise Teórica: Demonstração de que, longe da solução, a DC Loss converge como o MSE, mas perto da solução remove o incentivo para ajustar o ruído, permitindo otimização prolongada e estável.
3. Desempenho em Cenários Não Supervisionados:
   • Denoising com DIP: Elimina a necessidade de parada antecipada e alcança PSNR (Peak Signal-to-Noise Ratio) superior ao MSE.
   • Reconstrução PET: Reduz artefatos de ruído em iterações altas e melhora o compromisso entre ruído e detalhe, permitindo regularizações mais fracas.
4. Validação em Dados Reais: Demonstração de viabilidade em dados clínicos reais de PET 3D.

4. Resultados Experimentais

A. Denoising com Deep Image Prior (DIP)

• Cenário: Imagens com ruído gaussiano cortado (clipped Gaussian).
• Resultado: O DIP com MSE começa a sobreajustar o ruído após ~1.000 iterações, degradando a qualidade da imagem. O DIP com DC Loss mantém a estabilidade e atinge um PSNR de pico mais alto sem necessidade de parada antecipada.
• Evidência: Os histogramas dos valores CDF ($s_i$) para o MSE colapsam em 0.5 (indicando overfitting), enquanto para a DC Loss permanecem uniformes.

B. Reconstrução de Imagem PET (Ruído Poisson)

• Cenário: Reconstrução de tomografia por emissão de pósitrons com modelo de ruído Poisson.
• Comparação: Algoritmos padrão (MLEM, NLL-Adam) sofrem de "chasing noise" (perseguição ao ruído) em iterações tardias.
• Resultado: A DC Loss (DC-Adam) converge para uma solução estável e não degrada com o aumento de iterações.
• Regularização: Quando combinada com Regularização de Variação Total (TV), a DC Loss permite o uso de pesos de regularização ($\beta$) muito menores do que o necessário para o NLL, preservando mais detalhes e reduzindo o erro (NRMSE).

C. Estudo de Viabilidade em Dados Reais

• Aplicado a um escaneamento cerebral 3D real (Siemens Biograph mMR).
• A reconstrução com DC Loss mostrou estabilidade em iterações tardias, enquanto a reconstrução baseada em NLL exibiu amplificação de alta frequência (ruído), confirmando a eficácia em condições clínicas reais.

5. Significado e Implicações

• Mudança de Paradigma: A DC Loss muda o objetivo de "ajustar cada ponto de dados" para "ajustar a distribuição global dos dados". Isso alinha a função de perda com a natureza estatística dos problemas inversos ruidosos.
• Redução da Tensão entre Fidelidade e Regularização: Em métodos convencionais, a regularização precisa lutar contra o termo de fidelidade para impedir o ajuste ao ruído. Com a DC Loss, o termo de fidelidade já controla o ajuste ao ruído, permitindo que a regularização foque puramente na estrutura do sinal.
• Aplicabilidade: É particularmente útil em regimes superparametrizados (onde muitas soluções são possíveis) e em problemas onde a distribuição de ruído é conhecida (Gaussiana, Poisson, etc.).
• Limitações: Assume medições independentes e um modelo de ruído conhecido. Pode ter um custo computacional ligeiramente maior devido à necessidade de ordenação (sorting) para o cálculo da distância de Wasserstein, mas isso é considerado aceitável frente aos benefícios.

Conclusão

A Perda de Consistência Distribucional (DC Loss) oferece uma alternativa estatisticamente fundamentada e prática às funções de fidelidade convencionais. Ao garantir que os dados observados sejam consistentes com o modelo de ruído em nível de distribuição, ela previne o overfitting de forma intrínseca, eliminando a necessidade de heurísticas como parada antecipada e melhorando a qualidade da reconstrução em problemas inversos complexos e ruidosos.