Resumo Técnico: Aprendendo uma Medida de Distância a partir da Geometria de Estimação de Informação dos Dados

Definição do Problema

Funções de distância são fundamentais para a organização e interpretação de dados, mas derivar uma métrica de distância significativa para sinais naturais (ex: imagens) que se alinhe com a percepção humana permanece um desafio significativo. Abordagens existentes frequentemente dependem de aprendizado supervisionado usando bases de dados rotuladas por humanos, que são custosas para anotar, ruidosas e difíceis de interpretar matematicamente. Por outro lado, métodos puramente não supervisionados baseados em teoria da informação (ex: informação mútua) são frequentemente agnósticos à estrutura geométrica da distribuição dos dados. O problema central abordado é como derivar uma função de distância global e uma métrica de Riemann local unicamente a partir da geometria de uma densidade de probabilidade contínua $p_x$ sobre um domínio de sinal, sem depender de rótulos humanos.

Metodologia: A Métrica de Estimação de Informação (IEM)

Os autores introduzem a Métrica de Estimação de Informação (IEM), uma função de distância derivada da relação entre a teoria da informação e a teoria da estimação. A metodologia baseia-se na fórmula de Tweedie–Miyasawa, que vincula a função de score (gradiente do log-densidade) de um sinal borrado ao erro de um denoiser (removedor de ruído) ideal.

Construção Teórica

1. Canal de Observação: Os autores definem um canal de observação Gaussiano $y_\gamma = \gamma x + w_\gamma$, onde $w_\gamma$ é um ruído Gaussiano aditivo. À medida que a razão sinal-ruído (SNR) $\gamma$ aumenta, a distribuição $p_{y_\gamma}$ "aproxima-se" (zoom in) da densidade original $p_x$.
2. I-MMSE Pontual: Baseando-se na relação I-MMSE, o log-probabilidade de um sinal é decomposto em uma integral de erros de denoising (ou, equivalentemente, vetores de score) através de todos os níveis de SNR.
3. Definição da Métrica: A IEM entre dois sinais $x_1$ e $x_2$ é definida como a raiz quadrada da variação quadrática esperada do processo de razão de log-probabilidade. Especificamente, é o erro quadrático médio (MSE) integrado entre os campos de vetor de score da densidade borrada em torno de $x_1$ e $x_2$ sobre um intervalo de níveis de SNR $[0, \Gamma]$:
   $$\text{IEM}(x_1, x_2, \Gamma) := \left( \int_0^\Gamma \mathbb{E} \left[ \| \nabla \log p_{y_\gamma}(\gamma x_1 + w_\gamma) - \nabla \log p_{y_\gamma}(\gamma x_2 + w_\gamma) \|^2 \right] d\gamma \right)^{1/2}$$
4. Generalização: Os autores propõem uma IEM Generalizada ($\text{IEM}_f$) aplicando uma função escalar $f$ ao processo de razão de log-probabilidade antes de computar a variação quadrática, permitindo flexibilidade na ponderação de diferentes aspectos da distribuição.

Geometria Local

O artigo deriva uma aproximação de segunda ordem local do quadrado da IEM, resultando em uma métrica de Riemann $G(x, \Gamma)$. Esta métrica local é mostrada como sendo:

• Proporcional ao esperado do quadrado do Hessiano do log-densidade (curvatura local).
• Relacionada à covariância a posteriori do sinal dado observações ruidosas.
• Mais sensível em regiões de alta curvatura de log-densidade e a perturbações que induzem grandes mudanças na probabilidade do sinal.

Implementação

Para computar a IEM na prática, os autores treinam um denoiser neural (especificamente um Hourglass Diffusion Transformer) no conjunto de dados ImageNet. Este denoiser aproxima o estimador MMSE $E[x|y_\gamma]$, que é equivalente ao score function via fórmula de Tweedie–Miyasawa. A distância é então computada integrando numericamente a diferença quadrada das saídas do denoiser (ou scores derivados) através de níveis de ruído.

Principais Contribuições

1. Nova Definição de Métrica: A introdução da IEM, uma métrica de distância global válida derivada puramente da geometria de uma densidade de probabilidade, provada para satisfazer simetria, não-negatividade, identidade dos indiscerníveis e a desigualdade triangular.
2. Unificação Teórica: O artigo prova que, para distribuições Gaussianas, a IEM coincide com a distância de Mahalanobis. Para distribuições não-Gaussianas, ela se adapta local e globalmente ao "suporte dos dados", comportando-se como uma distância de Mahalanobis localmente adaptável.
3. Aprendizado Não Supervisionado: O framework permite o aprendizado de uma métrica de distância perceptual a partir de dados não rotulados treinando um denoiser, contornando a necessidade de rótulos perceptuais humanos durante a fase de definição da métrica.
4. Framework Generalizado: A proposta da $\text{IEM}_f$ permite a adaptação da métrica para diferentes tipos de dados humanos através do aprendizado de uma função $f$ sobre a métrica de base não supervisionada.

Resultados Experimentais

Os autores avaliaram a IEM em benchmarks padrão de avaliação de qualidade de imagem com referência total (TID2013, LIVE, CSIQ) e um conjunto de dados específico de textura (TQD).

• Desempenho em Imagens Naturais: A IEM não supervisionada (com $\Gamma=1/4$) alcançou coeficientes de correlação de postos de Spearman (SRCC) competitivos com métricas supervisionadas de última geração (ex: LPIPS, DISTS, PieAPP) no TID2013, LIVE e CSIQ, apesar de ter sido treinada sem rótulos humanos.
• Sensibilidade de Textura: A variante $\text{IEM}_{sq}$ (usando uma função quadrática $f$) superou a maioria dos métodos no conjunto de dados de textura TQD, um domínio onde muitas métricas padrão enfrentam dificuldades.
• Desempenho Unificado: Uma variante supervisionada, $\text{IEM}_{f_\omega}$, que aprende apenas a função $f$ sobre o denoiser pré-treinado, alcançou um desempenho forte em todos os conjuntos de dados simultaneamente, demonstrando a flexibilidade do framework.
• Competição de Diferenciação Máxima: Em experimentos minimizando a distância perceptual sob uma restrição de PSNR fixa, a minimização da IEM produziu imagens que preservaram a estrutura geométrica e pareceram perceptualmente naturais, enquanto a minimização de outras métricas (como DISTS) resultou em artefatos não naturais. Maximizar a IEM identificou corretamente o ruído não estruturado como a distorção mais perceptualmente danosa.

Significância e Alegações

O artigo alega que a IEM fornece uma abordagem fundamentada e matematicamente rigorosa para derivar distâncias perceptuais a partir da geometria estatística dos dados. Sua significância reside em:

• Interpretabilidade: Ao contrário de métricas supervisionadas de "caixa-preta", a IEM é derivada de relações fundamentais entre probabilidade, informação e estimação, oferecendo uma explicação matemática mais clara para julgamentos perceptuais.
• Eficiência de Dados: Demonstra que métricas perceptuais de alta qualidade podem ser aprendidas a partir de dados não rotulados, reduzindo a dependência de anotações humanas caras e ruidosas.
• Robustez: A capacidade da métrica de se adaptar tanto a imagens naturais quanto a texturas, e seu desempenho em tarefas de otimização (problemas inversos), sugere que ela captura o "suporte dos dados" de forma mais eficaz do que as alternativas euclidianas ou supervisionadas existentes.

Os autores reconhecem limitações, principalmente o custo computacional da integração numérica em comparação com métricas de feed-forward padrão, e a necessidade de um princípio sistemático para escolher o hiperparâmetro $\Gamma$ e a função $f$. Eles sugerem como trabalho futuro a aplicação desses princípios a outros tipos de sinais (ex: áudio) e o uso da métrica para agrupamento não supervisionado e avaliação de modelos generativos.