Resumen Técnico: Aprendizaje de una Medida de Distancia a partir de la Geometría de Estimación de Información de los Datos

Planteamiento del Problema

Las funciones de distancia son fundamentales para la organización e interpretación de los datos; sin embargo, derivar una métrica de distancia significativa para señales naturales (por ejemplo, imágenes) que se alinee con la percepción humana sigue siendo un desafío importante. Los enfoques existentes suelen depender del aprendizaje supervisado utilizando bases de datos etiquetadas por humanos, las cuales son costosas de anotar, ruidosas y difíciles de interpretar matemáticamente. Por el contrario, los métodos puramente no supervisados basados en la teoría de la información (por ejemplo, la información mutua) suelen ser agnósticos a la estructura geométrica de la distribución de los datos. El problema central abordado es cómo derivar una función de distancia global y una métrica de Riemann local basándose únicamente en la geometría de una densidad de probabilidad continua $p_x$ sobre un dominio de señal, sin depender de etiquetas humanas.

Metodología: La Métrica de Estimación de Información (IEM)

Los autores introducen la Métrica de Estimación de Información (IEM), una función de distancia derivada de la relación entre la teoría de la información y la teoría de la estimación. La metodología se basa en la fórmula de Tweedie–Miyasawa, que vincula la función de puntuación (score function; el gradiente del logaritmo de la densidad) de una señal difuminada con el error de un estimador óptimo de eliminación de ruido (denoiser).

Construcción Teórica

1. Canal de Observación: Los autores definen un canal de observación gaussiano $y_\gamma = \gamma x + w_\gamma$, donde $w_\gamma$ es ruido gaussiano aditivo. A medida que la relación señal-ruido (SNR) $\gamma$ aumenta, la distribución $p_{y_\gamma}$ se "acerca" a la densidad original $p_x$.
2. I-MMSE Puntual: Basándose en la relación I-MMSE, el logaritmo de la probabilidad de una señal se descompone en una integral de errores de eliminación de ruido (o, equivalentemente, vectores de puntuación) a través de todos los niveles de SNR.
3. Definición de la Métrica: La IEM entre dos señales $x_1$ y $x_2$ se define como la raíz cuadrada de la variación cuadrática esperada del proceso de la razón de log-probabilidad. Específicamente, es el error cuadrático medio (MSE) integrado entre los campos de vectores de puntuación de la densidad difuminada alrededor de $x_1$ y $x_2$ sobre un rango de niveles de SNR $[0, \Gamma]$:
   $$\text{IEM}(x_1, x_2, \Gamma) := \left( \int_0^\Gamma \mathbb{E} \left[ \| \nabla \log p_{y_\gamma}(\gamma x_1 + w_\gamma) - \nabla \log p_{y_\gamma}(\gamma x_2 + w_\gamma) \|^2 \right] d\gamma \right)^{1/2}$$
4. Generalización: Los autores proponen una IEM Generalizada ($\text{IEM}_f$) aplicando una función escalar $f$ al proceso de la razón de log-probabilidad antes de calcular la variación cuadrática, lo que permite flexibilidad para ponderar diferentes aspectos de la distribución.

Geometría Local

El artículo deriva una aproximación local de segundo orden de la IEM al cuadrado, produciendo una métrica de Riemann $G(x, \Gamma)$. Esta métrica local resulta ser:

• Proporcional al valor esperado del cuadrado de la Hessiana del logaritmo de la densidad (curvatura local).
• Relacionada con la covarianza posterior de la señal dada las observaciones ruidosas.
• Más sensible en regiones de alta curvatura del log-densidad y ante perturbaciones que inducen cambios significativos en la probabilidad de la señal.

Implementación

Para calcular la IEM en la práctica, los autores entrenan un eliminador de ruido neuronal (específicamente un Hourglass Diffusion Transformer) en el conjunto de datos ImageNet. Este eliminador de ruido aproxima el estimador MMSE $E[x|y_\gamma]$, lo cual es equivalente a la función de puntuación mediante la fórmula de Tweedie–Miyasawa. La distancia se calcula integrando numéricamente la diferencia al cuadrado de las salidas del eliminador de ruido (o las puntuaciones derivadas) a través de los niveles de ruido.

Contribuciones Clave

1. Nueva Definición de Métrica: La introducción de la IEM, una métrica de distancia global válida derivada puramente de la geometría de una densidad de probabilidad, demostrada para satisfacer la simetría, la no negatividad, la identidad de los indiscernibles y la desigualdad triangular.
2. Unificación Teórica: El artículo demuestra que, para distribuciones gaussianas, la IEM coincide con la distancia de Mahalanobis. Para distribuciones no gaussianas, se adapta local y globalmente al "soporte de los datos", comportándose como una distancia de Mahalanobis localmente adaptativa.
3. Aprendizaje No Supervisado: El marco permite el aprendizaje de una métrica de distancia perceptual a partir de datos no etiquetados mediante el entrenamiento de un eliminador de ruido, evitando la necesidad de etiquetas perceptuales humanas durante la fase de definición de la métrica.
4. Marco Generalizado: La propuesta de $\text{IEM}_f$ permite la adaptación de la métrica a diferentes tipos de datos humanos mediante el aprendizaje de una función $f$ sobre la métrica base no supervisada.

Resultados Experimentales

Los autores evaluaron la IEM en bancos de pruebas estándar de evaluación de calidad de imagen de referencia completa (TID2013, LIVE, CSIQ) y un conjunto de datos específico de texturas (TQD).

• Rendimiento en Imágenes Naturales: La IEM no supervisada (con $\Gamma=1/4$) logró coeficientes de correlación de rango de Spearman (SRCC) competitivos con métricas supervisadas de vanguardia (por ejemplo, LPIPS, DISTS, PieAPP) en TID2013, LIVE y CSIQ, a pesar de haber sido entrenada sin etiquetas humanas.
• Sensibilidad a la Textura: La variante $\text{IEM}_{sq}$ (que utiliza una función cuadrática $f$) superó a la mayoría de los métodos en el conjunto de datos de texturas TQD, un dominio donde muchas métricas estándar presentan dificultades.
• Rendimiento Unificado: Una variante supervisada, $\text{IEM}_{f_\omega}$, que solo aprende la función $f$ sobre el eliminador de ruido preentrenado, logró un rendimiento sólido en todos los conjuntos de datos simultáneamente, demostrando la flexibilidad del marco.
• Competencia de Diferenciación Máxima: En experimentos para minimizar la distancia perceptual bajo una restricción de PSNR fija, la minimización de la IEM produjo imágenes que preservaban la estructura geométrica y parecían perceptualmente naturales, mientras que la minimización de otras métricas (como DISTS) resultó en artefactos antinaturales. Maximizar la IEM identificó correctamente el ruido no estructurado como la distorsión más perjudicial perceptualmente.

Significancia y Reivindicaciones

El artículo sostiene que la IEM proporciona un enfoque fundamentado y matemáticamente riguroso para derivar distancias perceptuales a partir de la geometría estadística de los datos. Su significancia radica en:

• Interpretabilidad: A diferencia de las métricas supervisadas de "caja negra", la IEM se deriva de relaciones fundamentales entre probabilidad, información y estimación, ofreciendo una explicación matemática más clara de los juicios perceptuales.
• Eficiencia de Datos: Demuestra que se pueden aprender métricas perceptuales de alta calidad a partir de datos no etiquetados, reduiendo la dependencia de la costosa y ruidosa anotación humana.
• Robustez: La capacidad de la métrica para adaptarse tanto a imágenes naturales como a texturas, y su rendimiento en tareas de optimización (problemas inversos), sugiere que captura el "soporte de los datos" de manera más efectiva que las alternativas Euclideanas o supervisadas existentes.

Los autores reconocen limitaciones, principalmente el costo computacional de la integración numérica en comparación con las métricas de alimentación hacia adelante (feed-forward) estándar, y la necesidad de un principio sistemático para elegir el hiperparámetro $\Gamma$ y la función $f$. Sugieren como trabajo futuro la aplicación de estos principios a otros tipos de señales (por ejemplo, audio) y el uso de la métrica para la agrupación (clustering) no supervisada y la evaluación de modelos generativos.