Sintesi Tecnica: Apprendimento di una Misura di Distanza dalla Geometria della Stima dell'Informazione dei Dati

Definizione del Problema

Le funzioni di distanza sono fondamentali per l'organizzazione e l'interpretazione dei dati, eppure derivare una metrica di distanza significativa per segnali naturali (ad esempio, le immagini) che si allinei con la percezione umana rimane una sfida significativa. Gli approcci esistenti spesso si affidano all'apprendimento supervisionato utilizzando database etichettati da esseri umani, che sono costosi da annotare, rumorosi e difficili da interpretare matematicamente. Al contrario, i metodi puramente non supervisionati basati sulla teoria dell'informazione (ad esempio, l'informazione mutua) sono spesso agnostici rispetto alla struttura geometrica della distribuzione dei dati. Il problema centrale affrontato è come derivare una funzione di distanza globale e una metrica di Riemann locale esclusivamente dalla geometria di una densità di probabilità continua $p_x$ su un dominio di segnale, senza fare affidamento su etichette umane.

Metodologia: La Metrica di Stima dell'Informazione (IEM)

Gli autori introducono la Metrica di Stima dell'Informazione (IEM), una funzione di distanza derivata dalla relazione tra la teoria dell'informazione e la teoria della stima. La metodologia si basa sulla formula di Tweedie–Miyasawa, che collega la funzione di score (gradiente del logaritmo della densità) di un segnale sfocato all'errore di un denoiser ottimale.

Costruzione Teorica

1. Canale di Osservazione: Gli autori definiscono un canale di osservazione gaussiano $y_\gamma = \gamma x + w_\gamma$, dove $w_\gamma$ è un rumore gaussiano additivo. Man mano che il rapporto segnale-rumore (SNR) $\gamma$ aumenta, la distribuzione $p_{y_\gamma}$ si "avvicina" alla densità originale $p_x$.
2. I-MMSE Puntuale: Basandosi sulla relazione I-MMSE, il logaritmo della probabilità di un segnale viene scomposto in un integrale degli errori di denoising (o equivalentemente, vettori di score) attraverso tutti i livelli di SNR.
3. Definizione della Metrica: La IEM tra due segnali $x_1$ e $x_2$ è definita come la radice quadrata della variazione quadratica attesa del processo del rapporto di log-probabilità. Nello specifico, è l'errore quadratico medio (MSE) integrato tra i campi vettoriali di score della densità sfocata attorno a $x_1$ e $x_2$ su un intervallo di livelli di SNR $[0, \Gamma]$:
   $$\text{IEM}(x_1, x_2, \Gamma) := \left( \int_0^\Gamma \mathbb{E} \left[ \| \nabla \log p_{y_\gamma}(\gamma x_1 + w_\gamma) - \nabla \log p_{y_\gamma}(\gamma x_2 + w_\gamma) \|^2 \right] d\gamma \right)^{1/2}$$
4. Generalizzazione: Gli autori propongono una IEM Generalizzata ($\text{IEM}_f$) applicando una funzione scalare $f$ al processo del rapporto di log-probabilità prima di calcolare la variazione quadratica, permettendo flessibilità nel pesare diversi aspetti della distribuzione.

Geometria Locale

Il documento deriva un'approssimazione locale del secondo ordine della squared IEM, ottenendo una metrica di Riemann $G(x, \Gamma)$. Questa metrica locale è mostrata essere:

• Proporzionale al quadrato atteso dell'Hessiano del log-densità (curvatura locale).
• Relativa alla covarianza a posteriori del segnale date le osservazioni rumorose.
• Più sensibile nelle regioni di alta curvatura del log-densità e alle perturbazioni che inducono grandi cambiamenti nella probabilità del segnale.

Implementazione

Per calcolare la IEM in pratica, gli autori addestrano un denoiser neurale (specificamente un Hourglass Diffusion Transformer) sul dataset ImageNet. Questo denoiser approssima l'estimatore MMSE $E[x|y_\gamma]$, che è equivalente allo score function tramite la formula di Tweedie–Miyasawa. La distanza viene quindi calcolata integrando numericamente la differenza al quadrato degli output del denoiser (o degli score derivati) attraverso i livelli di rumore.

Contributi Chiave

1. Nuova Definizione di Metrica: L'introduzione della IEM, una metrica di distanza globale valida derivata puramente dalla geometria di una densità di probabilità, dimostrata soddisfare simmetria, non negatività, identità degli indiscernibili e la disuguaglianza triangolare.
2. Unificazione Teorica: Il documento prova che, per distribuzioni gaussiane, la IEM coincide con la distanza di Mahalanobis. Per distribuzioni non gaussiane, si adatta localmente e globalmente al "supporto dei dati", comportandosi come una distanza di Mahalanobis localmente adattiva.
3. Apprendimento Non Supervisionato: Il framework permette di apprendere una metrica di distanza percettiva da dati non etichettati addestrando un denoiser, bypassando la necessità di etichette percettive umane durante la fase di definizione della metrica.
4. Framework Generalizzato: La proposta di $\text{IEM}_f$ consente l'adattamento della metrica a diversi tipi di dati umani apprendendo una funzione $f$ sopra la metrica di base non supervisionata.

Risultati Sperimentali

Gli autori hanno valutato la IEM su benchmark standard di valutazione della qualità delle immagini full-reference (TID2013, LIVE, CSIQ) e su un dataset specifico per le texture (TQD).

• Performance sulle Immagini Naturali: La IEM non supervisionata (con $\Gamma=1/4$) ha raggiunto coefficienti di correlazione di rango di Spearman (SRCC) competitivi con le metriche supervisionate allo stato dell'arte (ad esempio, LPIPS, DISTS, PieAPP) su TID2013, LIVE e CSIQ, nonostante sia stata addestrata senza etichette umane.
• Sensibilità alle Texture: La variante $\text{IEM}_{sq}$ (utilizzando una funzione quadratica $f$) ha superato la maggior parte dei metodi sul dataset di texture TQD, un dominio in cui molte metriche standard faticano.
• Performance Unificata: Una variante supervisionata, $\text{IEM}_{f_\omega}$, che apprende solo la funzione $f$ sopra il denoiser pre-addestrato, ha ottenuto prestazioni elevate su tutti i dataset simultaneamente, dimostrando la flessibilità del framework.
• Competizione di Differenziazione Massima: Negli esperimenti minimizzando la distanza percettiva sotto un vincolo di PSNR fisso, la minimizzazione della IEM ha prodotto immagini che preservavano la struttura geometrica e apparivano percettivamente naturali, mentre la minimizzazione di altre metriche (come DISTS) ha prodotto artefatti innaturali. La massimizzazione della IEM ha identificato correttamente il rumore strutturato come la distorsione più dannosa dal punto di vista percettivo.

Significato e Rivendicazioni

Il documento sostiene che la IEM fornisca un approccio principiante e matematicamente fondato per derivare distanze percettive dalla geometria statistica dei dati. La sua importanza risiede in:

• Interpretabilità: A differenza delle metriche supervisionate "black-box", la IEM è derivata da relazioni fondamentali tra probabilità, informazione e stima, offrendo una spiegazione matematica più chiara dei giudizi percettivi.
• Efficienza dei Dati: Dimostra che è possibile apprendere metriche percettive di alta qualità da dati non etichettati, riducendo la dipendenza da annotazioni umane costose e rumorose.
• Robustezza: La capacità della metrica di adattarsi sia a immagini naturali che a texture, insieme alle sue prestazioni nei compiti di ottimizzazione (problemi inversi), suggerisce che essa catturi il "supporto dei dati" in modo più efficace rispetto alle controparti euclidee o supervisionate esistenti.

Gli autori riconoscono i limiti, principalmente il costo computazionale dell'integrazione numerica rispetto alle metriche standard feed-forward, e la necessità di un principio sistematico per scegliere l'iperparametro $\Gamma$ e la funzione $f$. Suggeriscono come lavoro futuro l'applicazione di questi principi ad altri tipi di segnali (ad esempio, l'audio) e l'uso della metrica per il clustering non supervisionato e la valutazione di modelli generativi.