Technische Samenvatting: Het leren van een afstandsmaatstaf uit de informatie-inschattingsgeometrie van data

Probleemstelling

Afstandsfuncties zijn fundamenteel voor de organisatie en interpretatie van data, maar het afleiden van een betekenisvolle afstandsmaatstaf voor natuurlijke signalen (bijv. afbeeldingen) die aansluit bij de menselijke perceptie, blijft een aanzienlijke uitdaging. Bestaande benaderingen vertrouwen vaak op supervised learning met door mensen gelabelde databases, wat kostbaar is om te annoteren, ruis bevat en moeilijk te interpreteren is vanuit een wiskundig perspectief. Daartegenover staan puur unsupervised methoden gebaseerd op informatietheorie (bijv. wederzijdse informatie), die vaak agnostisch zijn voor de geometrische structuur van de datadistributie. Het kernprobleem dat wordt geadresseerd is hoe men een globale afstandsfunctie en een lokale Riemannse metriek kan afleiden uitsluitend uit de geometrie van een onderliggende continue waarschijnlijkheidsdichtheid $p_x$ over een signaaldomein, zonder gebruik te maken van menselijke labels.

Methodologie: De Informatie-inschattingsmetriek (IEM)

De auteurs introduceren de Informatie-inschattingsmetriek (IEM), een afstandsmaatstaf die is afgeleid van de relatie tussen informatietheorie en inschattingstheorie. De methodologie rust op de Tweedie–Miyasawa-formule, die de scorefunctie (gradiënt van de log-dichtheid) van een vervaagd signaal koppelt aan de fout van een optimale denoiser.

Theoretische Constructie

1. Observatiekanaal: De auteurs definiëren een Gaussisch observatiekanaal $y_\gamma = \gamma x + w_\gamma$, waarbij $w_\gamma$ additieve Gaussische ruis is. Naarmate de signaal-ruisverhouding (SNR) $\gamma$ toeneemt, "zoomt" de distributie $p_{y_\gamma}$ in op de oorspronkelijke dichtheid $p_x$.
2. Puntgewijze I-MMSE: Voortbouwend op de I-MMSE-relatie, wordt de log-waarschijnlijkheid van een signaal ontbonden in een integraal van denoisingsfouten (of equivalent, score-vectoren) over alle SNR-niveaus.
3. Definitie van de Metriek: De IEM tussen twee signalen $x_1$ en $x_2$ wordt gedefinieerd als de vierkantswortel van de verwachte kwadratische variatie van het log-waarschijnlijkheidsratio-proces. Specifiek is het de geïntegreerde gemiddelde kwadratische fout (MSE) tussen de score-vectorvelden van de vervaagde dichtheid rondom $x_1$ en $x_2$ over een bereik van SNR-niveaus $[0, \Gamma]$:
   $$\text{IEM}(x_1, x_2, \Gamma) := \left( \int_0^\Gamma \mathbb{E} \left[ \| \nabla \log p_{y_\gamma}(\gamma x_1 + w_\gamma) - \nabla \log p_{y_\gamma}(\gamma x_2 + w_\gamma) \|^2 \right] d\gamma \right)^{1/2}$$
4. Generalisatie: De auteurs stellen een Gegeneraliseerde IEM ($\text{IEM}_f$) voor door een scalaire functie $f$ toe te passen op het log-waarschijnlijkheidsratio-proces voordat de kwadratische variatie wordt berekend, wat flexibiliteit biedt in het wegen van verschillende aspecten van de distributie.

Lokale Geometrie

Het artikel leidt een lokale tweede-orde benadering van de gekwadrateerde IEM af, wat resulteert in een Riemannse metriek $G(x, \Gamma)$. Deze lokale metriek is aangetoond:

• Proportioneel aan de verwachte gekwadrateerde Hessiaan van de log-dichtheid (lokale kromming).
• Gerelateerd aan de posterieure covariantie van het signaal gegeven ruizige observaties.
• Het meest gevoelig in regio's met een hoge log-dichtheidkromming en voor perturbaties die grote veranderingen in de signaalwaarschijnlijkheid induceren.

Implementatie

Om de IEM in de praktijk te berekenen, trainen de auteurs een neurale denoiser (specifiek een Hourglass Diffusion Transformer) op de ImageNet-dataset. Deze denoiser benadert de MMSE-schatter $E[x|y_\gamma]$, wat equivalent is aan de scorefunctie via de Tweedie–Miyasawa-formule. De afstand wordt vervolgens berekend door numeriek de gekwadrateerde verschillen van de outputs van de denoiser (of de daaruit afgeleide scores) te integreren over verschillende ruisniveaus.

Belangrijkste Bijdragen

1. Nieuwe Metriekdefinitie: De introductie van de IEM, een geldige globale afstandsmaatstaf afgeleid van louter de geometrie van een waarschijnlijkheidsdichtheid, waarvan bewezen is dat deze voldoet aan symmetrie, niet-negativiteit, identiteit van ononderscheidbaarheid en de driehoeksongelijkheid.
2. Theoretische Unificatie: Het artikel bewijst dat de IEM voor Gaussische distributies samenvalt met de Mahalanobis-afstand. Voor niet-Gaussische distributies past het zich lokaal en globaal aan de "data support" aan, waarbij het fungeert als een lokaal adaptieve Mahalanobis-afstand.
3. Unsupervised Learning: Het framework maakt het mogelijk om een perceptuele afstandsmaatstaf te leren van ongelabelde data door een denoiser te trainen, waardoor de noodzaak voor menselijke perceptuele labels tijdens de definitiefase van de metriek wordt omzeild.
4. Gegeneraliseerd Framework: Het voorstel van $\text{IEM}_f$ maakt het mogelijk om de metriek aan te passen aan verschillende typen menselijke data door een functie $f$ te leren bovenop de unsupervised basismetriek.

Experimentele Resultaten

De auteurs evalueerden de IEM op standaard full-reference beeldkwaliteitsbeoordelingsbenchmarks (TID2013, LIVE, CSIQ) en een textuur-specifieke dataset (TQD).

• Prestaties op Natuurlijke Afbeeldingen: De unsupervised IEM (met $\Gamma=1/4$) behaalde Spearman's rangcorrelatiecoëfficiënten (SRCC) die concurrerend zijn met state-of-the-art supervised metrieken (zoals LPIPS, DISTS, PieAPP) op TID2013, LIVE en CSIQ, ondanks dat deze getraind is zonder menselijke labels.
• Textuurgevoeligheid: De variant $\text{IEM}_{sq}$ (gebruikmakend van een kwadratische functie $f$) presteerde beter dan de meeste methoden op de TQD-textuurdataset, een domein waar veel standaard metrieken moeite mee hebben.
• Verenigde Prestaties: Een supervised variant, $\text{IEM}_{f_\omega}$, die enkel de functie $f$ leert bovenop de vooraf getrainde denoiser, behaalde sterke prestaties over alle datasets tegelijkertijd, wat de flexibiliteit van het framework aantoont.
• Maximale Differentiatie Competitie: In experimenten waarbij de perceptuele afstand werd geminimaliseerd onder een vaste PSNR-restrictie, produceerde het minimaliseren van de IEM afbeeldingen die de geometrische structuur behielden en er perceptueel natuurlijk uitzagen, terwijl het minimaliseren van andere metrieken (zoals DISTS) resulteerde in onnatuurlijke artefacten. Het maximaliseren van de IEM identificeerde ongestructureerde ruis correct als de meest perceptueel schadelijke verstoring.

Betekenis en Claims

De auteurs claimen dat de IEM een geprincipeerde, wiskundig onderbouwde aanpak biedt voor het afleiden van perceptuele afstanden uit de statistische geometrie van data. De betekenis ligt in:

• Interpreteerbaarheid: In tegen tegenover black-box supervised metrieken is de IEM afgeleid van fundamentele relaties tussen waarschijnlijkheid, informatie en inschatting, wat een duidelijkere wiskundige verklaring biedt voor perceptuele oordelen.
• Data-efficiëntie: Het toont aan dat hoogwaardige perceptuele metrieken geleerd kunnen worden van ongelabelde data, wat de afhankelijkheid van dure en ruizige menselijke annotatie vermindert.
• Robuustheid: Het vermogen van de metriek om zich zowel aan te passen aan natuurlijke afbeeldingen als texturen, en de prestaties in optimalisatietaken (inverse problemen), suggereert dat het de "data support" effectiever vastlegt dan bestaande Euclidische of supervised alternatieven.

De auteurs erkennen beperkingen, primair de computationele kosten van numerieke integratie vergeleken met standaard feed-forward metrieken, en de noodzaak voor een systematisch principe om de hyperparameter $\Gamma$ en de functie $f$ te kiezen. Zij suggereren toekomstig werk voor het toepassen van deze principes op andere signaaltypen (bijv. audio) en het gebruik van de metriek voor unsupervised clustering en de evaluatie van generatieve modellen.