📊 statistics

Learning a distance measure from the information-estimation geometry of data

Dieses Paper führt die Information-Estimation Metric (IEM) ein, eine neuartige Distanzfunktion, die aus der Beziehung zwischen Informations- und Schätzentheorien abgeleitet wird, gelernte Denoiser nutzt, um sich an komplexe Datengeometrien anzupassen, und Spitzenleistungen bei der Vorhersage der menschlichen wahrgenommenen Bildqualität erzielt.

Ursprüngliche Autoren: Guy Ohayon, Pierre-Etienne H. Fiquet, Florentin Guth, Jona Ballé, Eero P. Simoncelli

Veröffentlicht 2026-02-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Guy Ohayon, Pierre-Etienne H. Fiquet, Florentin Guth, Jona Ballé, Eero P. Simoncelli

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, die „Distanz“ zwischen zwei Dingen zu messen. In der physischen Welt benutzen Sie vielleicht ein Lineal, um zu messen, wie weit zwei Städte voneinander entfernt sind. Aber was, wenn Sie die Distanz zwischen zwei Ideen, zwei Bildern oder zwei Klängen messen wollen? Wie entscheiden Sie, ob zwei Bilder einer Katze „nah“ beieinander liegen oder ob ein Bild einer Katze und ein Bild eines Toasters „weit“ voneinander entfernt sind?

Normalerweise zählen Computer einfach die Unterschiede in den Pixeln (wie das Zählen von Steinen, die zwischen zwei Wänden unterschiedlich sind). Aber Menschen sehen das nicht so. Wir könnten denken, dass zwei leicht unscharfe Fotos einer Katze sehr ähnlich sind, während zwei scharfe Fotos einer Katze und eines Toasters sehr verschieden sind, selbst wenn die Pixelanzahl etwas anderes suggeriert.

Dieses Paper stellt eine neue Art vor, wie Computer diese „perzeptuelle Distanz“ messen können, die Information-Estimation Metric (IEM). So funktioniert sie, einfach erklärt:

1. Der „Denoising“-Detektiv

Stellen Sie sich vor, Sie haben ein sehr klares Foto einer Landschaft. Stellen Sie sich nun vor, jemand wirft einen Eimer Schnee über das Bild und macht es unscharf.

Der alte Weg: Eine Standard-Computer-Metrik betrachtet einfach das unscharfe Foto und das klare Foto und zählt die Pixelunterschiede.
Der IEM-Weg: Die IEM stellt eine andere Frage: „Wenn ich dir dieses unscharfe Foto gebe, wie gut kannst du raten, wie das ursprüngliche klare Foto aussah?“

Die Autoren verwenden eine spezielle KI (einen „Denoiser“), die auf Millionen von Bildern trainiert wurde, um als dieser Detektiv zu fungieren. Die KI versucht, das unscharfe Foto zu bereinigen.

Wenn die KI zuversichtlich ist und es perfekt bereinigt, ist die Distanz klein.
Wenn die KI verwirrt ist und eine schlechte Vermutung anstellt, ist die Distanz groß.

2. Die „Schneesturm“-Analogie

Das Paper testet die KI nicht nur mit einem einzigen Grad an Unschärfe. Es testet sie mit einem ganzen Spektrum von „Schneestürmen“, von einem leichten Schneegestöber bis hin zu einem schweren Blizzard.

Das Konzept: Die IEM misst die Distanz zwischen zwei Bildern, indem sie vergleicht, wie sich die „Rate-Strategie“ der KI verändert, während der Schnee stärker wird.
Die Metapher: Stellen Sie sich zwei Personen vor, die in einem nebligen Feld stehen.
- Wenn sie auf einem festen, vertrauten Pfad stehen (einem häufigen Bild, wie einem klaren blauen Himmel), verwirrt sie der Nebel nicht viel. Sie wissen, wo sie sind.
- Wenn sie an einem seltsamen, verwirrenden Ort stehen (einem seltenen oder ungewöhnlichen Bild), macht der Nebel sie sehr unsicher.
- Die IEM misst die Distanz zwischen zwei Personen, indem sie beobachtet, wie sich ihre „Unsicherheit“ verändert, während der Nebel ein- und auszieht. Wenn ihre Unsicherheitsmuster ähnlich sind, liegen sie „nah“ beieinander. Wenn ihre Verwirrung völlig unterschiedlich ist, sind sie „weit voneinander entfernt“.

3. Warum das besonders ist (Die „Form“ der Daten)

Das Paper behauptet, dass diese Methode die Form der Welt lernt, ohne einen Lehrer zu benötigen.

Überwachtes Lernen (Der alte Weg): Um einem Computer beizubringen, was Menschen als „ähnlich“ empfinden, benötigt man normalerweise tausende von Menschen, die Fotos beschriften (z. B. „Diese beiden sehen ähnlich aus“, „Diese beiden sehen unterschiedlich aus“). Das ist teuer und fehleranfällig.
Der IEM-Weg (Unüberwacht): Die IEM lernt rein durch das Betrachten der Bilder selbst. Sie versteht, dass „Katzen“ meistens auf eine bestimmte Weise aussehen und „Wolken“ auf eine andere. Sie erstellt eine Karte dessen, was „normal“ und was „seltsam“ ist, indem sie einfach nur die Daten studiert.

Die Autoren haben mathematisch bewiesen, dass dies eine gültige „Distanz“ erzeugt (sie folgt den Regeln der Geometrie) und dass sie für einfache Daten wie ein Standard-Lineal funktioniert. Aber für komplexe Daten (wie echte Fotos) biegt und streckt sie sich, um sich der Form der Daten anzupassen, genau wie ein flexibles Lineal, das sich dem Gelände anpasst.

4. Funktioniert es?

Die Forscher haben ihr neues „flexibles Lineal“ auf einer Datenbank von Bildern (ImageNet) getestet und es mit der Art und Weise verglichen, wie Menschen die Bildqualität beurteilen.

Das Ergebnis: Obwohl die IEM nie ein einziges menschliches Label gesehen hat, das sagt „dies sieht gut aus“ oder „dies sieht schlecht aus“, sagte sie die menschliche Meinung genauso gut oder sogar besser voraus als die fortschrittlichsten Computerprogramme, die eben auf menschliche Labels trainiert wurden.
Der „Maximum Differentiation“-Test: Sie versuchten, das System auszutricksen. Sie nahmen ein Foto, fügten Rauschen hinzu und baten den Computer dann, das Rauschen so zu verändern, dass das Bild so unterschiedlich wie möglich vom Original aussieht, während die „Pixelanzahl“ (PSNR) gleich bleibt.
- Andere Metriken erzeugten Bilder, die wie abstrakte Kunst oder Unsinn aussah.
- Die IEM erzeugte Bilder, die immer noch wie das Originalfoto aussah, nur mit anderem Rauschen. Dies deutet darauf hin, dass die IEM die „Struktur“ des Bildes besser versteht als die anderen.

Zusammenfassung

Die Information-Estimation Metric ist ein neues Werkzeug, das misst, wie „weit entfernt“ zwei Bilder voneinander sind, indem es prüft, wie schwer es für eine intelligente KI ist, sie zu bereinigen. Anstatt Pixel zu zählen, betrachtet sie die „Unsicherheit“ der KI. Sie lernt die Form der Welt von selbst, ohne dass Menschen ihre Hausaufgaben korrigieren müssen, und sie ist erstaunlich gut darin, die menschliche Wahrnehmung von Ähnlichkeit nachzuahmen.

Technisches Resümee: Lernen eines Distanzmaßes aus der Informations-Schätzungs-Geometrie von Daten

Problemstellung

Distanzfunktionen sind grundlegend für die Organisation und Interpretation von Daten, doch die Ableitung eines aussagekräftigen Distanzmaßes für natürliche Signale (z. B. Bilder), das mit der menschlichen Wahrnehmung übereinstimmt, bleibt eine erhebliche Herausforderung. Bestehende Ansätze stützen sich oft auf überwachtes Lernen unter Verwendung von menschlich annotierten Datenbanken, die kostspielig in der Annotation, verrauscht und mathematisch schwer interpretierbar sind. Umgekehrt sind rein unüberwachte Methoden basierend auf der Informationstheorie (z. B. gegenseitige Information) oft agnostisch gegenüber der geometrischen Struktur der Datenverteilung. Das Kernproblem besteht darin, wie man eine globale Distanzfunktion und eine lokale Riemannsche Metrik allein aus der Geometrie einer zugrunde liegenden kontinuierlichen Wahrscheinlichkeitsdichte $p_x$ über einem Signaldomain ableiten kann, ohne sich auf menschliche Labels zu verlassen.

Methodik: Die Informations-Schätzungs-Metrik (IEM)

Die Autoren führen die Informations-Schätzungs-Metrik (Information-Estimation Metric, IEM) ein, eine Distanzfunktion, die aus der Beziehung zwischen Informationstheorie und Schätzentheorie abgeleitet ist. Die Methodik basiert auf der Tweedie–Miyasawa-Formel, welche die Score-Funktion (Gradient der Log-Dichte) eines verschlechterten Signals mit dem Fehler eines optimalen Denoisers verknüpft.

Theoretische Konstruktion

Beobachtungskanal: Die Autoren definieren einen Gaußschen Beobachtungskanal $y_\gamma = \gamma x + w_\gamma$ , wobei $w_\gamma$ additives Gaußsches Rauschen ist. Wenn das Signal-Rausch-Verhältnis (SNR) $\gamma$ steigt, „zoomt“ die Verteilung $p_{y_\gamma}$ in die ursprüngliche Dichte $p_x hinein.
Punktweise I-MMSE: Aufbauend auf der I-MMSE-Beziehung wird die Log-Wahrscheinlichkeit eines Signals in ein Integral von Denosing-Fehlern (oder äquivalenten Score-Vektoren) über alle SNR-Stufen zerlegt.
Definition der Metrik: Die IEM zwischen zwei Signalen $x_1$ und $x_2$ ist definiert als die Quadratwurzel der erwarteten quadratischen Variation des Log-Wahrscheinlichkeitsverhältnis-Prozesses. Speziell ist es der integrierte mittlere quadratische Fehler (MSE) zwischen den Score-Vektorfeldern der verschlechterten Dichte um $x_1$ und $x_2$ über einen Bereich von SNR-Stufen $[0, \Gamma]$ :
$\text{IEM}(x_1, x_2, \Gamma) := \left( \int_0^\Gamma \mathbb{E} \left[ \| \nabla \log p_{y_\gamma}(\gamma x_1 + w_\gamma) - \nabla \log p_{y_\gamma}(\gamma x_2 + w_\gamma) \|^2 \right] d\gamma \right)^{1/2}$
Generalisierung: Die Autoren schlagen eine verallgemeinerte IEM ( $\text{IEM}_f$ ) vor, indem sie eine Skalarfunktion $f$ auf den Log-Wahrscheinlichkeitsverhältnis-Prozess anwenden, bevor die quadratische Variation berechnet wird, was Flexibilität bei der Gewichtung verschiedener Aspekte der Verteilung ermöglicht.

Lokale Geometrie

Das Papier leitet eine lokale zweite Ordnung Näherung der quadrierten IEM ab, was eine Riemannsche Metrik $G(x, \Gamma)$ ergibt. Diese lokale Metrik ist gezeigt zu sein:

Proportional zur erwarteten quadrierten Hesse-Matrix der Log-Dichte (lokale Krümmung).
Verwandt mit der Posterior-Kovarianz des Signals gegeben verrauschter Beobachtungen.
Am empfindlichsten in Regionen hoher Log-Dichte-Krümmung und gegenüber Perturbationen, die große Änderungen in der Signalwahrscheinlichkeit induzieren.

Implementierung

Um die IEM in der Praxis zu berechnen, trainieren die Autoren einen neuronalen Denoiser (speziell einen Hourglass Diffusion Transformer) auf dem ImageNet-Datensatz. Dieser Denoiser approximiert den MMSE-Schätzer $E[x|y_\gamma]$ , was äquivalent zum Score-Vektor via Tweedie–Miyasawa-Formel ist. Die Distanz wird dann durch numerische Integration der quadrierten Differenz der Outputs des Denoisers (oder der abgeleiteten Scores) über verschiedene Rauschpegel berechnet.

Zentrale Beiträge

Neuartige Metrikdefinition: Die Einführung der IEM, eines gültigen globalen Distanzmaßes, das rein aus der Geometrie einer Wahrscheinlichkeitsdichte abgeleitet wurde und bewiesen hat, dass es Symmetrie, Nicht-Negativität, Identität der Ununterscheidbarkeit und die Dreiecksungleichung erfüllt.
Theoretische Vereinheitlichung: Das Paper beweist, dass die IEM für Gauß-Verteilungen mit der Mahalanobis-Distanz übereinstimmt. Für Nicht-Gauß-Verteilungen passt sie sich lokal und global an den „Daten-Support“ an und verhält sich wie eine lokal adaptive Mahalanobis-Distanz.
Unüberwachtes Lernen: Das Framework ermöglicht das Lernen eines perzeptuellen Distanzmaßes aus unbeschrifteten Daten durch das Training eines Denoisers, wodurch die Notwendigkeit menschlicher perzeptueller Labels während der Definition der Metrik umgangen wird.
Generalisiertes Framework: Der Vorschlag von $\text{IEM}_f$ erlaubt die Anpassung der Metrik an verschiedene Arten menschlicher Daten, indem eine Funktion $f$ auf der unüberwachten Basis-Metrik gelernt wird.

Experimentelle Ergebnisse

Die Autoren evaluierten die IEM auf Standard-Benchmarks für die Vollreferenz-Bildqualitätsbewertung (TID2013, LIVE, CSIQ) sowie auf einem Textur-spezifischen Datensatz (TQD).

Leistung bei natürlichen Bildern: Die unüberwachte IEM (mit $\Gamma=1/4$ ) erreichte Spearman-Rangkorrelationskoeffizienten (SRCC), die mit staatlicher Technik (State-of-the-Art) wie LPIPS, DISTS und PieAPP auf den Datensätzen TID2013, LIVE und CSIQ konkurrieren können, obwohl sie ohne menschliche Labels trainiert wurde.
Textur-Sensitivität: Die Variante $\text{IEM}_{sq}$ (unter Verwendung einer quadratischen Funktion $f$ ) übertraf die meisten Methoden auf dem TQD-Textur-Datensatz, einem Bereich, in dem viele Standardmetriken Schwierigkeiten haben.
Vereinte Leistung: Eine überwachte Variante, $\text{IEM}_{f_\omega}$ , die lediglich die Funktion $f$ auf dem vortrainierten Denoiser lernt, erreichte eine starke Leistung über alle Datensätze hinweg, was die Flexibilität des Frameworks demonstriert.
Wettbewerb der maximalen Differenzierung: In Experimenten zur Minimierung der perzeptuellen Distanz unter einer festen PSNR-Beschränkung führte die Minimierung der IEM zu Bildern, die die geometrische Struktur bewahrten und natürlich erschienen, während die Minimierung anderer Metriken (wie DISTS) zu unnatürlichen Artefakten führte. Die Maximierung der IEM identifizierte unstrukturiertes Rauschen korrekt als die perzeptuell schädlichste Störung.

Bedeutung und Behauptungen

Das Paper behauptet, dass die IEM einen prinzipisierten, mathematisch fundierten Ansatz bietet, um perzeptuelle Distanzen aus der statistischen Geometrie von Daten abzuleiten. Seine Bedeutung liegt in:

Interpretierbarkeit: Im Gegensatz zu Black-Box-überwachten Metriken wird die IEM aus fundamentalen Beziehungen zwischen Wahrscheinlichkeit, Information und Schätzung abgeleitet, was eine klarere mathematische Erklärung für perzeptuelle Urteile bietet.
Dateneffizienz: Es zeigt, dass hochwertige perzeptuelle Metriken aus unbeschrifteten Daten gelernt werden können, was die Abhängigkeit von teurer und verrauschter menschlicher Annotation reduziert.
Robustheit: Die Fähigkeit der Metrik, sowohl zu natürlichen Bildern als auch zu Texturen zu adaptieren, sowie ihre Leistung in Optimierungsaufgaben (Inversionsprobleme), deutet darauf hin, dass sie den „Daten-Support“ effektiver erfasst als bestehende euklidische oder überwachte Alternativen.

Die Autoren räumen Einschränkungen ein, primär die Rechenkosten der numerischen Integration im Vergleich zu Standard-Feedforward-Metriken sowie die Notwendigkeit eines systematischen Prinzips zur Wahl des Hyperparameters $\Gamma$ und der Funktion $f$ . Sie schlagen vor, diese Prinzipien in der Zukunft auf andere Signaltypen (z. B. Audio) anzuwenden und die Metrik für unüberwachtes Clustering und die Evaluierung generativer Modelle zu nutzen.