Evaluating quality metrics through the lenses of psychophysical measurements of low-level vision

Diese Arbeit stellt einen neuen Testrahmen vor, der anhand psychophysischer Messungen der niederen visuellen Wahrnehmung (wie Kontrastsensitivität und -maskierung) die Leistungsfähigkeit von 34 etablierten Bild- und Videoqualitätsmetriken bewertet und dabei deren spezifische Stärken sowie systematische Schwächen im Vergleich zu menschlichen Sehprinzipien aufdeckt.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen riesigen Schatz an Bildern und Videos. Um zu entscheiden, welche davon wirklich gut aussehen, brauchen Sie einen zuverlässigen Prüfer. In der Welt der Technik gibt es dafür sogenannte Qualitäts-Metriken (wie SSIM, LPIPS oder VMAF). Das sind mathematische Formeln, die berechnen, wie „schön" oder „fehlerhaft" ein Bild ist.

Das Problem ist: Diese Formeln wurden oft nur danach bewertet, ob sie mit menschlichen Meinungen übereinstimmen. Aber warum stimmen sie überein oder warum versagen sie? Das war lange ein Rätsel.

Diese neue Studie von Forschern der Universität Cambridge und Netflix stellt sich genau diese Frage. Sie sagen: „Lassen Sie uns nicht nur raten, ob die Metrik gut ist. Lassen Sie uns sie direkt auf ihre Augen-Intelligenz testen."

Hier ist die Erklärung der Studie, übersetzt in eine einfache Geschichte mit Analogien:

1. Das Problem: Der blinde Prüfer

Stellen Sie sich diese Qualitäts-Metriken wie einen Koch vor, der blind ist. Er kann schmecken, ob das Essen salzig ist (das ist wie ein einfacher Fehler im Bild), aber er weiß nicht, wie unser menschlicher Geschmackssinn funktioniert.

• Manche Metriken sagen: „Ein Bild ist schlecht, weil es ein winziges Pixel zu hell ist." (Aber ein Mensch würde das gar nicht bemerken).
• Andere sagen: „Das Bild ist toll," obwohl es unscharf ist.

Bisher haben wir diese Köche nur danach bewertet, ob sie am Ende des Essens sagen: „Das schmeckt gut" oder „Das schmeckt schlecht". Aber wir haben nie getestet, ob sie wirklich verstehen, wie wir schmecken.

2. Die Lösung: Der „Augen-Test"

Die Forscher haben einen neuen Test entwickelt. Sie nehmen diese mathematischen Köche und stellen ihnen spezielle optische Tricks vor, die wir aus der Psychologie kennen. Es ist, als würden wir dem blinden Koch eine Brille aufsetzen und ihm zeigen, wie das menschliche Auge wirklich funktioniert.

Sie testen drei Hauptfähigkeiten:

A. Der „Flüstertest" (Kontrast-Empfindlichkeit)

• Die Situation: Stellen Sie sich vor, jemand flüstert Ihnen etwas zu. Wenn es sehr leise ist (niedriger Kontrast), hören Sie es nur, wenn es genau in der richtigen Tonlage ist. Wenn es zu tief oder zu hoch ist, hören Sie es nicht.
• Der Test: Die Forscher zeigen den Metriken Muster mit unterschiedlichen „Tonlagen" (Häufigkeiten von Linien im Bild).
• Das Ergebnis:
  • Der Klassiker SSIM ist wie ein Hörgerät, das nur hohe Töne hört. Er ignoriert mittlere Töne, die für uns Menschen aber am wichtigsten sind. Er findet also kleine, feine Fehler überall, wo wir sie gar nicht sehen.
  • MS-SSIM (eine verbesserte Version) hat ein besseres Hörgerät und hört die mittleren Töne viel besser.
  • LPIPS (ein moderner KI-basierter Metrik) überrascht alle: Er versteht diese „Tonlagen" fast perfekt, obwohl er nie explizit dafür trainiert wurde. Es ist, als hätte er das Gehör eines Musikers, ohne jemals Noten gelernt zu haben.

B. Der „Lärmtest" (Kontrast-Masking)

• Die Situation: Wenn Sie in einer lauten Disco stehen (das ist das „Maske" oder der Hintergrund), hören Sie ein Flüstern viel schlechter als in einer ruhigen Bibliothek. Das menschliche Auge ist „taub" für Fehler, wenn das Bild selbst schon viel Struktur und Textur hat.
• Der Test: Die Forscher fügen einem lauten, strukturierten Hintergrund ein kleines Fehlerchen hinzu.
• Das Ergebnis:
  • Viele alte Metriken (wie PSNR) hören das Flüstern immer noch, egal wie laut die Disco ist. Sie verstehen nicht, dass das menschliche Auge den Fehler im Chaos übersehen würde.
  • LPIPS und DISTS (KI-Modelle) sind hier Meister. Sie verstehen: „Ah, hier ist viel Lärm, das kleine Fehlerchen ist unsichtbar." Sie ahmen nach, wie unser Gehirn Störungen in komplexen Mustern ignoriert.
  • VMAF (der beliebte Video-Tester) versteht das nur, wenn das Fehlerchen sehr laut ist. Bei leisen Fehlern im Chaos versagt er.

C. Der „Farb- und Zeit-Test"

• Farbe: Wenn Sie ein rotes und ein grünes Muster haben, sollten wir sie als gleich „laut" empfinden, wenn sie physikalisch gleich stark sind. Viele Metriken verzerren das: Sie finden rote Muster viel „schlimmer" als grüne, obwohl wir sie gleich sehen.
• Zeit (Flackern): Wenn ein Video flackert, merken wir das. Aber nur, wenn es schnell genug flackert. Die meisten Video-Metriken schauen sich nur ein paar Bilder an und merken das Flackern gar nicht. Nur wenige (wie ColorVideoVDP) verstehen, dass das menschliche Auge Zeit als Kontinuum wahrnimmt.

3. Die große Überraschung: Die KI ist besser als die Mathematik

Das vielleicht coolste Ergebnis der Studie ist:
Die modernen KI-Metriken (wie LPIPS oder DISTS), die durch neuronale Netze lernen, verstehen die „Geheimnisse" des menschlichen Auges oft besser als die alten, handgeschriebenen Formeln.

• Es ist, als ob ein junger Schüler, der nie Biologieunterricht hatte, intuitiv versteht, wie das Auge funktioniert, während ein alter Professor (die alte Formel) stur an veralteten Regeln festhält.
• Die KI hat diese Fähigkeiten wahrscheinlich gelernt, weil sie auf riesigen Mengen natürlicher Bilder trainiert wurde – genau wie unser Gehirn.

4. Was bedeutet das für uns?

Bisher haben wir Qualitäts-Metriken nur danach bewertet, ob sie mit menschlichen Bewertungen übereinstimmen. Das ist wie ein Test, bei dem man nur das Endergebnis sieht.
Diese Studie sagt: Nein, wir müssen auch den Prozess verstehen.

• Wenn wir wissen, warum eine Metrik gut ist (weil sie das menschliche Sehen nachahmt), können wir bessere Video-Streaming-Dienste bauen.
• Wir können erkennen, welche Metriken trügerisch sind (z. B. die, die zu viel auf feine Details achten, die wir gar nicht sehen).
• Die Forscher haben ihre Werkzeuge als Open Source veröffentlicht. Das ist wie ein offenes Labor, in dem jeder zukünftige Entwickler seine neuen „Köche" testen kann, bevor er sie in die Küche schickt.

Zusammenfassend:
Diese Studie ist wie ein Augenarzt-Check für die Software, die unsere Bilder bewertet. Sie zeigt uns, welche Software wirklich „sieht" wie ein Mensch und welche nur Zahlen berechnet, ohne zu verstehen, was wir eigentlich sehen. Und das Ergebnis? Die neuen KI-Methoden sehen uns oft besser als die alten Regeln.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Evaluating quality metrics through the lenses of psychophysical measurements of low-level vision" auf Deutsch:

Problemstellung

Objektive Bild- und Videoqualitätsmetriken (wie PSNR, SSIM, LPIPS, VMAF) werden standardmäßig durch den Vergleich ihrer Vorhersagen mit subjektiven Daten (z. B. Mean Opinion Scores, MOS) bewertet. Die Autoren kritisieren, dass diese korrelationsbasierte Evaluierung zwar notwendig, aber unzureichend ist, da sie wenig Aufschluss über die zugrundeliegenden Mechanismen gibt, die das Verhalten der Metriken steuern. Zudem variieren die Ergebnisse stark je nach Datensatz, Verzerrungstyp und experimentellem Rauschen.

Ein zentrales Problem ist, dass die meisten Metriken zwar behaupten, Prinzipien des menschlichen Sehens zu reflektieren, aber selten explizit Modelle der menschlichen Wahrnehmung integrieren. Stattdessen basieren sie oft auf handgefertigten Formeln oder datengetriebenem Training, ohne dass ihre Fähigkeit, fundamentale Eigenschaften des „Low-Level-Vision" (wie Kontrastempfindlichkeit, Maskierung und Kontrastkonstanz) zu modellieren, systematisch überprüft wird.

Methodik

Die Autoren stellen einen neuen Evaluierungsrahmen vor, der klassische psychophysische Experimente zur Untersuchung des menschlichen Sehsystems nachahmt. Anstatt Metriken nur mit subjektiven Scores zu vergleichen, testen sie deren Reaktion auf kontrollierte, physikalisch kalibrierte Reize.

Der Rahmen umfasst zwei Hauptkategorien von Tests:

1. Detektionstests (Detection Tests):

   • Kontrastdetektion: Messung der Fähigkeit, Gabor-Patches auf einem homogenen Hintergrund zu erkennen. Die Ergebnisse werden mit der menschlichen Kontrastempfindlichkeitsfunktion (CSF) verglichen.
   • Kontrastmaskierung: Bewertung, wie gut eine Metrik die Unsichtbarkeit von Störungen durch Bildinhalt (Maske) vorhersagt. Unterscheidung zwischen phasenkohärenter (erleichterte Detektion nahe der Schwelle) und phasenkohärenter Maskierung.
   • Flackern-Detektion (Flicker): Test der zeitlichen Empfindlichkeit gegenüber Helligkeitsschwankungen in Videos.

2. Kontrast-Matching-Tests (Contrast Matching Tests):

   • Räumliche Frequenz: Überprüfung, ob eine Metrik den „Kontrastkonstanz"-Effekt (Supra-Schwellenwert) erfasst: Dass große Kontraste über verschiedene räumliche Frequenzen hinweg ähnlich wahrgenommen werden (Flachheit der Kurve bei hohen Kontrasten).
   • Farbrichtung: Bewertung der Fähigkeit, Kontraste in achromatischen (Grau), rot-grünen und gelb-violetten Richtungen gleichwertig zu bewerten.

Experimentelle Bedingungen:
Die Tests verwenden physikalisch kalibrierte Stimuli (Luminanz in cd/m², visuelle Winkel in Grad). Da die meisten Metriken keine physikalischen Eingaben akzeptieren, wurden Annahmen getroffen (z. B. 60 Pixel pro Grad, 100 cd/m² Spitzenhelligkeit). Es wurden 34 verschiedene Full-Reference-Metriken getestet, darunter traditionelle, farb- und videobasierte sowie Deep-Learning-basierte Ansätze.

Wichtige Beiträge

1. Neuer Evaluierungsrahmen: Einführung eines offenen Frameworks, das Metriken gegen etablierte psychophysische Modelle (z. B. castleCSF, elaTCSF) testet, anstatt nur gegen subjektive Scores.
2. Systematische Analyse: Eine umfassende Analyse von 34 Metriken, die Muster in deren Verhalten aufdeckt, die bei herkömmlichen Tests unsichtbar bleiben.
3. Offene Ressourcen: Die Autoren versprechen die Veröffentlichung eines Open-Source-Frameworks zur Reproduzierbarkeit und weiteren Entwicklung.

Ergebnisse und Analyse

Die Studie offenbart signifikante Diskrepanzen zwischen dem Verhalten der Metriken und der menschlichen Wahrnehmung:

• Kontrastdetektion (CSF):

  • Viele Metriken (z. B. PSNR, CIEDE2000) zeigen keine frequenzabhängige Empfindlichkeit.
  • SSIM zeigt ein hochfrequentes Verhalten (High-Pass), was bedeutet, dass es feine Details überbewertet und mittlere Frequenzen unterschätzt. Dies wird durch MS-SSIM teilweise korrigiert, das ein band-pass-artiges Verhalten zeigt.
  • ColorVideoVDP zeigt die beste Übereinstimmung mit der CSF, da es explizit auf dem castleCSF-Modell basiert.
  • Deep-Learning-Metriken (z. B. LPIPS, DISTS) zeigen band-pass-Charakteristika, aber oft mit falschen Spitzenfrequenzen.

• Kontrastmaskierung:

  • Traditionelle Metriken (PSNR, SSIM) zeigen kaum Maskierungseffekte.
  • LPIPS und DISTS (basierend auf CNNs wie VGG/AlexNet) zeigen überraschend gute Ergebnisse bei der Vorhersage von Maskierungseffekten, einschließlich des „Dipper"-Effekts (Erleichterung der Detektion bei niedrigen Masker-Kontrasten), obwohl sie nicht auf solchen Daten trainiert wurden.
  • VMAF zeigt Maskierungseffekte nur bei supra-schwellenwerten Kontrasten, nicht jedoch nahe der Detektionsschwelle.
  • Transformer-basierte Modelle (AHIQ, TOPIQ) zeigen bei niedrigen Kontrasten anomales Verhalten.

• Flackern (Flicker):

  • Die meisten Video-Metriken scheitern daran, die menschliche Band-pass-Empfindlichkeit für Flackern (Peak bei ca. 8 Hz) korrekt zu modellieren, da sie oft nur wenige Frames betrachten. Nur FovVideoVDP und ColorVideoVDP konnten die Sensitivität korrekt vorhersagen.

• Kontrastkonstanz (Supra-Schwellenwert):

  • Keine der getesteten Metriken konnte das Phänomen der „Kontrastkonstanz" bei hohen Kontrasten korrekt abbilden (d. h. die Vorhersage, dass der wahrgenommene Kontrast über Frequenzen hinweg konstant bleibt).
  • Metriken, die CSF-Modelle als Filter nutzen (z. B. FLIP, sCIELab), zeigen parallele Linien ohne das notwendige „Flattening" bei hohen Kontrasten.

• Farb-Kontrast-Matching:

  • Viele Metriken balancieren achromatische und chromatische Kontraste nicht korrekt. Farbdifferenzformeln (CIEDE2000) unterschätzen große Farbunterschiede, während Deep-Learning-Metriken chromatische Effekte oft überbetonen. ColorVideoVDP erzielte hier die beste Übereinstimmung.

Bedeutung

Diese Arbeit verschiebt den Fokus von der reinen Korrelation mit subjektiven Scores hin zum Verständnis der inneren Mechanismen von Qualitätsmetriken.

• Sie zeigt, dass selbst hochmoderne Deep-Learning-Metriken fundamentale psychophysische Eigenschaften (wie Kontrastkonstanz) oft nicht lernen, obwohl sie bei Standard-Benchmarks gut abschneiden.
• Sie liefert Diagnosewerkzeuge für Entwickler, um zu verstehen, warum eine Metrik versagt (z. B. falsche Frequenzgewichtung oder fehlende Maskierungsmodellierung).
• Der Ansatz unterstützt die Entwicklung zukünftiger Metriken, die nicht nur „gut aussehen" (hohe Korrelation), sondern tatsächlich die Prinzipien des menschlichen Sehsystems abbilden.

Zusammenfassend bietet das Paper einen kritischen, physikalisch fundierten Blick auf den aktuellen Stand der Bild- und Videoqualitätsbewertung und identifiziert spezifische Lücken zwischen algorithmischen Modellen und der menschlichen Wahrnehmung.