Evaluating quality metrics through the lenses of psychophysical measurements of low-level vision

Dit artikel introduceert een reeks tests op basis van psychofysische metingen van laag-niveau visie om bestaande beeld- en videokwaliteitsmetrieken te evalueren op hun vermogen om aspecten zoals contrastgevoeligheid en contrastmaskering te modelleren, en toont aan dat deze tests eigenschappen blootleggen die met standaardprotocollen vaak onopgemerkt blijven.

De kern

Titel: Waarom computers soms "zien" wat wij niet zien (en andersom)

Stel je voor dat je een foto bekijkt. Voor jou is het een prachtige, scherpe afbeelding. Maar voor een computerprogramma dat de kwaliteit moet beoordelen, is het misschien een ramp. Of juist het omgekeerde: de computer zegt "perfect", maar jij vindt het wazig.

Dit is het probleem waar dit onderzoek over gaat. Er zijn veel programma's (zoals SSIM, LPIPS of VMAF) die proberen te voorspellen hoe goed een mens een foto of video vindt. Meestal worden deze getest door mensen foto's te laten kijken en te vragen: "Hoe mooi is dit?". Maar dit onderzoek doet iets heel anders. Het kijkt niet naar de mening van de mens, maar naar hoe ons oog eigenlijk werkt.

Hier is de uitleg, vertaald naar alledaagse taal met een paar leuke vergelijkingen.

1. De "Oog-Test" in plaats van de "Mening-Test"

Normaal gesproken testen we deze programma's door ze te laten wedden tegen mensen: "Kun jij voorspellen wat de mensen vinden?"
De auteurs van dit paper zeggen: "Wacht even. Laten we eerst kijken of deze programma's de fysieke regels van het menselijk oog begrijpen."

Het is alsof je een auto wilt testen. Je kunt hem laten racen tegen een andere auto (de menselijke mening), maar het is slimmer om eerst te kijken of de motor wel de juiste regels van de weg volgt. Heeft de auto remmen? Kan hij remmen op een gladde weg?

De auteurs hebben drie specifieke "oog-tests" bedacht, gebaseerd op psychologie (de studie van hoe we waarnemen):

Test A: Het "Fluister-gehoor" (Contrast Sensitiviteit)

Stel je voor dat je in een stilte zit. Je kunt een heel zacht gefluister horen, maar alleen als het op het juiste moment en de juiste toonhoogte gebeurt.

• Het menselijk oog: Kan heel goed kleine details zien in het midden van het beeld, maar ziet minder goed de allerfijnste details (zoals een heel fijne ruit) of de allergrootste vlekken.
• De test: De onderzoekers lieten de programma's kijken naar patronen met verschillende fijnheid.
• Het resultaat: Sommige programma's (zoals de oude SSIM) luisterden alleen naar de "fijne ruis" en negeerden de rest. Ze waren als iemand die alleen naar de piepjes in de muziek luistert en de bas mist. Andere programma's (zoals ColorVideoVDP) luisterden precies zoals een mens: ze hoorden het gefluister perfect.

Test B: De "Verstopte Schat" (Contrast Masking)

Stel je voor dat je een schat zoekt in een bos. Als het bos leeg is, zie je de schat (een steen) heel makkelijk. Maar als het bos vol staat met bladeren en takken (ruis), moet de steen veel groter zijn om nog gezien te worden.

• Het menselijk oog: Als er al veel "ruis" in een beeld zit (zoals een textuur), dan "maskeren" die ruis de fouten. Een kleine fout in een drukke foto valt niet op.
• De test: De onderzoekers lieten de programma's kijken naar fouten in een rustig vlak én in een druk, textuurrijk vlak.
• Het resultaat: Veel programma's zagen de fouten overal even goed. Ze hadden geen "oog" voor de context. Maar de slimme, moderne programma's (die op kunstmatige intelligentie draaien, zoals LPIPS) begrepen het: "Oh, hier is het bos druk, die kleine steen zie ik niet." Ze waren heel goed in het begrijpen van deze verstopping.

Test C: De "Kleur- en Bewegings-illusie" (Matching)

Soms lijkt een kleur of een beweging in een foto "even groot" als een andere, ook al zijn ze technisch verschillend.

• Het menselijk oog: Als je een heel heldere kleur ziet, lijkt hij voor ons oog "even groot" als een minder heldere kleur op een andere plek. Ons brein past het beeld aan.
• De test: Kijken of de programma's deze aanpassing begrijpen.
• Het resultaat: Hier faalden bijna alle programma's. Ze zagen de technische verschillen, maar begrepen niet dat ons brein die verschillen "weggladstrijkt" bij heldere beelden. Ze waren te star.

2. Wat hebben ze ontdekt? (De grote verrassingen)

De onderzoekers hebben 34 verschillende programma's getest. Hier zijn de leukste ontdekkingen:

• De "Oude Klok" (SSIM): Dit is een beroemd programma, maar het blijkt dat het te veel waarde hecht aan de allerfijnste details (zoals een heel fijne ruit), terwijl mensen die vaak niet eens zien. Het is alsof je een auto beoordeelt op de kleur van de schroeven, terwijl je de wielen mist.
• De "Kunstenaars" (LPIPS & DISTS): Deze programma's, die op AI zijn getraind, hebben nooit geleerd over deze oog-tests. Toch blijken ze heel goed te begrijpen hoe ons oog "verstopte schatten" ziet (masking). Het is alsof ze door pure ervaring hebben begrepen hoe ons brein werkt, zonder dat ze het expliciet hebben geleerd.
• De "Video-Meester" (VMAF): Dit is het programma dat Netflix en anderen gebruiken. Het werkt goed, maar het ziet alleen de grote fouten. Als de fout heel klein is (net onder de drempel), ziet hij die niet. Hij mist de subtiele nuances.
• De "Kleur-Blinden": Veel programma's die kleuren moeten beoordelen, maken een enorme fout. Ze denken dat een grote kleurverschil net zo erg is als een klein verschil, terwijl ons oog dat bij heldere kleuren juist minder erg vindt.

3. Waarom is dit belangrijk?

Vroeger zeiden we: "Als het programma zegt dat de kwaliteit goed is, dan is het goed."
Dit onderzoek zegt: "Niet zo snel. Laten we eerst kijken of het programma begrijpt hoe we kijken."

Het is alsof je een chef-kok wilt beoordelen. Je kunt vragen aan de gasten of het lekker smaakt (de menselijke mening), maar het is ook slim om te kijken of de kok de basisregels van de keuken kent (hoe de smaakpapillen werken).

De conclusie in het kort:
Deze nieuwe testmethode is een soort "spiegel" voor de software. Het laat zien welke programma's echt begrijpen hoe ons oog werkt en welke programma's gewoon maar gokken. Het helpt ontwikkelaars om betere programma's te maken, zodat we in de toekomst minder last hebben van beelden die er voor de computer goed uitzien, maar voor ons oog juist slecht zijn.

En het beste nieuws? De onderzoekers hebben hun testmethode openbaar gemaakt, zodat iedereen het kan gebruiken om zijn eigen software te testen!

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Evaluating quality metrics through the lenses of psychophysical measurements of low-level vision", vertaald en samengevat in het Nederlands.

Probleemstelling

Objectieve beeld- en videokwaliteitsmetrieken (zoals PSNR, SSIM, LPIPS en VMAF) worden veel gebruikt om de waargenomen visuele kwaliteit te voorspellen. Hoewel deze metrieken vaak worden gevalideerd op basis van hun correlatie met subjectieve menselijke beoordelingen (zoals Mean Opinion Scores of JND/JOD-schalen), hebben ze een fundamenteel tekort:

• Ze modelleren zelden expliciet de principes van het menselijk visuele systeem.
• De meeste vertrouwen op handgemaakte formules of datagedreven training om perceptuele uitlijning te benaderen, zonder inzicht te geven in waarom ze zich op een bepaalde manier gedragen.
• Correlatie met subjectieve scores is gevoelig voor variabiliteit tussen waarnemers, experimentele ruis en verschillen in datasets, wat beperkt inzicht biedt in de onderliggende kenmerken van de metriek.

Er is een behoefte aan een evaluatiemethode die de interne werking van deze metrieken test tegenover de fundamentele, goed bestudeerde eigenschappen van het menselijk gezichtsvermogen op het niveau van "low-level vision" (laag niveau visie).

Methodologie

De auteurs introduceren een evaluatiekader dat klassieke psychofysische experimenten nabootst om te testen hoe goed een metriek reageert op gecontroleerde stimuli. In plaats van te kijken naar willekeurige afbeeldingen, worden specifieke patronen gebruikt die zijn gekalibreerd in fysieke eenheden (luminantie in cd/m², hoekresolutie in graden).

Het kader bestaat uit twee hoofdcategorieën van tests:

1. Detectietests (Detection Tests):

   • Doel: Meten of een metriek kan detecteren wanneer een patroon aanwezig is op een uniforme achtergrond.
   • Testen:
     • Contrastdetectie: Een Gabor-patch met variërende ruimtelijke frequenties en contrasten op een uniforme achtergrond. De resultaten worden vergeleken met de Contrast Sensitivity Function (CSF).
     • Contrastmaskering: Een masker (sinusgolf of ruis) wordt toegevoegd om te zien hoe dit de detectie van een testpatroon beïnvloedt. Dit omvat zowel fase-coherente als fase-incoherente maskering.
     • Flikkerdetectie (Flicker): Tijdsgemoduleerde patronen om de gevoeligheid voor tijdelijke veranderingen (flikkeren) te testen, vergeleken met de Temporal Contrast Sensitivity Function (TCSF).

2. Contrastmatching-tests (Contrast Matching Tests):

   • Doel: Meten of een metriek de waargenomen grootte van contrast correct weergeeft, zelfs als het contrast boven de detectiedrempel ligt (supra-drempel).
   • Testen:
     • Ruimtelijke frequentie: Het vinden van het testcontrast dat visueel gelijk is aan een referentiecontrast over verschillende frequenties. Dit test het fenomeen van contrastconstantheid (waarbij waargenomen contrast minder varieert bij hoge contrasten).
     • Kleerrichting: Het matchen van contrast tussen achromatische (grijs), rood-groen en geel-violet richtingen om de kleurgevoeligheid te testen.

Evaluatiematen:
Naast visuele plots (contourplots) worden twee samenvattende statistieken berekend:

• Alignment Score (AS): Voor detectietests, meet hoe goed de voorspellingen van de metriek overeenkomen met de menselijke drempels.
• RMSE (Root Mean Square Error): Voor matching-tests, meet de nauwkeurigheid van de voorspelling ten opzichte van de menselijke data.

Belangrijkste Bijdragen

• Nieuw Evaluatiekader: Een open-source framework dat psychofysisch gemotiveerde stimuli gebruikt om de lage-niveau visuele eigenschappen van bestaande en nieuwe metrieken te analyseren.
• Uitgebreide Vergelijking: Toepassing van deze tests op 34 bestaande full-reference metrieken, waaronder traditionele (PSNR, SSIM), kleurgebaseerde, deep-learning gebaseerde (LPIPS, DISTS) en videometrieken (VMAF).
• Interpreteerbaar Inzicht: Het biedt een gestructureerde manier om de "black box" van deep-learning metrieken te doorgronden door hun reactie op gecontroleerde stimuli te analyseren, zonder afhankelijk te zijn van grote subjectieve datasets.

Resultaten en Analyse

De tests onthulden specifieke sterke en zwakke punten van verschillende metriekfamilies:

1. Contrastdetectie (CSF):

   • SSIM toont een onjuiste hoogdoorlaat (high-pass) respons; het benadrukt te veel hoge ruimtelijke frequenties en onderschat middenfrequenties.
   • MS-SSIM verbetert dit door een multi-schaal aanpak die dichter bij de band-pass respons van de menselijke CSF ligt.
   • Deep Learning (LPIPS, DISTS) vertonen een duidelijke band-pass respons, maar de piekgevoeligheid ligt vaak op de verkeerde frequenties.
   • ColorVideoVDP presteert het beste omdat het expliciet is gebouwd op een CSF-model (castleCSF).

2. Contrastmaskering:

   • Veel traditionele metrieken (zoals PSNR, SSIM) tonen weinig tot geen gevoeligheid voor maskering.
   • Deep Learning-metrieken (LPIPS, DISTS) presteren verrassend goed in het modelleren van maskeringseffecten, zelfs zonder training op deze specifieke data. Ze tonen een "dipper-effect" (verminderde maskering bij lage contrasten) dat overeenkomt met menselijke waarneming, vooral bij fase-incoherente maskering.
   • VMAF toont maskeringseffecten alleen bij zeer hoge (supra-drempel) contrasten, wat suggereert dat het vooral is getraind op duidelijk zichtbare vervormingen.

3. Flikkerdetectie (Tijdelijke):

   • De meeste videometrieken falen in het voorspellen van de menselijke gevoeligheid voor flikkeren (piek bij 8 Hz).
   • Alleen FovVideoVDP en ColorVideoVDP slaagden erin de juiste band-pass respons te voorspellen. Andere metrieken gebruiken vaak te korte tijdsvensters om verschillende frequenties te onderscheiden.

4. Supra-drempel Contrastconstantheid:

   • Een cruciale bevinding is dat geen enkele van de geteste metrieken het fenomeen van "contrast constancy" correct modelleert. Mensen ervaren bij hoge contrasten weinig verschil in waargenomen contrast tussen verschillende frequenties (de curve wordt plat).
   • De meeste metrieken behouden hun frequentie-afhankelijkheid ook bij hoge contrasten, wat betekent dat ze de menselijke perceptie op dit punt niet nabootsen.

5. Kleurrichting:

   • Kleurmetrieken zoals CIEDE2000 en HyAB zijn te gevoelig voor achromatisch contrast en onderschatten chromatische verschillen bij grote contrasten.
   • ColorVideoVDP en FSIMc presteren het beste in het balanceren van contrast over verschillende kleurrichtingen.

Betekenis en Conclusie

De studie concludeert dat de huidige standaard voor het evalueren van kwaliteitsmetrieken (correlatie met MOS) onvoldoende is om inzicht te krijgen in de fundamentele beperkingen van deze algoritmen.

• Diep leren werkt verrassend goed: Zelfs metrieken die niet zijn getraind op psychofysische data (zoals LPIPS) tonen vaak een betere overeenkomst met menselijke waarneming van maskering dan traditionele formules.
• Bestaande fouten: Populaire metrieken zoals SSIM en VMAF hebben specifieke, meetbare tekortkomingen in het modelleren van lage-niveau visie (bijv. SSIM's bias naar hoge frequenties, VMAF's gebrek aan maskering bij lage contrasten).
• Toekomstige richting: Het voorgestelde framework biedt ontwikkelaars een hulpmiddel om nieuwe metrieken te debuggen en te verbeteren door te kijken naar hun gedrag onder gecontroleerde psychofysische omstandigheden, in plaats van alleen te vertrouwen op "black-box" correlatiescores.

De auteurs hebben een open-source framework beschikbaar gesteld om deze tests voor de gemeenschap toegankelijk te maken.