Position: Evaluation of Visual Processing Should Be Human-Centered, Not Metric-Centered

Dit standpuntspaper pleit ervoor dat de evaluatie van moderne visuele verwerkingssystemen minder gericht moet zijn op enkele objectieve beeldkwaliteitsmetrieken en meer op menselijke perceptie en context om innovatie te stimuleren en onderzoek te sturen.

De kern

Stel je voor dat je een kok bent die de lekkerste soep ter wereld maakt. Maar in plaats van dat mensen de soep proeven en zeggen of ze hem lekker vinden, wordt je beloond op basis van een thermometer die alleen meet hoe heet de soep is.

Als je de soep 100 graden maakt, win je de prijs. Maar als je de soep 90 graden maakt en hij is dan veel lekkerder, verlies je. En zo is het ook gegaan met de wereld van beeldherstel (het verbeteren van oude, wazige foto's) in de kunstmatige intelligentie.

Dit artikel is een roep om de boel te hervormen. Hier is wat er gebeurt, verteld in gewone taal:

1. De oude manier: De "Rustieke Thermometer"

Jarenlang keken wetenschappers naar cijfers om te zien of hun nieuwe software goed was. Ze gebruikten meetlatjes zoals PSNR en SSIM.

• De analogie: Dit is alsof je een schilderij beoordeelt op basis van hoeveel verf er precies op de doek zit, in plaats van of het schilderij mooi is.
• Het probleem: Deze meetlatjes houden van "perfecte" lijntjes en kleuren die exact overeenkomen met het origineel. Maar als je een oude foto wilt repareren, wil je vaak nieuwe details toevoegen die er niet waren (zoals de textuur van een huid of haren op een dier). De oude meetlatjes vinden dat "fout" en geven een slechte score, terwijl het voor een mens juist veel mooier en realistischer oogt.

2. De nieuwe manier: De "Creatieve Kunstenaar"

Vandaag de dag gebruiken we slimme AI's (zoals GANs en Diffusiemodellen) die kunnen "dromen" en nieuwe details kunnen bedenken.

• De analogie: Stel je voor dat een AI een oude, wazige foto van een hond ziet. De oude software probeert de wazigheid weg te halen door de hond scherp te maken, maar hij ziet eruit als een plastic pop. De nieuwe AI "droomt" de haren van de hond erbij. Hij ziet eruit als een echte hond.
• De botsing: De oude meetlatjes zeggen: "Die AI heeft de hond niet perfect nagemaakt, hij heeft er haren bijgedroomd die er niet in de originele foto stonden. Slechte score!" De mens zegt: "Wow, die hond ziet er eindelijk echt uit! Geweldig!"

3. Het gevaar: Het spelletje "Cijfers optimaliseren"

Omdat wetenschappers beloond worden voor hoge cijfers, beginnen ze hun software te "cheaten".

• De analogie: Het is alsof de kok de thermometer op 100 graden zet door er een hete steen in de soep te gooien. De thermometer zegt "Perfect!", maar als je de soep proeft, is hij verbrand en onsmakelijk.
• In de wereld van AI betekent dit dat modellen soms foto's maken die eruitzien alsof ze met een scherp mes zijn bewerkt (te scherpe randen, rare patronen) puur om de cijfers te verhogen. Voor het menselijk oog zien deze foto's er vaak onnatuurlijk en zelfs lelijk uit.

4. De oplossing: Laat de mensen proeven!

De auteurs van dit artikel zeggen: "Stop met blindelings naar de thermometer te kijken."

• De nieuwe regel: We moeten de menselijke mening weer centraal stellen.
• Hoe? Niet door één cijfer te geven, maar door te kijken naar context.
  • Is het een foto van een gezicht? Dan moet de neus er goed uitzien.
  • Is het een tekenfilm? Dan moet de stijl behouden blijven.
  • Is het een landschap? Dan moeten de bomen er natuurlijk uitzien.
• Een enkele score (zoals "85 punten") zegt niets over of de foto echt mooi is. We hebben een multidimensionale beoordeling nodig, waarbij echte mensen kijken en zeggen: "Dit voelt goed aan."

Samenvattend

De boodschap is simpel: Kwaliteit is iets dat mensen voelen, niet iets dat computers berekenen.

We moeten stoppen met de AI's te dwingen om te spelen met cijfers die ze niet begrijpen, en ze in plaats daarvan laten werken voor de mensen die de foto's uiteindelijk gaan bekijken. Laat de "thermometer" een hulpmiddel zijn, maar niet de baas. De echte winnaar is degene die de mooiste, meest natuurlijke foto maakt, niet degene met het hoogste cijfer op een spreadsheet.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het position paper "Evaluation of Visual Processing Should Be Human-Centered, Not Metric-Centered" in het Nederlands.

Probleemstelling

Het artikel identificeert een fundamentele discrepantie tussen de huidige evaluatiemethoden voor beeldverwerkingssystemen (zoals beeldherstel en super-resolutie) en de menselijke waarneming. Hoewel objectieve beeldkwaliteitsmetingen (Image Quality Assessment - IQA) zoals PSNR, SSIM en LPIPS decennialang de standaard zijn geweest voor het beoordelen van algoritmen, vertonen deze metrics een toenemende misvatting in het tijdperk van generatieve modellen (zoals GANs en Diffusion-modellen).

De kern van het probleem is dat:

1. Metrics als doel zijn geworden: Onderzoekers optimaliseren vaak voor het maximaliseren van scores op benchmarks in plaats van voor daadwerkelijke visuele kwaliteit of gebruikersvoorkeur.
2. Mismatch met generatieve modellen: Generatieve modellen synthetiseren hoogfrequente details en semantisch plausibele structuren die vaak afwijken van de "ground truth". Traditionele metrics (die gebaseerd zijn op pixel-nauwkeurigheid of eenvoudige feature-similariteit) straffen deze creatieve afwijkingen af, terwijl ze soms onnatuurlijke, over-scherpe of "hallucinerende" resultaten belonen die numeriek hoog scoren maar visueel onaangenaam zijn.
3. Gebrek aan nuance: Huidige evaluaties reduceren complexe visuele ervaringen tot één enkel getal, wat leidt tot een verlies van informatie over specifieke scenario's (bijv. gezichten vs. texturen) en semantische correctheid.

Methodologie en Analyse

De auteurs baseren hun positie op een uitgebreide analyse van de evolutie van beeldherstelmodellen (van SRCRC tot moderne Diffusion-modellen) en de bijbehorende IQA-metrics.

• Trendanalyse: De auteurs analyseren de prestaties van verschillende modelcategorieën (PSNR-georiënteerd, GAN, Diffusion) op benchmarks zoals SRIQA. Ze tonen aan dat terwijl Diffusion-modellen visueel superieur zijn (beter detail, realistische texturen), ze vaak slechter scoren op PSNR/SSIM en soms zelfs op LPIPS dan GAN-modellen, ondanks dat ze menselijk als beter worden ervaren.
• Exploitatie van Metrics: Er wordt aangetoond dat moderne, leer-gebaseerde No-Reference (NR) metrics (zoals MUSIQ, MANIQA, CLIP-IQA) kwetsbaar zijn voor manipulatie. Simpele bewerkingen zoals het toepassen van onsharp masking (USM) of het vermijden van anti-aliasing kunnen de scores kunstmatig verhogen zonder de visuele kwaliteit te verbeteren.
• User Studies en Scenario-Awareness: De paper presenteert resultaten van user studies die aantonen dat gebruikersvoorkeuren sterk variëren per semantisch scenario. Een model dat goed scoort op "straatgezichten" kan slecht presteren op "cartoons" of "handgetekende illustraties". Aggregatie van deze scores naar één totaalresultaat maskeert deze belangrijke verschillen.
• Schalingskloof: Er wordt een vergelijking gemaakt tussen de schaal van IQA-modellen en restauratiemodellen. Restauratiemodellen (zoals SUPIR, HYPIR) worden getraind op tientallen miljoenen afbeeldingen met hoge resoluties en hebben miljarden parameters. IQA-modellen daarentegen worden vaak getraind op datasets met slechts enkele duizenden tot honderdduizenden afbeeldingen en hebben veel kleinere architecturen, wat hun vermogen beperkt om de complexiteit van moderne generatieve output te beoordelen.

Belangrijkste Bijdragen

1. Paradigmaverschuiving: De auteurs pleiten voor een fundamentele verschuiving van een "metric-centered" naar een "human-centered" evaluatieparadigma. Metrics moeten dienen als hulpmiddelen, niet als de ultieme waarheid of het enige doel van onderzoek.
2. Contextbewuste Evaluatie: Er wordt gepleit voor evaluatie die rekening houdt met het specifieke toepassingsdomein. Voor veiligheidskritieke domeinen (medische beeldvorming) kunnen objectieve metrics nog relevant zijn, maar voor perceptuele taken moet menselijke voorkeur leidend zijn.
3. Multi-dimensionale Analyse: In plaats van één score, moet evaluatie gedetailleerd zijn en verschillende dimensies scheiden: semantische correctheid, detailrealisme, scherpte, natuurlijkheid en stijlconsistentie.
4. Aanpak van de "Over-generatie": De paper introduceert het concept dat moderne modellen de uitdaging hebben verschoven van "onvoldoende detail" naar "te veel detail" (over-scherping, hallucinaties). Huidige metrics kunnen dit onderscheid niet maken.
5. Toekomstvisie voor IQA: De auteurs stellen dat IQA zelf moet evolueren door:
   • Grotere datasets en schaal (nabij die van generatieve modellen).
   • Integratie van Large Language Models (LLM) en Vision-Language Models (zoals Q-ALIGN, DeQA) voor semantisch begrip.
   • Het ontwikkelen van uitlegbare, gestructureerde feedback in plaats van enkelvoudige scores.

Resultaten en Observaties

• Visuele vs. Numerieke Prestaties: Figuren in de paper tonen aan dat Diffusion-modellen visueel superieure resultaten leveren (bijv. betere gezichtsstructuur, textuur) dan PSNR-georiënteerde modellen, maar dat metrics dit vaak niet weerspiegelen of zelfs GAN-modellen boven Diffusion-modellen plaatsen.
• Vulnerabiliteit: Simpele beeldmanipulaties kunnen leiden tot significante stijgingen in NR-IQA scores (MUSIQ, MANIQA, CLIP-IQA), wat aantoont dat deze metrics vaak "high-frequency content" verwarren met "kwaliteit".
• Scenario-afhankelijkheid: In een vergelijking tussen SUPIR (Diffusion) en HAT (Transformer) bleek dat SUPIR over het algemeen werd geprefereerd, maar dat HAT duidelijk beter scoorde bij handgetekende en cartoon-achtige scènes. Een enkel totaalresultaat zou dit nuanceverlies hebben veroorzaakt.
• Adoptie: Hoewel PSNR en SSIM nog steeds bijna universeel worden gerapporteerd (96% en 84% adoptie), neemt het gebruik van menselijke evaluatie en geavanceerdere metrics langzaam toe, maar nog niet systematisch genoeg.

Significantie

Deze paper is van cruciaal belang voor de toekomst van het computer vision-veld omdat:

• Het waarschuwt voor het gevaar dat onderzoek vastloopt in een "numbers game" waarbij innovatie wordt gestremd door het streven naar metrics die niet langer relevant zijn.
• Het de weg vrijmaakt voor een nieuw soort evaluatie die beter aansluit bij de realiteit van generatieve AI, waarbij semantische coherentie en esthetische voorkeur centraal staan.
• Het onderzoeksgemeenschap oproept om menselijke evaluatie (user studies) niet langer als een optionele "bijlage" te zien, maar als een kernonderdeel van de methodologie, mogelijk gemaakt door schaalbare en reproduceerbare protocollen.
• Het de ontwikkeling van nieuwe generaties IQA-tools stimuleert die semantisch bewust zijn en in staat zijn om contextuele nuances (zoals bewuste onscherpte vs. vervorming) te begrijpen.

Kortom, de paper concludeert dat voor beeldherstel dat gericht is op menselijke waarneming, de mens de maatstaf moet zijn, en niet de metric.