Learning Where to Look and How to Judge: Resolution-agnostic Image Quality Assessment with Quality-aware Saliency

Stel je voor dat je een jurylid bent bij een talentenjacht, maar in plaats van zangers en dansers te bekijken, beoordeel je de kwaliteit van foto's. Je taak is om naar een foto te kijken en te beslissen: "Is deze wazig? Is het kleurgebruik vreemd? Is het gewoon een slechte foto?" Dit is de wereld van Image Quality Assessment (IQA). Lange tijd hadden computers hier moeite mee omdat ze geen "ogen" hadden zoals mensen. Ze moesten geleerd worden wat een "goede" foto is.

In het verleden probeerden wetenschappers computers te leren door ze miljoenen foto's te laten zien en te vragen: "Hoe erg vind je deze?" De antwoorden worden "Mean Opinion Scores" (MOS) genoemd, wat in feite gemiddelde beoordelingen zijn van echte mensen. Maar hier komt het lastige deel: computers zijn kieskeurig. Als je een computer traint om kleine, laag-resolutie foto's te beoordelen (zoals die op een telefoonscherm), raakt hij vaak in de war wanneer je hem een gigantische, ultra-high-definition foto van een professionele camera laat zien. Het is alsof je een kind leert een hond te herkennen met behulp van alleen maar plastic speelgoedhonden; wanneer ze een echte, reusachtige hond zien, weten ze niet meer wat ze moeten doen. Bovendien kost het kijken naar elke afzonderlijke pixel van een enorme foto een enorme hoeveelheid computerkracht, alsof je elk woord in een bibliotheek probeert te lezen om één typefout te vinden. De grote vraag die wetenschappers proberen op te lossen is: Hoe kunnen we een computer-rechter bouwen die werkt op foto's van elke grootte, details opmerkt en geen supercomputer nodig heeft om de klus te klaren?

Maak kennis met ReLIQS, een nieuw model geïntroduceerd door onderzoekers Hakan Emre Gedik, Shashank Gupta en Alan Bovik. Denk aan ReLIQS niet als een robot die in één keer naar een hele foto staart, maar als een slimme detective met een vergrootglas en een kaart.

Het probleem met de "één-maat-past-iedereen"-aanpak

De meeste eerdere computer vision-modellen werken als een fotograaf die elke foto dwingt in een klein, vierkant kader voordat er naar gekeken wordt. Als je een gigantische, ultra-high-resolution foto hebt, perst de computer deze tot een kleine grootte om hem te laten passen. Het probleem? Wanneer je een foto samendrukt, verlies je de kleine, belangrijke details—de korrel van de ruis, de scherpte van de randen, de textuur van de stof. Het is alsof je de kwaliteit van een zijden overhemd beoordeelt door naar een wazige, gepixelde thumbnail ervan te kijken. Je mist misschien het feit dat de stof eigenlijk gescheurd is.

Andere modellen proberen de originele grootte te behouden, maar raken overweldigd. Het bekijken van een enorme afbeelding pixel voor pixel is zo duur en traag dat het voor echt gebruik praktisch onmogelijk is. Het is also het zoeken naar een specifieke naald in een hooiberg door elke strohalm één voor één te controleren.

Hoe ReLIQS het oplost: De "Slimme Detective"

ReLIQS verandert het spel door een strategie te gebruiken die Resolution-agnostic Learning wordt genoemd. In plaats van de hele foto samen te drukken of elke pixel te controleren, gebruikt het een driestaps "detective"-proces:

1. De Multi-Scale Map: Stel je voor dat je een foto hebt. ReLIQS bekijkt deze niet slechts één keer. Het maakt een paar kopieën van de foto: één op de originele gigantische grootte, één die een beetje is verkleind, en één die nog verder is verkleind. Het is alsof je een kaart van een stad bekijkt vanuit de ruimte, vanuit een vliegtuig en vanaf straatniveau. Elk gezichtspunt vertelt je iets anders. Het "straatniveau" (originele grootte) laat je de kleine scheurtjes en krassen zien. Het "ruimteperspectief" (verkleinde grootte) laat je de algemene lay-out en kleuren zien.

2. De "Waar te kijken"-radar: Dit is het meest creatieve deel. ReLIQS heeft een speciale hulpmodule (de Perceptual Importance Estimator) die werkt als een heatmap. Het scant de foto en vraagt: "Waar zullen mensen het meest een fout op merken?" Het leert dat mensen meer geven om het gezicht in een portret dan om de bomen op de achtergrond, of dat een wazige lucht irritant is maar een wazige hoek misschien oké is. Deze module tekent een kaart van "belangrijkheid". Het is als een spotlight die alleen schijnt op de delen van de foto die er echt toe doen voor de kwaliteit.

3. De Slimme Steekproef: In plaats van elk deel van de foto te controleren, gebruikt ReLIQS die spotlight om alleen de belangrijkste delen te selecteren. Als de foto enorm is, controleert het misschien alleen de 48 meest interessante plekken in plaats van duizenden. Het is als een voedingscriticus die alleen de meest cruciale hapjes van een maaltijd proeft om te beslissen of het lekker is, in plaats van het hele bord leeg te eten. Dit bespaart een enorme hoeveelheid computerkracht.

Zodra het deze slimme fragmenten heeft gekozen, gebruikt het een krachtig voorgetraind brein (gebaseerd op een model genaamd CLIP) om ze te analyseren. Het combineert vervolgens al deze kleine aanwijzingen tot één enkele score, die precies vertelt hoe goed de afbeelding is.

Wat ze hebben gevonden

De onderzoekers hebben ReLIQS getest op een enorme variëteit aan foto's: echte snapshots, computergegenereerde beelden en foto's met kunstmatige verstoringen. Ze vergeleken het met de beste bestaande modellen, inclusief enkele die gebruikmaken van gigantische "Large Language Models" (AI die kan praten en zien).

• Het werkt op elke grootte: ReLIQS kon alles aan, van kleine foto's van een telefoon tot enorme Ultra-High-Definition (UHD) afbeeldingen, zonder in de war te raken. Terwijl andere modellen worstelden of faalden wanneer de afbeeldingsgrootte veranderde, hield ReLIQS de controle.
• Het is snel en goedkoop: Door alleen naar de "belangrijke" fragmenten te kijken, kon ReLIQS de computerkosten met wel 90% verlagen zonder aan nauwkeurigheid in te boeten. In tests op ultra-high-resolution afbeeldingen presteerde het beter dan modellen die specifiek voor die afbeeldingen zijn gebouwd, maar met veel minder rekenkracht.
• Het leert van veel bronnen: Het model is getraind op veel verschillende datasets (verzamelingen van foto's met menselijke beoordelingen). Meestal is het mengen van deze datasets moeilijk omdat mensen dingen verschillend beoordelen. ReLIQS vond een manier om van al deze bronnen tegelijkertijd te leren, waardoor het een veelzijdiger rechter werd.

Het eindoordeel

Het paper suggereert dat ReLIQS een belangrijke stap voorwaarts is omdat het het "resolutieprobleem" oplost zonder een supercomputer nodig te hebben. Het bewijst dat je niet naar alles hoeft te kijken om de kwaliteit te beoordelen; je moet alleen weten waar je moet kijken en hoe je moet oordelen over wat je daar ziet.

Hoewel het model ongelooflijk goed presteerde, merkt de auteur op dat het nog steeds iets achterloopt op sommige andere modellen bij een specif kind type AI-gegenereerde afbeeldingen (AGIQA-3K). Dit suggereert dat hoewel ReLIQS een meester is in het beoordelen van de echte wereld en standaard verstoringen, het misschien wat meer training nodig heeft om de unieke eigenaardigheden van volledig door AI gecreëerde afbeeldingen te begrijpen.

Kortom, ReLIQS is als een hoogopgeleide kunstcriticus die niet urenlang naar een schilderij hoeft te staren of naar een kleine thumbnail hoeft te turen. Ze weten precies waar ze moeten kijken, ze begrijpen de context, en ze kunnen in een flits een perfecte beoordeling geven. Deze aanpak kan hoogwaardige beeldanalyse mogelijk maken op alledaagse apparaten, van je telefoon tot je slimme camera, zonder dat er een massaal datacenter op de achtergrond nodig is.