Learning Where to Look and How to Judge: Resolution-agnostic Image Quality Assessment with Quality-aware Saliency

Stellen Sie sich vor, Sie sind ein Juror bei einer Talentshow, aber anstatt Sänger und Tänzer zu bewerten, beurteilen Sie die Qualität von Fotografien. Ihre Aufgabe ist es, ein Bild zu betrachten und zu entscheiden: „Ist es unscharf? Ist die Farbe seltsam? Ist es einfach nur ein schlechtes Foto?“ Dies ist die Welt der Bildqualitätsbewertung (Image Quality Assessment, IQA). Lange Zeit hatten Computer damit zu kämpfen, weil sie keine „Augen“ wie Menschen hatten. Sie mussten erst lernen, was ein „gutes“ Foto ausmacht.

In der Vergangenheit versuchten Wissenschaftler, Computern etwas beizubringen, indem sie ihnen Millionen von Fotos zeigten und fragten: „Wie sehr magst du dieses hier?“ Die Antworten werden als „Mean Opinion Scores“ (MOS) bezeichnet, was im Grunde Durchschnittsbewertungen von echten Menschen sind. Aber hier liegt der Haken: Computer sind wählerisch. Wenn man einen Computer darauf trainiert, kleine, niedrig aufgelöste Fotos zu bewerten (wie die, die man auf einem Smartphone-Bildschirm sieht), gerät er oft durcheinander, wenn man ihm ein riesiges, ultrahochauflösendes Foto aus einer Profikamera zeigt. Es ist, als würde man ein Kind lehren, einen Hund anhand von Spielzeug-Plastikhunden zu erkennen; wenn es dann einen echten, riesigen Hund sieht, weiß es vielleicht nicht mehr weiter. Zudem ist das Betrachten jedes einzelnen Pixels eines massiven Fotos extrem rechenintensiv – es ist, als würde man jedes einzelne Wort in einer Bibliothek lesen wollen, nur um einen einzigen Tippfehler zu finden. Die große Frage, die Wissenschaftler zu lösen versuchen, lautet: Wie können wir einen Computer-Juror bauen, der auf Fotos jeder Größe funktioniert, winzige Details bemerkt und keinen Supercomputer benötigt, um seinen Job zu erledigen?

Hier kommt ReLIQS ins Spiel, ein neues Modell, das von den Forschern Hakan Emre Gedik, Shashank Gupta und Alan Bovik vorgestellt wurde. Stellen Sie sich ReLIQS nicht als einen Roboter vor, der ein ganzes Bild auf einmal anstarrt, sondern als einen cleveren Detektiv mit einer Lupe und einer Karte.

Das Problem mit dem „Einheitsansatz“

Die meisten bisherigen Computer-Vision-Modelle arbeiten wie ein Fotograf, der jedes Foto in einen winzigen, quadratischen Rahmen presst, bevor er es betrachtet. Wenn Sie ein riesiges, ultrahochauflösendes Foto haben, staucht der Computer es auf eine kleine Größe zusammen, damit es hineinpasst. Das Problem dabei? Wenn man ein Foto staucht, verliert man die winzigen, wichtigen Details – das Korn des Rauschens, die Schärfe der Kanten, die Textur des Stoffes. Es ist, als würde man die Qualität eines Seidenhemdes beurteilen, indem man nur auf ein verschwommenes, verpixeltes Vorschaubild davon schaut. Man übersieht vielleicht, dass der Stoff tatsächlich zerrissen ist.

Andere Modelle versuchen, die Originalgröße beizubehalten, werden aber überfordert. Das Betrachten eines massiven Bildes Pixel für Pixel ist so teuer und langsam, dass es für die reale Anwendung praktisch unmöglich ist. Es ist, als würde man versuchen, eine bestimmte Nadel in einem Heuhaufen zu finden, indem man jeden einzelnen Strohhalm einzeln überprüft.

Wie ReLIQS es löst: Der „clevere Detektiv“

ReLIQS verändert das Spiel durch eine Strategie namens Resolution-agnostic Learning (auflösungsunabhängiges Lernen). Anstatt das ganze Foto zu stauchen oder jedes einzelne Pixel zu prüfen, nutzt es einen dreistufigen „Detektiv“-Prozess:

1. Die Multi-Scale-Karte: Stellen Sie sich vor, Sie haben ein Foto. ReLIQS betrachtet es nicht nur einmal. Es erstellt einige Kopien des Fotos: eines in der ursprünglichen riesigen Größe, eines etwas geschrumpft und eines noch stärker geschrumpft. Es ist, als würde man eine Stadtkarte aus dem Weltraum, aus einem Flugzeug und von der Straßenebene aus betrachten. Jede Ansicht verrät einem etwas anderes. Die „Straßenebene“ (Originalgröße) zeigt Ihnen die winzigen Risse und Kratzer. Die „Weltraumansicht“ (geschrumpfte Größe) zeigt Ihnen das allgemeine Layout und die Farben.

2. Das „Wo man hinschauen muss“-Radar: Dies ist der kreativste Teil. ReLIQS besitzt ein spezielles Hilfsmodul (den sogenannten Perceptual Importance Estimator), das wie eine Heatmap fungiert. Es scannt das Foto und fragt: „Wo würden Menschen am ehesten einen Fehler bemerken?“ Es lernt, dass Menschen mehr Wert auf das Gesicht in einem Porträt legen als auf die Bäume im Hintergrund, oder dass ein verschwommener Himmel zwar störend ist, ein verschwommener Randbereich aber okay sein kann. Dieses Modul zeichnet eine Karte der „Wichtigkeit“. Es ist wie ein Scheinwerfer, der nur auf die Teile des Fotos leuchtet, die für die Qualität tatsächlich relevant sind.

3. Das intelligente Sampling: Anstatt jeden Patch (Bildabschnitt) des Fotos zu prüfen, nutzt ReLIQS diesen Scheinwerfer, um nur die wichtigsten Patches auszuwählen. Wenn das Foto riesig ist, prüft es vielleicht nur die 48 interessantesten Stellen anstatt tausender. Es ist wie ein Food-Kritiker, der nur die entscheidenden Bissen einer Mahlzeit probiert, um zu entscheiden, ob sie gut ist, anstatt den ganzen Teller zu essen. Dies spart eine enorme Menge an Rechenleistung.

Sobし diese intelligenten Patches ausgewählt wurden, nutzt ReLIQS ein leistungsstarkes, vortrainiertes Gehirn (basierend auf einem Modell namens CLIP), um sie zu analysieren. Es kombiniert dann all diese winzigen Hinweise zu einem einzigen Score, der genau angibt, wie gut das Bild ist.

Was sie herausgefunden haben

Die Forscher testeten ReLIQS an einer riesigen Vielfalt von Fotos: echte Schnappschüsse, computergenerierte Bilder und Fotos mit künstlich erzeugten Störungen. Sie verglichen es mit den besten bestehenden Modellen, einschließlich einiger, die riesige „Large Language Models“ (KI, die sprechen und sehen kann) verwenden.

• Es funktioniert bei jeder Größe: ReLIsQS bewältigte alles – von kleinen Handyfotos bis hin zu massiven Ultra-High-Definition-Bildern (UHD) – ohne durcheinanderzukommen. Während andere Modelle Schwierigkeiten hatten oder versagten, wenn sich die Bildgröße änderte, blieb ReLIQS gelassen.
• Es ist schnell und kostengünstig: Durch das Betrachten nur der „wichtigen“ Patches konnte ReLIQS seine Rechenkosten um bis zu 90 % senken, ohne an Genauigkeit zu verlieren. In Tests mit ultrahochauflösenden Bildern schnitt es besser ab als Modelle, die speziell für diese Bilder entwickelt wurden, und das mit viel weniger Rechenleistung.
• Es lernt aus vielen Quellen: Das Modell wurde mit vielen verschiedenen Datensätzen (Sammlungen von Fotos mit menschlichen Bewertungen) trainiert. Normalerweise ist das Mischen dieser Datensätze schwierig, da Menschen Dinge unterschiedlich bewerten. ReLIQS fand einen Weg, aus all ihnen gleichzeitig zu lernen, wodurch es zu einem vielseitigeren Richter wurde.

Das Urteil

Die Arbeit legt nahe, dass ReLIQS ein bedeutender Schritt nach vorn ist, da es das „Auflösungsproblem“ löst, ohne einen Supercomputer zu benötigen. Es beweist, dass man nicht alles ansehen muss, um die Qualität zu beurteilen; man muss nur wissen, wo man hinschauen muss und wie man das beurteilt, was man dort sieht.

Obwohl das Modell unglaublich gut abschnitt, merkt die Autorenschaft an, dass es bei einer bestimmten Art von KI-generierten Bildern (AGIQA-3K) immer noch leicht hinter anderen Modellen zurückbleibt. Dies deutet darauf hin, dass ReLIQS zwar ein Meister darin ist, reale und standardmäßige Störungen zu beurteilen, aber vielleicht noch etwas mehr Training benötigt, um die einzigartigen Eigenheiten von Bildern zu verstehen, die vollständig von KI erstellt wurden.

Kurz gesagt: ReLIQS ist wie ein hochgradig ausgebildeter Kunstkritiker, der nicht stundenlang ein Gemälde anstarren oder auf ein winziges Vorschaubild kneifen muss. Er weiß genau, wo er hinschauen muss, er versteht den Kontext und er kann in einem Augenblick eine perfekte Bewertung abgeben. Dieser Ansatz könnte eine hochwertige Bildanalyse auf alltäglichen Geräten – von Ihrem Telefon bis zu Ihrer intelligenten Kamera – möglich machen, ohne dass im Hintergrund ein riesiges Rechenzentrum nötig ist.