Position: Evaluation of Visual Processing Should Be Human-Centered, Not Metric-Centered

Dieses Positionspapier fordert, dass die Evaluierung moderner visueller Verarbeitungssysteme weg von einer rein metrikzentrierten hin zu einer menschenzentrierten, kontextbewussten und feinkörnigen Bewertung orientiert werden sollte, um die Kluft zwischen objektiven Qualitätsmaßen und menschlicher Wahrnehmung zu überbrücken.

Das Wesentliche

Hier ist eine einfache Erklärung der Positionspapier, als würde man es einem Freund beim Kaffee erklären, ohne Fachjargon.

Das Hauptproblem: Der falsche Richter im Gerichtssaal

Stell dir vor, du bist ein Koch, der die leckersten Gerichte der Welt kocht. Aber dein Bewertungssystem ist nicht der Geschmackssinn deiner Gäste, sondern eine Waage, die nur zählt, wie viele Gramm Zutaten du verwendet hast.

Das ist genau das Problem, das die Autoren dieses Papiers ansprechen. In der Welt der Bildverarbeitung (wie beim Reparieren von alten Fotos oder beim Erstellen neuer Bilder durch KI) wird alles nur noch nach Zahlen bewertet. Wir schauen auf Metriken wie PSNR oder SSIM. Das sind komplexe Formeln, die berechnen, wie ähnlich ein neues Bild einem Originalbild ist.

Die Metapher:
Stell dir vor, du hast ein verpixeltes, unscharfes Foto von deinem Hund.

• Die alte KI (Zahlen-Optimierer): Sie macht das Bild so scharf wie möglich, aber sie fügt keine neuen Details hinzu. Das Ergebnis ist ein glattes, verschwommenes Bild. Die "Zahlen-Waage" sagt: "Perfekt! Es sieht dem Original fast identisch aus!"
• Die moderne KI (Kreativ-Koch): Sie nutzt ihre Intelligenz, um das Fell des Hundes neu zu malen, die Augen glänzend zu machen und die Pfoten detailliert zu zeichnen. Das Bild sieht für uns Menschen fantastisch aus! Aber die "Zahlen-Waage" sagt: "Fehler! Das Fell sieht nicht exakt so aus wie im Original. Die Zahl ist schlechter!"

Warum das gefährlich ist

Die Autoren sagen: Wir haben uns verirrt.

Weil Forscher und KI-Entwickler unter Druck stehen, diese Zahlen zu verbessern, machen sie Dinge, die nur gut für die Statistik sind, aber schlecht für das menschliche Auge.

• Sie machen Bilder künstlich scharf (wie ein zu starker Filter auf Instagram), damit die Zahlen steigen.
• Sie vermeiden kreative Lösungen, weil diese oft die Zahlen verschlechtern, auch wenn das Bild schöner aussieht.

Es ist, als würde ein Architekt ein Haus bauen, das innen wunderschön ist, aber weil es eine andere Farbe hat als das alte Haus, bekommt er eine schlechte Bewertung. Niemand würde in so einem Haus wohnen wollen, aber der Architekt würde trotzdem weiter so bauen, weil er nur auf die Farbe achtet.

Die Lösung: Der Mensch muss das Urteil fällen

Die Autoren fordern einen Wechsel im System:

1. Menschen zuerst: Am Ende schauen Menschen auf die Bilder. Wenn ein Bild gut aussieht, ist es gut. Die KI sollte sich danach richten, wie Menschen empfinden (Schönheit, Realismus, Stimmung), nicht danach, wie gut eine Formel passt.
2. Kontext ist König: Ein Bild von einem Gemälde braucht andere Bewertungskriterien als ein Bild von einem medizinischen Röntgenbild.
   • Bei einem Röntgenbild (Sicherheit!) muss jedes Pixel exakt stimmen. Hier sind die Zahlen wichtig.
   • Bei einem Ferienfoto oder einem Kunstwerk zählt nur, ob es uns gefällt. Hier sind die alten Zahlen nutzlos.
3. Mehr als nur eine Zahl: Statt nur einen einzigen Score (wie "85 Punkte") zu geben, sollten wir detailliertes Feedback bekommen. "Das Gesicht sieht toll aus, aber der Hintergrund ist zu unscharf" oder "Die Farben sind zu grell".

Ein Beispiel aus dem Papier

Die Autoren zeigen, dass moderne KI-Modelle (die sogenannten "Diffusions-Modelle") Bilder erstellen können, die so realistisch sind, dass wir sie kaum von echten Fotos unterscheiden können. Aber die alten Bewertungs-Formeln hassen diese Bilder, weil sie zu viele neue Details enthalten, die im Original gar nicht waren.

Es ist, als würdest du einen neuen, besseren Motor in ein Auto einbauen. Der Motor ist schneller und leiser. Aber die Prüfstelle sagt: "Das Auto wiegt 2 kg mehr als das alte Modell. Das ist ein Fehler!" Das ist absurd.

Fazit

Die Botschaft ist klar: Zahlen sind nützliche Werkzeuge, aber sie sollten nicht die Meister sein.

Wir müssen aufhören, KI-Modelle nur zu trainieren, um in Tabellen oben zu stehen. Stattdessen müssen wir sie trainieren, um Bilder zu machen, die Menschen wirklich mögen und die für den jeweiligen Zweck (Kunst, Medizin, Alltag) passen. Die Forschung muss wieder "menschlich" werden, nicht nur "mathematisch".

Kurz gesagt: Ein Bild sollte nicht nach einer Formel aussehen, sondern nach einem Bild, das uns gefällt.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Positionspapiers „Evaluation of Visual Processing Should Be Human-Centered, Not Metric-Centered" auf Deutsch:

Titel der Arbeit

Evaluation of Visual Processing Should Be Human-Centered, Not Metric-Centered
(Die Bewertung visueller Verarbeitung sollte menschenzentriert und nicht metrikzentriert sein)

1. Problemstellung

Das Papier identifiziert eine fundamentale Diskrepanz zwischen der aktuellen akademischen Evaluierung von Bildverarbeitungsmodellen (insbesondere im Bereich der Bildrestauration und Super-Resolution) und der tatsächlichen menschlichen Wahrnehmung.

• Dominanz von Metriken: Seit dem Aufkommen des Deep Learning wird der Fortschritt in diesem Feld fast ausschließlich durch einzelne objektive Bildqualitätsmetriken (Image Quality Assessment, IQA) wie PSNR, SSIM und LPIPS gemessen. Diese Metriken dienen als primärer Treiber für die Veröffentlichung von Forschungsarbeiten und die Vergabe von Peer-Reviews.
• Verlust der Relevanz: Mit dem Übergang von deterministischen Methoden zu generativen Modellen (GANs, Diffusionsmodelle) haben sich die Ziele der Bildrestauration gewandelt. Es geht nicht mehr nur um die Minimierung von Pixel-Fehlern, sondern um die Synthese realistischer, semantisch korrekter und ästhetisch ansprechender Details.
• Die Diskrepanz: Objektive Metriken, die auf Pixel-Ähnlichkeit oder einfachen Merkmalsvergleichen basieren, korrelieren zunehmend schlecht mit dem menschlichen visuellen Urteil. Generative Modelle, die visuell überlegene Ergebnisse liefern, erhalten oft schlechtere Scores als überglättete, pixelgenaue Modelle. Dies führt zu einem „Goodhart's Law"-Effekt, bei dem Forscher Modelle optimieren, um Metriken zu maximieren, anstatt die tatsächliche visuelle Qualität zu verbessern.

2. Methodik und Analyse

Die Autoren führen keine neue Algorithmus-Entwicklung durch, sondern nutzen eine umfassende empirische Analyse und eine kritische Positionierung, um ihre Argumente zu untermauern:

• Trendanalyse (2014–2025): Es wird eine detaillierte Auswertung der Adoption von IQA-Metriken in führenden Restaurationsmodellen (von SRCNN bis zu HYPIR und SUPIR) durchgeführt (siehe Tabelle 1). Dies zeigt, dass PSNR und SSIM trotz ihrer Unzulänglichkeit für generative Aufgaben weiterhin dominieren.
• Vergleichende Evaluierung: Die Autoren vergleichen verschiedene Modellklassen (PSNR-orientiert, GAN-basiert, Diffusions-basiert) auf Benchmarks wie SRIQA. Sie analysieren, wie Metriken wie PSNR, SSIM, LPIPS sowie neuere no-reference Metriken (MUSIQ, MANIQA, CLIP-IQA) auf diese Modelle reagieren.
• Visuelle vs. Quantitative Bewertung: Durch Fallstudien (z. B. Architektur, Gesichter, Tierfell) wird demonstriert, wo Metriken versagen. Beispielsweise bewerten Metriken übermäßig scharfe oder halluzinierte Details oft höher als das Ground Truth (GT), obwohl sie für den Menschen unnatürlich wirken.
• Benutzerstudien: Es werden Szenario-spezifische Nutzerpräferenzen analysiert (z. B. Abbildung 5), die zeigen, dass die Präferenz für ein Modell stark vom semantischen Kontext (Handzeichnungen vs. Fotos) abhängt, was durch aggregierte Scores verschleiert wird.
• Skalenvergleich: Ein kritischer Punkt ist der Vergleich der Daten- und Modellgrößen zwischen IQA-Modellen und Restaurationsmodellen (Tabelle 2). Während Restaurationsmodelle auf Millionen von Bildern und Milliarden von Parametern trainiert werden, basieren IQA-Modelle oft auf kleinen, veralteten Datensätzen und kleineren Architekturen.

3. Schlüsselbeiträge

Das Papier formuliert mehrere zentrale Positionen und Beiträge:

1. Paradigmenwechsel gefordert: Die Evaluierung muss von einem metrikzentrierten Ansatz zu einem menschenzentrierten, kontextbewussten und feingranularen Ansatz wechseln. Metriken sollten Werkzeuge sein, nicht das Ziel.
2. Kritik an der „Metric-Overfitting"-Kultur: Die Autoren warnen davor, dass die Optimierung für Metriken Innovationen unterdrückt. Generative Modelle, die semantisch konsistente, aber pixelweise abweichende Ergebnisse liefern, werden bestraft.
3. Erkennung von Metrik-Manipulation: Es wird gezeigt, dass moderne no-reference Metriken (wie MUSIQ, MANIQA) anfällig für Manipulationen sind (z. B. durch künstliche Schärfung oder Unsharp Masking), was zu hohen Scores führt, ohne die visuelle Qualität zu verbessern.
4. Notwendigkeit multidimensionaler Bewertung: Eine einzelne Zahl reicht nicht aus. Die Bewertung muss in Dimensionen wie semantische Korrektheit, Detailrealismus, Schärfe, Natürlichkeit und stilistische Konsistenz zerlegt werden.
5. Kontextspezifische Evaluation: Die Bewertung muss semantische Szenarien berücksichtigen. Ein Modell, das bei Fotos gut ist, kann bei Zeichnungen versagen; eine globale Score-Aggregation verdeckt diese Nuancen.

4. Ergebnisse und Beobachtungen

• Versagen traditioneller Metriken: PSNR und SSIM bevorzugen überglättete Bilder und bestrafen realistische Details. LPIPS ist besser, aber immer noch nicht in der Lage, semantische Plausibilität zu erfassen.
• Versagen neuerer Metriken: Auch lernbasierte No-Reference-Metriken (CLIP-IQA, MANIQA) zeigen Schwächen. Sie neigen dazu, hohe Frequenzen und unnatürliche Schärfe zu belohnen, was zu einer Diskrepanz zwischen Score und menschlicher Wahrnehmung führt (siehe Abbildung 6 und 7).
• Szenario-Abhängigkeit: In Nutzerstudien schneiden Modelle je nach Inhaltstyp (z. B. Gesichter vs. Text vs. Cartoon) unterschiedlich ab. Ein Modell wie SUPIR (Diffusion) ist im Durchschnitt besser, verliert aber bei stilisierten Inhalten gegen HAT.
• Skalierungsgefälle: Es besteht eine signifikante Kluft zwischen der Komplexität moderner Generative-Modelle (z. B. Flux-basierte Modelle mit 12B Parametern) und den IQA-Modellen, die oft auf veralteten, synthetischen Datensätzen trainiert wurden.

5. Bedeutung und Ausblick

Die Arbeit hat weitreichende Implikationen für die Zukunft des Computer Vision-Bereichs:

• Neuausrichtung der Forschung: Sie fordert die Community auf, Peer-Review-Prozesse und Publikationskriterien zu reformieren, um menschenzentrierte Evaluationen (User Studies, multidimensionale Analysen) gleichwertig neben Metriken zu stellen.
• Entwicklung neuer IQA-Methoden: Es wird betont, dass IQA-Modelle selbst weiterentwickelt werden müssen. Sie sollten auf großen, hochwertigen Datensätzen trainiert werden und semantisches Verständnis (z. B. durch Integration von Large Language Models oder Vision-Language Models wie in Q-ALIGN oder DeQA) besitzen, um Kontext und Absicht zu verstehen.
• Vermeidung von Fehlleitungen: Ohne diesen Wandel droht die Forschung, in eine Sackgasse zu laufen, in der Modelle numerisch besser, aber visuell schlechter werden.
• Anwendungsspezifische Differenzierung: Für sicherheitskritische Bereiche (Medizin, Fernerkundung) bleiben objektive Metriken essenziell, aber für visuelle Anwendungen (Entertainment, Fotografie) muss der Mensch das letzte Urteil fällen.

Fazit: Das Papier argumentiert überzeugend, dass die aktuelle Abhängigkeit von einzelnen Metriken den Fortschritt in der Bildverarbeitung behindert. Ein menschenzentrierter, feingranularer und kontextbewusster Evaluierungsansatz ist notwendig, um sicherzustellen, dass technologischer Fortschritt tatsächlich zu einer verbesserten visuellen Erfahrung führt.