Visual Distortion Detection in UGC Images Using Large Multimodal Models
Das Papier schlägt VIGIL vor, ein neuartiges Framework, das Large Multimodal Models mit mehrstufigen Merkmalsdetektoren und einem streng kuratierten Datensatz von 140.000 Proben nutzt, um die Einschränkungen bestehender textgesteuerter Ansätze zu adressieren und die Lücke zwischen synthetischer und authentischer Generalisierung bei der Erkennung visueller Verzerrungen zu schließen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie betrachten ein Foto auf Ihrem Handy. Vielleicht ist es ein Selfie, ein Bild Ihres Hundes oder ein Sonnenuntergang, den Sie beim Wandern aufgenommen haben. Manchmal sieht das ganze Bild großartig aus. Ein andermal ist der Himmel perfekt, aber das Gesicht Ihres Freundes ist verschwommen, oder es gibt einen seltsamen Farbfleck im Gras. Lange Zeit waren Computer, die Fotos analysieren, wie ein strenger Lehrer, der nur eine einzige Note für den gesamten Test vergab. Sie konnten Ihnen sagen, ob ein Bild insgesamt „gut“ oder „schlecht“ war, aber sie konnten nicht den spezifischen Punkt benennen, an dem der Fehler auftrat. Dies ist ein großes Problem, denn in der realen Welt wollen wir oft nur den unscharfen Teil korrigieren, nicht das ganze Foto.
Das Fachgebiet, das versucht, dieses Problem zu lösen, heißt Bildqualitätsbewertung (Image Quality Assessment). Denken Sie daran, als würde man Computer lehren, Kunstkritiker zu sein. Vor kurzem haben Wissenschaftler begonnen, „Large Multimodal Models“ (LMMs) einzusetzen. Man kann sich diese als superintelligente Roboter vorstellen, die Bilder sehen und gleichzeitig Text lesen können. Sie sind wie ein geniale Kunststudent, der jedes Buch über Fotografie gelesen hat. Doch nur weil ein Roboter klug ist, bedeutet das nicht, dass er gut darin ist, winzige, spezifische Fehler zu finden. Die meisten dieser Roboter wurden darauf trainiert, Bildern Textbeschreibungen wie „der Himmel ist verschwommen“ beizufügen, aber sie haben Schwierigkeiten, tatsächlich ein Kästchen um den verschwommenen Himmel zu zeichnen. Sie haben auch Probleme beim Übergang von „künstlichen“ Übungsbildern (bei denen Wissenschaftler künstlich Unschärfe hinzugefügt haben) zu echten, chaotischen Fotos, die Menschen in der echten Welt aufgenommen haben.
Dieses Paper stellt einen neuen Roboter namens VIGIL (Visual Intelligence for Generalized Image Localization) vor. Die Forscher wollten ein System bauen, das nicht nur sagt: „Dieses Foto ist schlecht“, sondern tatsächlich mit dem Finger zeigt und sagt: „Hey, die Unschärfe ist genau hier, und es handelt sich um einen Kompressionsfehler.“ Sie fanden heraus, dass die alte Art, diese Roboter zu lehren – nämlich ihnen nur Textbeschreibungen schreiben zu lassen – nicht präzise genug war. Also versuchten sie einen anderen Ansatz: Sie lehrten den Roboter, wie ein Detektiv nach Hinweisen zu suchen, statt wie ein Autor, der eine Szene beschreibt.
Das Team begann mit dem Sammeln einer riesigen Bibliothek von über 1 Million hochwertiger Bilder aus dem Internet. Sie filterten diese sorgfältig, um sicherzustellen, dass sie klar und hell sind, und spielten dann ein „Finde den Unterschied“-Spiel, indem sie künstlich 8 verschiedene Arten von Störungen (wie Unschärfe, Rauschen oder seltsame Farben) zu zufälligen Teilen der Bilder hinzufügten. Sie erstellten einen Trainingsdatensatz namens VIGIL-140K, der über 140.000 verzerrte Bilder mit mehr als 200.000 markierten „schlechten Stellen“ enthält.
Anstatt den Roboter zu bitten, Sätze zu schreiben, verwandelten die Forscher das Gehirn des Roboters in ein Team von Detektiven. Sie nutzten verschiedene Schichten des internen Denkprozesses des Roboters als separate „Detektoren“. Stellen Sie sich ein Klassenzimmer vor, in dem anstatt eines einzelnen Schülers, der die Hand hebt, fünf verschiedene Schüler dasselbe Bild gleichzeitig betrachten, wobei jeder eine etwas andere Brille trägt. Einer könnte gut darin sein, unscharfe Kanten zu sehen, während ein anderer groß darin ist, Farbverschiebungen aufzuspüren. Sie alle rufen ihre Vermutungen gleichzeitig aus. Der Roboter kombiniert dann all diese Vermutungen zu einer endgültigen, sehr genauen Entscheidung.
Die Forscher lösten auch ein kniffliges Problem namens „Synthetic-to-Authentic“-Gap (vom Synthetischen zum Authentischen). Dies ist so, als würde man Bogenschießen mit Papierzielen üben, die perfekte, runde Bullseye haben, um dann zu versuchen, ein wackeliges, unregelmäßiges Ziel in einem echten Wald zu treffen. Die Papierziele (synthetische Daten) sehen zu ordentlich aus, sodass der Roboter verwirrt ist, wenn er echte, chaotische Störungen sieht. Um dies zu beheben, brachten die Forscher den Roboter bei, auch dann aufmerksam zu sein, wenn er glaubt, eine Stelle sei „sauber“. Wenn der Roboter sich fast sicher ist, dass eine Stelle sauber ist, aber einen winzigen Zweifel hat, ließen sie diesen Zweifel als möglichen Hinweis zählen. Dies hilft dem Roboter, wachsam zu bleiben, wenn die reale Welt chaotisch wird.
Als die Forscher VIGIL testeten, war es ein riesiger Erfolg. Bei Testläufen mit den künstlichen Störungen fand es die Fehler viel besser als andere Top-Modelle. Aber die wahre Magie geschah, als es echte, reale Fotos testete, die es noch nie gesehen hatte. Während andere Modelle verwirrt waren und die Fehler übersahen, blieb VIGIL gelassen und zeigte präzise auf die unscharfen oder verrauschten Stellen in echten Nutzerfotos. Das Paper zeigt, dass wir durch den Einsatz eines Teams interner Detektoren und indem wir offen für „saubere“ Bereiche bleiben, Computer viel besser darin machen können, exakt zu erkennen, wo in einem Foto etwas schiefgelaufen ist, was den Weg für intelligentere Werkzeuge ebnet, mit denen wir unsere Bilder automatisch reparieren können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.