Foveation as self-supervision signal: Blur masks beat blank masks for learning robust visual representations
Diese Arbeit zeigt auf, dass das Ersetzen von standardmäßigen leeren Masken durch biologisch inspirierte Unschärfemasken (die die retinale Foveation simulieren) beim selbstüberwachten Pre-Training von Vision Transformern robustere und generalisierbarere visuelle Repräsentationen liefert, indem das Modell dazu angeregt wird, aus niedrigeren räumlichen Frequenzen zu lernen, anstatt sich auf hochfrequente Details zu verlassen.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Das menschliche Auge ist keine gleichmäßige Kamera. Wenn man die Welt betrachtet, ist das Zentrum des Sehfeldes unglaublich scharf und in der Lage, feinste Details wie die Textur eines Blattes oder die Buchstaben auf einem Schild aufzulösen. Doch sobald der Blick zum Rand des Sichtfeldes wandert, nimmt diese Schärfe rapide ab und geht in eine weiche Unschärfe über. Dies ist kein Makel, sondern ein Merkmal der Art und Weise, wie Primaten sehen. Jedes Mal, wenn die Augen zu einem neuen Punkt springen, wird ein zuvor unscharfer Bereich in den Fokus gerückt, während der Bereich, den man gerade betrachtet hat, beginnt, zu verblassen. Wissenschaftler fragen sich schon lange, ob dieser ständige Zyklus aus Schärfung und Unschärfe einem Zweck dient, der über das einfache Sehen hinausgeht. Könnte dieser biologische Rhythmus dem Gehirn tatsächlich beibringen, die Welt effektiver zu verstehen?
Im Bereich der künstlichen Intelligenz versuchen Forscher, Computersysteme zu bauen, die auf eine ähnliche Weise lernen zu sehen. Eine populäre Methode besteht darin, einem Computer ein Bild zu zeigen, bei dem große Teile verborgen sind, und ihn zu fragen, was fehlt. Dies zwingt das System dazu, die zugrunde liegende Struktur von Objekten zu erlernen, anstatt nur Muster auswendig zu lernen. Die meisten dieser Systeme verbergen die fehlenden Teile jedoch, indem sie sie einfach in eine flache, graue Farbe verwandeln, wodurch sie effektiv aus dem Bild gelöscht werden. Diese neue Forschung legt nahe, dass das Löschen von Informationen nicht der beste Weg zum Lernen ist. Stattdessen schlagen die Autoren vor, dass das Nachahmen der natürlichen Unschärfe der menschlichen peripheren Wahrnehmung ein weitaus mächtigerer Lehrmeister für künstliche Intelligenz sein könnte.
Die Forscher der Columbia University setzten sich zum Ziel, diese Idee mithilfe eines Typs künstlicher Gehirne, eines sogenannten Vision Transformers, zu testen. Sie nahmen die Standardmethode des Verbergens von Bildteilen und ersetzten die flachen grauen Blöcke durch zwei verschiedene Arten von visueller Korruption. Die erste Art verblendete die verborgenen Abschnitte einfach gleichmäßig, als würde man durch ein beschlagenes Fenster auf ein Foto blicken. Die zweite Art war anspruchsvoller und darauf ausgelegt, das menschliche Auge exakt zu kopieren: Sie hielt einen kleinen Punkt im Bild perfekt scharf, während alles andere, das weiter entfernt von diesem Punkt lag, progressiv unschärfer wurde. Anschließend trainierten sie diese Computermodelle darauf, die ursprünglichen, klaren Bilder aus diesen korrumpierten Versionen zu rekonstruieren.
Die Ergebnisse waren beeindruckend. Als die Forscher testeten, wie gut diese Modelle lernten, Objekte in neuen, sauberen Bildern zu erkennen, übertrafen die mit Unschärfe und augenähnlichen Maskierungsmustern trainierten Modelle die Standardmodelle, die flache graue Blöcke verwendeten, deutlich. Dieser Vorteil blieb auch dann bestehen, wenn die Forscher die Aufgabe erschwerten, indem sie mehr vom Bild verbargen, dem Computer weniger Zeit zum Lernen gaben oder weniger Trainingsbeispiele bereitstellten. Die Modelle, die durch Unschärfe lernten, waren schlichtweg robuster. Sie brachen nicht so leicht zusammen, wenn die Bedingungen schwierig wurden, was darauf hindeutet, dass sie ein tieferes, flexibleres Verständnis davon erworben hatten, wie ein Objekt aussieht.
Um zu verstehen, warum dies geschah, untersuchte das Team genau, welche Informationen die Modelle tatsächlich nutzten, um ihre Entscheidungen zu treffen. Sie entdeckten, dass die Standardmodelle, die mit flachen grauen Blöcken trainiert wurden, dazu neigten, sich stark auf hochfrequente Details zu verlassen – die scharfen Kanten und feinen Texturen, die leicht durch Rauschen oder Verzerrungen verwechselt werden können. Im Gegensatz dazu konzentrierten sich die mit Unschärfe trainierten Modelle auf die niederfrequenten Informationen, die den breiten Formen und der Gesamtstruktur von Objekten entsprechen. Diese Verschiebung des Fokus erwies sich als der Schlüssel zu ihrem Erfolg. Die Forscher fanden eine direkte Verbindung zwischen diesem Verhalten und der Leistung: Je mehr ein Modell auf feine, scharfe Details setzte, desto schlechter schnitt es bei der Objekterkennung ab. Die Modelle, die die Unschärfe und damit die breiteren Formen akzeptierten, waren diejenigen, die am besten generalisieren konnten.
Die Studie untersuchte auch, ob der Computer lediglich lernte, die Unschärfe rückgängig zu machen, ähnlich wie ein Bildbearbeitungsprogramm einen Filter entfernt. Durch Tests der Modelle an Bildern, die vollständig unscharf waren und keine scharfen Teile mehr zur Schlussfolgerung boten, zeigten die Forscher, dass die Modelle etwas viel Komplexeres taten. Sie hatten gelernt, die strukturellen Beziehungen innerhalb des Bildes selbst zu erkennen, nicht nur, wie man eine spezifische Verzerrung rückgängig macht. Dies deutet darauf hin, dass der Akt, feine Details aus einem unscharfen Kontext vorherzusagen, das künstliche Gehirn dazu zwingt, eine stabilere und genauere interne Karte der Welt aufzubauen.
Diese Arbeit bietet einen überzeugenden Grund, zur Inspiration für künstliche Intelligenz in die Biologie zu blicken. Indem die Forscher das künstliche Löschen von Informationen durch einen Prozess ersetzten, der den natürlichen, graduellen Verlust von Details in der menschlichen peripheren Wahrnehmung nachahmt, schufen sie ein Lernsignal, das weita viel effektiver ist. Die Ergebnisse legen nahe, dass die Art und Weise, wie unsere Augen die Welt natürlich scannen – indem sie ständig Schärfe gegen eine breitere Sicht eintauschen – eine eingebaute Lektion in Robustheit darstellt. Für die Maschinen, die wir bauen, um zu sehen, ist die Lektion klar: Manchmal ist es der beste Weg, die Welt zu verstehen, sie ein wenig weniger scharf zu sehen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.