An Empirical Study into Clustering of Unseen Datasets with Self-Supervised Encoders

In der weiten Landschaft der modernen künstlichen Intelligenz hat sich eine kraftvolle Idee festgesetzt: Maschinen können lernen, die Welt zu sehen, nicht nur indem man ihnen sagt, was alles ist, sondern indem sie einfach von selbst Millionen von Bildern betrachten. Dieser Ansatz, bekannt als selbstüberwachtes Lernen (Self-Supervised Learning), ermöglicht es Computern, eine mentale Karte visueller Muster aufzubauen – das Erkennen von Formen, Texturen und Strukturen –, ohne dass ein Mensch jedes einzelne Bild mit einem Namen beschriften muss. Sobald ein Computer diese Karte aufgebaut hat, kann er verwendet werden, um neue Probleme zu lösen, wie etwa das Identifizieren einer spezifischen Vogelart oder das Sortieren medizinischer Scans. Es blieb jedoch eine kritische Frage bestehen: Wenn wir einen Computer, der aus einer riesigen Bibliothek allgemeiner Fotos gelernt hat, einem völlig neuen Satz von Bildern übergeben, den er noch nie zuvor gesehen hat, kann er diese dann immer noch begreifen? Kann er diese unbekannten Bilder auf eine Weise gruppieren, die logisch sinnvoll ist, indem er einfach die zuvor gelernten Muster betrachtet, ohne weiteres Training?

Ein Team von Forschern setzte sich zum Ziel, diese Frage zu beantworten, indem sie die interne „Karte“ des Computers als Werkzeug zur Entdeckung behandelten. Sie nahmen mehrere verschiedene Arten von vorab trainierter Computer-Vision-Modelle – einige, die lernten, indem ihnen die richtigen Antworten gesagt wurden, und andere, die lernten, indem sie Muster in den Daten selbst fanden – und baten sie, eine Vielzahl ungesehener Bildkollektionen zu sortieren. Diese Kollektionen reichten von vertrauten Objekten wie Autos und Blumen bis hin zu abstrakteren Kategorien wie Texturen, handgeschriebenen Zahlen und sogar mikroskopischen Ansichten von Tumorgewebe. Die Forscher lehrten die Modelle nichts Neues; sie ließen die Modelle die Bilder einfach betrachten, sie in eine Liste von Zahlen umwandeln, die ihre Merkmale repräsentieren, und dann Standard-Sortieralgorithmen verwenden, um ähnliche Zahlen zusammenzugruppieren. Das Ziel war es zu sehen, ob die Gruppen, die der Computer bildete, mit den realen Kategorien übereinstimmten, die wir kennen, wie etwa „Hund“ oder „Auto“, oder ob der Computer sie basierend auf etwas ganz anderem gruppierte, wie etwa der Farbe des Hintergrunds oder dem Stil des Bildes.

Die Ergebnisse offenbarten eine faszinierende Spaltung in der Art und Weise, wie diese verschiedenen Arten von Modellen denken. Wenn die Bilder denen ähnlich waren, die die Modelle während ihres anfänglichen Trainings gesehen hatten, schnitten die Modelle, die explizit darauf trainiert worden waren, die richtigen Namen für Objekte zu kennen, am besten ab. Sie konnten diese vertrauten Gegenstände mit hoher Genauigkeit sortieren. Doch als die Forscher zu Bildern übergingen, die sehr unterschiedlich zu den Trainingsdaten waren – wie Skizzen, Gemälde oder mikroskopische Schnitte –, begannen die Modelle, die selbstständig gelernt hatten, diejenigen zu übertreffen, die unterrichtet worden waren. Diese selbst gelernten Modelle waren besser darin, die zugrunde liegende Struktur in völlig fremden visuellen Welten zu finden. Es scheint, dass die von Menschen trainierten Modelle, um spezifische Objekte zu erkennen, zu sehr auf die Details dieser spezifischen Objekte fixiert waren, während die selbst gelernten Modelle ein flexibleres Verständnis visueller Muster entwickelten, das auch dann Bestand hatte, wenn sich der Kontext komplett änderte.

Die Studie deckte auch eine überraschende Schwäche der selbst gelernten Modelle auf, wenn sie später gezwungen wurden, spezifische Namen zu lernen. Als die Forscher die selbst gelernten Modelle nahmen und ihnen einen Crashkurs im Benennen von Objekten gaben, wurden sie exzellent darin, vertraute Gegenstände zu sortieren, aber ihre Fähigkeit, die seltsamen, fremden Bilder zu handhaben, verschlechterte sich tatsächlich. Sie wurden weniger flexibel und verloren genau die Qualität, die sie ursprünglich so gut im Umgang mit dem Unbekannten gemacht hatte. Dies deutet auf einen Kompromiss hin: Einem Modell beizubringen, ein Experte für eine spezifische Aufgabe zu sein, kann es weniger fähig machen, ein Generalist zu sein. Darüber hinaus fanden die Forscher heraus, dass die selbst gelernten Modelle viel leichter durch den Hintergrund eines Bildes verwirrt wurden als die überwachten Modelle. Wenn der Hintergrund eines Bildes geändert wurde, hatten die selbst gelernten Modelle Schwierigkeiten, das Objekt zu erkennen, während die mit menschlichen Labels trainierten Modelle besser darin waren, den Hintergrund zu ignorieren und sich auf das Hauptmotiv zu konzentrieren. Dies deutet darauf hin, dass die selbst gelernten Modelle das gesamte Bild als eine einzige, untrennbare Einheit behandeln, während die überwachten Modelle lernen, das Hauptmotiv von seiner Umgebung zu trennen.

Eine der praktischsten Entdeckungen dieser Arbeit ist eine neue Möglichkeit zu beurteilen, wie gut ein Modell arbeitet, ohne die korrekten Antworten zu benötigen. Normalerweise muss man wissen, was die richtige Antwort für jedes Foto ist, um zu wissen, ob ein Computer einen Stapel Fotos korrekt sortiert hat. Die Forscher fanden heraus, dass sie vorhersagen konnten, wie gut die Sortierung funktionierte, indem sie einfach betrachteten, wie dicht die Gruppen zusammengedrängt waren. Wenn die Gruppen ähnlicher Bilder sehr nah beieinander und weit entfernt von anderen Gruppen lagen, war die Sortierung wahrscheinlich korrekt. Dieser „Dichtewert“ funktionierte besonders gut, wenn die Bilder zuerst in einen niederdimensionalen Raum vereinfacht wurden, ein Prozess, der unnötiges Rauschen entfernt. Dieser Befund ist signifikant, da er bedeutet, dass Wissenschaftler nun testen können, wie gut ein Modell einen neuen Datensatz versteht, selbst wenn sie keinerlei Labels besitzen, indem sie einfach prüfen, wie natürlich die Daten klumpen (clustern).

Die Forscher testeten auch, wie gut diese Modelle mit Bildern umgehen konnten, die sehr feine Unterscheidungen erforderten, wie etwa die Unterscheidung zwischen verschiedenen Vogelarten oder Blumenvarietäten. Sie fanden heraus, dass die Modelle im Allgemeinen mit diesen hochspezifischen Aufgaben zu kämpfen hatten und bei breiter gefassten Kategorien, wie „Vogel“ gegenüber „Blume“, deutlich besser abschnitten. Dies steht im Einklang mit der Vorstellung, dass diese Modelle zwar exzellent darin sind, das große Ganze zu sehen, aber noch nicht natürlich darauf ausgelegt sind, die winzigen Details zu erfassen, die ein spezifisches Exemplar von einem anderen unterscheiden. Die Studie schließt damit ab, dass es für das Sortieren neuer, unbekannter Daten oft am besten ist, ein selbst gelerntes Modell zu verwenden, das nicht gezwungen wurde, spezifische Namen zu lernen, und die Daten zuerst zu vereinfachen, um die Muster klarer zu machen. Dies bietet einen klaren Weg nach vorn, um künstliche Intelligenz zu nutzen, um die riesige, unbeschriftete visuelle Welt zu organisieren und zu verstehen, die außerhalb der Datensätze existiert, mit denen wir sie trainieren.