In der weiten Landschaft der modernen künstlichen Intelligenz hat eine stille Revolution stattgefunden. Jahrelang wurden die leistungsfähigsten Computer-Vision-Systeme gebaut, indem man sie mit Millionen von beschrifteten Bildern fütterte und sie lehrte, eine Katze zu erkennen, indem man ihnen tausend Bilder von Katzen zeigte, unter denen das Wort „Katze“ stand. Doch ein neuerer, effizienterer Ansatz ist entstanden, bei dem Modelle lernen, die Welt zu verstehen, indem sie Bilder ganz ohne Beschriftungen betrachten. Diese Systeme, die oft als selbstüberwacht bezeichnet werden, bringen sich selbst bei, indem sie Muster, Ähnlichkeiten und Unterschiede innerhalb der Daten selbst erkennen. Das Ergebnis ist eine Bibliothek aus tausenden von vorab trainierten Modellen, die bereit sind, heruntergeladen und als Augen für neue Anwendungen verwendet zu werden. Doch dieser Überfluss hat ein neues Problem geschaffen: Wie wählt ein Entwickler das richtige Modell aus? Da es keine Beschriftungen gibt, an denen man die Modelle testen könnte, und keine Zeit, teure Trainings-Experimente für jeden Kandidaten durchzuführen, besteht ein verzweifelter Bedarf nach einer schnellen, zuverlässigen Methode, um die Qualität des internen Verständnisses eines Modells allein durch den Blick auf dessen Ausgabe zu beurteilen.

Dies ist die Herausforderung, der sich ein Team von Forschern der Universität Linköping gestellt hat, die sich zum Ziel gesetzt haben, eine Sammlung von Werkzeugen zu testen, die darauf ausgelegt sind, die Qualität dieser unbeschrifteten Modelle zu messen. Sie untersuchten zweihundertsechzig verschiedene Vision-Modelle, die von Standard-Bildklassifikatoren bis hin zu solchen reichten, die mit fortgeschrittenen selbstüberwachten Techniken trainiert wurden, und testeten sie über sechs verschiedene Datensätze hinweg, die alles von generischen Objekten wie Autos und Tieren bis hin zu feinen Details wie spezifischen Blumenarten und Szenen aus Satellitenbildern abdeckten. Die Forscher wollten wissen, ob die bestehenden mathematischen Abkürzungen, die zur Beurteilung dieser Modelle verwendet werden, tatsächlich funktionierten oder ob sie lediglich falsches Vertrauen erweckten. Sie gruppierten die verfügbaren Werkzeuge in drei Familien: solche, die auf die allgemeine Verteilung der Daten schauen, solche, die untersuchen, wie Punkte zueinander in Beziehung stehen, und solche, die die Komplexität der Form messen, die die Daten bilden. Durch das Durchführen kontrollierter Experimente und den Vergleich der Ergebnisse mit der tatsächlichen Aufgabenleistung entdeckten sie, dass einige Werkzeuge zwar in spezifischen Situationen nützlich sind, ein bestimmtes Maß jedoch als der vertrauenswürdigste Leitfaden für die breite Öffentlichkeit herausragt.

Die Forscher begannen damit, die verschiedenen Arten der Messung des internen Zustands eines Modells ohne Verwendung von Beschriftungen zu kategorisieren. Einige Methoden, die sie als spektrale Metriken bezeichneten, analysieren die Verteilung von Energie oder Varianz über die internen Dimensionen des Modells und prüfen im Wesentlichen, ob das Modell seine volle Kapazität nutzt oder in einige wenige schmale Richtungen kollabiert. Andere, bekannt als relationale Metriken, betrachten die Abstände zwischen verschiedenen Datenpunkten, um zu sehen, ob das Modell sie in eine nützliche Struktur organisiert hat. Eine dritte Gruppe, die auf Mannigfaltigkeiten basierenden Metriken, versucht, die wahre Komplexität oder Dimensionalität der Form abzuschätzen, die die Daten einnehmen. Das Team testete diese Werkzeuge zuerst an synthetischen Daten, die sie im Labor generierten, wobei sie die Form der Daten sorgfältig kontrollierten, um zu sehen, wie jedes Werkzeug reagierte. Sie fanden heraus, dass die spektralen Werkzeuge sehr empfindlich auf die spezifische Form der Datenverteilung reagierten; einige sprangen auf hohe Werte an, wenn die Daten perfekt gleichmäßig waren, während andere ausschlagen, wenn die Daten konzentriert waren. Dies verdeutlichte, dass kein einzelnes spektrales Werkzeug darauf vertraut werden konnte, eine konsistente Messung über alle möglichen Szenarien hinweg zu liefern, da sie oft völlig unterschiedliche Dinge maßen.

Als die Forscher zu realen Modellen übergingen, wurde das Bild noch nuancierter. Sie bewerteten die Werkzeuge gegenüber der tatsächlichen Genauigkeit der Modelle bei der Anwendung auf neue Aufgaben. Die Ergebnisse zeigten, dass die Zuverlässigkeit dieser Werkzeuge keine feste Eigenschaft war, sondern stark davon abhing, welche Art von Modell vorlag und wie es trainiert wurde. Beispielsweise funktionierten Werkzeuge, die darauf ausgelegt waren, zu messen, wie gleichmäßig die Daten verteilt sind, gut für Modelle, die mit selbstüberwachten Methoden trainiert wurden, welche explizit darauf getrimmt sind, ihre Repräsentationen zu verteilen, um einen Kollaps zu vermeiden. Diese gleichen Werkzeuge versagten jedoch völlig, wenn sie auf traditionelle mit gelabelten Daten trainierte Modelle angewendet wurden, bei denen das Ziel oft darin besteht, ähnliche Artikel eng zusammenzufassen. Ebenso stellten sich Werkzeuge, die die Stabilität des mathematischen Systems hinter dem Modell maßen, als irreführend heraus, da ihre Scores oft nur ein Spiegelbild des verwendeten mathematischen Löser-Algorithmus waren und nicht die Qualität des Modells selbst widerspiegelten.

Inmitten dieser Variabilität kristallisierte sich eine Metrik als klarer und konsistenter Spitzenreiter heraus: die intrinsische Dimensionalität. Dieses Maß schätzt die minimale Anzahl an Parametern, die benötigt werden, um die Daten zu beschreiben, und fragt im Wesentlichen, in wie vielen „Richtungen“ die Daten tatsächlich existieren müssen. Die Forscher fanden heraus, dass dieses Werkzeug der zuverlässigste Prädiktor für den Erfolg in fast allen Szenarien war. Wenn die intrinsische Dimensionalität niedriger war, tendierten die Modelle dazu, bei nachgelagerten Aufgaben besser abzuschneiden. Dies galt sowohl für standardmäßige faltende neuronale Netze als auch für moderne Transformer und sowohl für Modelle, die mit Labels trainiert wurden, als auch für solche ohne. Die einzige Ausnahme war, wenn die Aufgabe sich vom Erkennen distinkter Objekte weg bewegte, etwa bei der Identifizierung spezifischer Szenen oder Fernerkundungsbildern, wo die Beziehung zwischen der Form der Daten und der Aufgabe weniger direkt wurde.

Die Studie hob auch eine entscheidende Lektion für jeden hervor, der versucht, ein Modell auszuwählen: Der Kontext spielt eine immense Rolle. Ein Werkzeug, das perfekt für eine Modellfamilie funktioniert, kann für eine andere nutzlos sein. Beispielsweise könnte eine Metrik, die suggerierte, ein Modell sei hochwertig, weil es einen hohen „effektiven Rang“ besitzt, völlig falsch liegen, wenn das Modell einer anderen Architektur angehört. Die Forscher zeigten, dass die Gruppierung von Modellen nach ihrer Architekturklasse oder ihrem Trainingsziel essenziell war, um ein klares Signal zu erhalten. Ohne diese sorgfältige Sortierung waren die Ergebnisse oft widersprüchlich, wobei verschiedene Werkzeuge in entgegengesetzte Richtungen zeigten. Das Team kam zu dem Schluss, dass das Feld der unbeschrifteten Evaluierung zwar vielversprechend ist, aber einen anspruchsvolleren Ansatz erfordert, als einfach nur den höchsten Wert auszuwählen. Der robusteste Weg nach vorn besteht darin, sich auf das Maß der intrinsischen Dimensionalität zu verlassen, das konsistent die Qualität der Repräsentation verfolgt, während man andere Metriken mit Vorsicht behandelt und genau versteht, für welche spezifischen Bedingungen sie entwickelt wurden.

Letztendlich bietet diese Arbeit eine klarere Landkarte zur Navigation durch den wachsenden Wald der vorab trainierten Modelle. Sie legt nahe, dass die Suche nach einem einzigen, universellen „Score“ für die Modellqualität komplex sein kann, da verschiedene Modelle ihr Wissen auf grundlegend unterschiedliche Weise organisieren. Stattdessen ist der zuverlässigste Indikator für das Potenzial eines Modells seine Fähigkeit, Informationen in eine niedrigdimensionale, effiziente Struktur zu komprimieren. Für Entwickler und Forscher bedeutet dies: Wenn man ein Modell ohne den Luxus auswählen muss, es an der endgültigen Aufgabe zu testen, bietet der Blick auf die intrinsische Dimensionalität die beste Chance, die richtige Wahl zu treffen. Die Studie behauptet nicht, das Problem der Modellauswahl gelöst zu haben, aber sie hat einen dringend benötigten Filter bereitgestellt, der die Werkzeuge von denen trennt, die echte Erkenntnisse liefern, von denen, die lediglich die Eigenheiten der Architektur oder des Trainings des Modells widerspiegeln.