Self-Routed Tensor Adapters for Parameter-Efficient Universal Visual Adaptation

In der Welt der künstlichen Intelligenz sind Computer bemerkenswert gut darin geworden, zu sehen. Sie können eine Katze auf einem Foto identifizieren oder ein Stoppschild auf einer Straße erkennen, mit einem Genauigkeitsgrad, der dem menschlichen Sehvermögen ebenbürtig ist. Diese Fähigkeit beruht auf massiven Modellen, die mit Milliarden von Bildern trainiert wurden und so ein allgemeines Verständnis der visuellen Welt erlernt haben. Diese leistungsstarken Systeme sind jedoch oft starr. Wenn ein Ingenieur versucht, ein solches Modell darauf zu trainieren, spezifische Objekte in einer neuen Umgebung zu erkennen – zum Beispiel zwischen verschiedenen Fischarten in einem trüben Fluss und einem klaren Aquarium zu unterscheiden –, hat das Modell Schwierigkeiten. Der visuelle Stil, die Beleuchtung und der Hintergrund der neuen Umgebung unterscheiden sich zu stark von dem, was das Modell zuvor gelernt hat. Um dies zu beheben, müssen Forscher normalerweise das gesamte massive Modell neu trainieren, ein Prozess, der langsam, teuer und oft zerstörerisch für das bereits vorhandene Allgemeinwissen des Modells ist. Ein effizienterer Ansatz ist entstanden, bei dem Wissenschaftler winzige, gezielte Anpassungen am Modell vornehmen, während der Hauptkern unberührt bleibt. Dies ist vergleichbar mit dem Hinzufügen eines kleinen, spezialisierten Objektivs zu einer Kamera, anstatt eine neue Kamera von Grund auf neu zu bauen. Doch selbst diese kleinen Anpassungen stehen vor einem Problem: Eine einzige, feste Anpassung kann oft nicht die wilde Vielfalt der verschiedenen visuellen Welten bewältigen, durch die ein Computer navigieren muss.

Suraj Yadav, ein Forscher am Indraprastha Institute of Information Technology Delhi, hat einen neuen Weg vorgeschlagen, um dieses Rätsel zu lösen. Das Ziel war es, ein System zu schaffen, das ein eingefrorenes, vortrainiertes Visionsmodell gleichzeitig an viele verschiedene Domänen anpassen kann, ohne dessen Wissen zu fragmentieren oder eine massive Menge an zusätzlicher Rechenleistung zu erfordern. Frühere Versuche zur Lösung dieses Problems beinhalteten die Verwendung eines „Mixture of Experts“ (Mischung von Experten), einer Methode, bei der das Modell über mehrere spezialisierte Sub-Routinen, sogenannte Experten, verfügt und ein separater Controller entscheidet, welcher davon für jedes Bild verwendet wird. Während dies effektiv ist, fungiert dieser Controller als ein separater Gatekeeper, der zusätzliche Komplexität und Parameter hinzufügt. Yadavs Arbeit mit dem Titel „Self-Routed Tensor Adapters“ entfernt diesen externen Gatekeeper vollständig. Anstatt einen separaten Controller zu fragen, welchen Pfad er wählen soll, ermöglicht das neue System dem Bild selbst zu bestimmen, wie sich das Modell anpassen soll, indem es eine kompakte, geteilte Struktur nutzt, die verschiedene Lernstile im laufenden Betrieb miteinander vermischt.

Der Kern dieser neuen Methode ist eine kluge Neugestaltung der Art und Weise, wie das Modell sein neues Wissen speichert. Stellen Sie sich den Anpassungsraum des Modells nicht als eine Sammlung separater, isolierter Experten vor, sondern als eine einzige, gemeinsame Bibliothek visueller Faktoren. In dieser Bibliothek hält das Modell einen Kernsatz an anpassbaren Teilen bereit, die gemischt und kombiniert werden können. Wenn ein neues Bild eintrifft, projiziert das System es in einen niedrigdimensionalen Raum und nutzt diese Projektion, um zu berechnen, wie viel von jedem Teil aus der Bibliothek verwendet werden soll. Diese Berechnung erfolgt automatisch und direkt aus den eigenen Merkmalen des Bildes, ohne dass ein separates Entscheidungsnetzwerk benötigt wird. Das System vermischt diese Teile dann, um eine maßgeschneiderte Anpassung für dieses spezifische Bild zu erstellen. Wenn das Bild wie eine Skizze aussieht, zieht das System mehr aus dem „Skizzen“-Teil der Bibliothek; wenn es wie eine Fotografie aussieht, zieht es aus dem „Foto“-Teil. Diese Vermischung geschieht reibungslos, sodass das Modell gemeinsames Wissen über ähnliche Domänen hinweg teilen kann, während es gleichzeitig für einzigartige Domänen spezialisiert bleibt.

Um sicherzustellen, dass das Modell lernt, diese Vermischungsentscheidungen korrekt zu treffen, führten die Forscher eine Trainingstechnik ein, die das System bei jedem Schritt seiner Verarbeitung leitet. Sie fanden heraus, dass das Modell Schwierigkeiten haben könnte, die Routing-Entscheidungen in den frühen Stadien der Verarbeitung korrekt zu erlernen, wenn es lediglich darüber informiert wird, ob es die endgültige Antwort richtig gegeben hat. Daher fügten sie ein sekundäres Trainingssignal hinzu, das die Routing-Entscheidungen in jeder Schicht des Netzwerks überwacht und dem Modell einen klareren Weg weist, um zu lernen, welche visuellen Faktoren zu welcher Domäne gehören. Dies hilft dem Modell, distinkte Pfade für unterschiedliche Arten von Bildern zu entwickeln, während die Gesamtstruktur kompakt und effizient bleibt.

Die Ergebnisse dieses Ansatzes sind in ihrer Effizienz beeindruckend. Bei Tests auf fünf verschiedenen Benchmarks, die vielfältige visuelle Domänen umfassten – von Kunststilen bis hin zu realen Fotografien und Ziffernerkennung –, erreichte die neue Methode eine Genauigkeit, die mit bestehenden State-of-the-Art-Methoden konkurrenzfähig war oder diese in einigen Fällen sogar leicht übertraf. Der wahre Durchbruch liegt jedoch in den Kosten. In einem Szenario mit vier verschiedenen Domänen benötigte die neue Methode nur 2,77 Millionen trainierbare Parameter, um ihre Ergebnisse zu erzielen. Im Gegensatz dazu benötigte eine führende Alternativmethode, die separate Expertenbanken verwendet, für dieselbe Aufgabe 9,52 Millionen Parameter. In einem Sechs-Domänen-Szenario weitete sich die Lücke weiter aus: Die neue Methode verbrauchte lediglich 3,00 Millionen Parameter im Vergleich zu den 14,31 Millionen des Konkurrenten. Das bedeutet, dass das neue System eine ähnliche Leistung erbringt, während es etwa drei- bis fünfmal weniger Parameter benötigt.

Die Forscher beobachteten auch, wie sich das System intern verhielt. Bei der Visualisierung der Routing-Entscheidungen stellten sie fest, dass das System bei sehr unterschiedlichen Domänen, wie etwa verschiedenen Kunststilen, lernte, spezifische Pfade fast ausschließlich zu aktivieren, vergleichbar mit einem Schalter, der auf eine einzige Einstellung umgelegt wird. Für ähnlichere oder überlappende Domänen lernte das System, mehrere Pfade miteinander zu vermischen und Wissen dort zu teilen, wo es sinnvoll war. Dieses Verhalten deutet darauf darauf hin, dass das System nicht nur separate Regeln für jede Domäne auswendig lernt, sondern eine flexible, geteilte Repräsentation entwickelt, die die Beziehungen zwischen ihnen versteht. Die Studie legt nahe, dass universelle visuelle Anpassung keine massive Armee von separaten Experten oder einen komplexen externen Controller erfordert. Stattdessen kann eine kompakte, geteilte Struktur, die es dem Input ermöglicht, die eigene Anpassung zu steuern, eine hohe Leistung mit einem Bruchteil der Rechenkosten erzielen, was einen vielversprechenden Weg für die Zukunft macht, um große Visionsmodelle vielseitiger und effizienter zu gestalten.