Miles: Metric Learning with Expandable Subspace for Pre-Trained Model-Based Class-Incremental Learning
Das Paper schlägt Miles vor, eine Methode für das klasseninkrementelle Lernen, die vortrainierte Modelle nutzt, indem sie lernbare Module entkoppelt und einen erweiterbaren Unterraum mittels Metrischem Lernen verwendet, um die Leistung und die Rechenkosten effektiv auszubalancieren und gleichzeitig katastrophales Vergessen zu mildern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem superintelligenten Roboter beizubringen, neue Dinge zu erkennen, wie zum Beispiel eine neue Vogelart oder eine seltene Blume, ohne dass er dabei alles vergisst, was er bereits über Hunde und Katzen weiß. Dies ist die Welt des Class Incremental Learning (CIL). In der Vergangenheit, wenn man einem Roboter ein neues Konzept beibringen wollte, musste man oft sein gesamtes Gehirn von Grund auf neu trainieren, was langsam war und anfällig für „katastrophales Vergessen“ war – ein Zustand, in dem der Roboter plötzlich verlernt, einen Hund zu erkennen, nur weil er gerade gelernt hat, eine neue Blume zu identifizieren.
Um dies zu lösen, begannen Wissenschaftler, Pre-Trained Models (PTMs) einzusetzen. Denken Sie an diese Roboter als an Wesen, die bereits Jahre damit verbracht haben, jedes Buch in der Bibliothek zu lesen und jede Naturdokumentation anzusehen. Sie kennen bereits die Grundlagen der Welt. Die Herausforderung besteht nun darin, diesen „Experten-Robotern“ neue, spezifische Fähigkeiten beizubringen, ohne ihr bestehendes Wissen zu durcheinanderzubringen oder sie zu schwerfällig und langsam im Betrieb zu machen. Die große Frage lautet: Wie fügt man einem Experten effizient neue Fähigkeiten hinzu, während man die alten Fähigkeiten scharf hält und gleichzeitig die neuen lernt, ohne dafür eine riesige Bibliothek alter Fotos durchsehen zu müssen?
Hier kommt MILES (Metric Learning with Expandable Subspace) ins Spiel, eine neue Methode, die von den Forschern Kai Jiang und seinem Team vorgeschlagen wurde. Sie stellten fest, dass diese vortrainierten Roboter zwar klug sind, aber manchmal Schwierigkeiten haben, neue Kategorien zu lernen, weil der „mentale Raum“, in dem sie Ideen speichern, überfüllt wird. Die alten Ideen und die neuen Ideen beginnen sich zu überschneiden, wie der Versuch, ein neues Auto in einer Garage zu parken, die bereits mit alten Autos vollgestellt ist.
Um dies zu beheben, nutzt MILES eine clevere zweiteilige Strategie. Zuerst erstellt es eine Subspace Prototype Projection (SPP). Stellen Sie sich vor, der Roboter hat eine riesige, unordentliche Garage (den Merkmalsraum). MILES baut eine Reihe von winzigen, spezialisierten „Mini-Garagen“ oder Subräumen für jede neue Aufgabe. Wenn eine neue Kategorie eintrifft, projiziert der Roboter seine Merkmale in diese neue Mini-Garage, wo er die neuen Gegenstände ordentlich direkt neben einem „Prototyp“ (einem perfekten Beispiel) dieses Gegenstands organisieren kann, wodurch er sie weit von den alten, unzusammenhängenden Gegenständen fernhält. Das ist so, als hätte man ein eigenes Regal für seine neue Briefmarkensammlung, damit diese nicht mit der alten Münzsammlung vermischt wird.
Doch nur ein Regal zu bauen, reicht nicht aus, wenn die Augen des Roboters (das vortrainierte Modell) die Details für die neue Aufgabe nicht scharf genug wahrnehmen. Deshalb fügt MILES eine Subspace Representation Extension (SRE) hinzu. Dies ist so, als würde man dem Roboter für jede neue Aufgabe eine spezielle, leichte Brille geben. Diese Brillen ersetzen nicht die Hauptsehweise des Robotors; sie fügen lediglich ein wenig zusätzlichen Zoom und Klarheit in den Zwischenschritten des Sehens hinzu, was es dem Roboter ermöglicht, die neue Aufgabe viel besser zu lernen, ohne sein gesamtes Gehirn neu aufbauen zu müssen.
Schließlich bemerkten die Forscher ein Problem: Manchmal wird der Roboter zu gut in der neuen Aufgabe und beginnt, die alten zu ignorieren, oder die „Distanz“ zwischen den Gegenständen wird seltsam inkonsistent. Um dies zu verhindern, führten sie eine Distance Regularization (DR) ein. Denken Sie an einen strengen Bibliothekar, der sicherstellt, dass der Abstand zwischen zwei Büchern auf dem Regal immer fair und konsistent ist, egal in welchem Abschnitt der Bibliothek man sich befindet. Dies verhindert, dass der Roboter zu besessen vom neuen Zeug wird und das Gleichgewicht der gesamten Bibliothek verliert.
Das Team testete MILES auf sechs verschiedenen Datensätzen, die von einfachen Bildern wie CIFAR-100 bis hin zu komplexen realen Fotos wie ImageNet-R reichen. Die Ergebnisse waren beeindruckend: MILES erreichte in den meisten Szenarien die höchste Genauigkeit und schlug dabei andere Top-Methoden. Beispielsweise erreichte es beim CIFAR-100-Datensatz mit 10 Aufgaben eine Genauigkeit von 93,93 %, was fast 1 % besser ist als die zweitbeste Methode, während es nur sehr wenig von dem vergaß, was es zuvor gelernt hatte. Die Methode erwies sich auch als effizient, da sie im Vergleich zu anderen Ansätzen nur sehr wenige zusätzliche Computerressourcen und Speicher benötigte.
Kurz gesagt: MILES legt nahe, dass wir durch die Kombination der Kraft vortrainierter Kenntnisse mit klugen, leichtgewichtigen Ergänzungen, die neue Informationen in dedizierte Räume organisieren und alles im Gleichgewicht halten, KI kontinuierlich lernen lassen können, ohne zu vergessen. Es ist ein Schritt in Richtung einer KI, die lernen und sich anpassen kann wie ein Mensch – die lernt, jeden Tag neue Dinge zu lernen, ohne ihre Vergangenheit zu verlieren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.