🤖 machine learning

Memory-Efficient Continual Learning with CLIP Models

Dieser Artikel schlägt eine speichereffiziente, verteilungsrobuste Methode für kontinuierliches Lernen vor, die Verluste pro Klasse dynamisch neu gewichtet, um CLIP-Modellen die Anpassung an neue Aufgaben zu ermöglichen und gleichzeitig katastrophales Vergessen auch bei minimalen Speicherpuffern zu minimieren.

Ursprüngliche Autoren: Ryan King, Gang Li, Bobak Mortazavi, Tianbao Yang

Veröffentlicht 2026-05-06

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ryan King, Gang Li, Bobak Mortazavi, Tianbao Yang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen superschlauen Studenten namens CLIP. Dieser Student ist hervorragend darin, Bilder mit Worten zu verknüpfen. Wenn Sie ihm ein Foto einer Katze und das Wort „Katze" zeigen, versteht er die Verbindung sofort. Er hat eine riesige Bibliothek aus Büchern und Fotos studiert, sodass er viel über die Welt weiß.

Allerdings gibt es ein Problem. Wenn Sie versuchen, diesem Studenten etwas Neues beizubringen – etwa wie man eine bestimmte Art seltener Vögel erkennt –, könnte er versehentlich alles vergessen, was er über gewöhnliche Katzen wusste. Dies nennt man „katastrophales Vergessen". Es ist, als würde man versuchen, ein neues Kapitel in ein Buch zu schreiben, aber die Tinte ist so nass, dass sie die vorherigen Seiten verschmiert.

Die Arbeit von Ryan King und seinem Team an der Texas A&M University fragt: Wie bringen wir diesem Studenten Neues bei, ohne das Alte zu löschen, besonders wenn wir nicht viel Platz haben, um alte Notizen aufzubewahren?

Hier ist, wie sie es gelöst haben, unter Verwendung zweier Hauptideen:

1. Das Problem: Der „winzige Rucksack"

Normalerweise geben Lehrer einem Studenten, damit er nichts vergisst, einen „Speicherpuffer". Dies ist wie ein Rucksack, in dem der Student ein paar Beispiele von allem aufbewahrt, was er zuvor gelernt hat (alte Fotos von Katzen, Hunden, Autos usw.). Wenn er etwas Neues lernt, holt der Lehrer die alten Fotos heraus, um den Studenten zu erinnern: „Hey, vergiss das nicht!"

Aber in der realen Welt können wir oft keinen riesigen Rucksack tragen. Vielleicht haben wir nur Platz für ein paar Fotos. Wenn der Rucksack klein ist, gerät der Student in Verwirrung. Er konzentriert sich zu sehr auf das Neue und lässt das Alte fallen. Die Arbeit ergab, dass Standardmethoden versagen, wenn dieser „Rucksack" zu klein ist.

2. Die Lösung: Zwei neue Lehrstrategien

Die Autoren schlugen zwei Wege vor, um dies zu beheben, beide basierend darauf, wie der Student lernt.

Strategie A: Die „globale Gruppenumarmung" (Global Contrastive Loss)

Stellen Sie sich vor, der Student lernt, Fotos zu sortieren. Anstatt nur ein Foto nach dem anderen zu betrachten, bittet diese Methode den Studenten, sich die gesamte Gruppe der Fotos, die er hat (die neuen und die wenigen alten im Rucksack), auf einmal anzusehen.

Wie es funktioniert: Der Student lernt, Ähnliches zusammenzubringen (wie alle Katzen) und Verschiedenes auseinanderzudrängen (Katzen vs. Hunde).
Der Trick: Da der Student die gesamte Gruppe betrachtet, wird er nicht durch ein einziges neues Foto verwirrt. Er behält die „Form" des alten Wissens.
Am besten geeignet für: Wenn Sie einen mittelgroßen bis großen Rucksack haben. Es funktioniert hervorragend, wenn Sie genügend alte Beispiele haben, um die Gruppenumarmung auszugleichen.

Strategie B: Der „harte Trainer" (Distributionally Robust Optimization)

Dies ist die große Innovation der Arbeit für den Fall, dass der Rucksack sehr klein ist.

Stellen Sie sich vor, der Student macht einen Test. Einige Fragen sind einfach (er kennt die Antwort), und einige sind schwer (er bekommt sie immer falsch). Ein normaler Lehrer würde einfach weitermachen, nachdem der Student ein paar richtig beantwortet hat. Aber diese „harte Trainer"-Methode sagt: „Stopp! Wir müssen uns auf die schwierigen Fragen konzentrieren!"

Wie es funktioniert: Das System erkennt automatisch, welche Klassen (wie bestimmte Vogelarten) dem Studenten die meisten Probleme bereiten oder im winzigen Rucksack unterrepräsentiert sind. Es gibt diesen schwierigen Beispielen dann während des Trainings zusätzliches Gewicht oder eine höhere Bedeutung.
Die Metapher: Es ist wie ein Trainer, der bemerkt, dass ein Spieler bei Linkshänderwürfen Schwierigkeiten hat. Anstatt alles gleichmäßig zu üben, verbringt der Trainer 80 % der Zeit mit Linkshänderwürfen, bis der Spieler besser wird.
Am besten geeignet für: Wenn der Rucksack winzig ist. Es stellt sicher, dass der Student die alten, vergessenen Details nicht ignoriert, nur weil nicht viele Beispiele mehr übrig sind.

3. Die Ergebnisse: Was ist passiert?

Das Team testete diese Methoden bei zwei Arten von Herausforderungen:

Lernen neuer Kategorien: Wie der Übergang vom Wissen über 100 Tierarten zum Erlernen von 100 weiteren.
Lernen neuer Umgebungen: Wie das Erkennen derselben Tiere, aber nun in verschiedenen Foto-Stilen (Cartoons, Skizzen, Realität).

Die Erkenntnisse waren:

Standardmethoden (wie die zuvor verwendeten) brachen zusammen, wenn der Speicherrucksack klein war. Sie vergaßen das Alte schnell.
Die „globale Gruppenumarmung" funktionierte sehr gut, wenn genug Platz vorhanden war, um eine anständige Anzahl alter Beispiele zu bewahren.
Der „harte Trainer" (DRO) war der Star für kleine Rucksäcke. Selbst mit sehr wenigen alten Beispielen hielt er das Gedächtnis des Studenten scharf und verhinderte, dass er die Vergangenheit vergaß, während er die Zukunft lernte.

Das Fazit

Die Arbeit zeigt, dass wir KI beibringen können, kontinuierlich zu lernen, ohne ihre Vergangenheit zu verlieren, indem wir ändern, wie das Modell auf seine alten Erinnerungen achtet – entweder indem es die gesamte Gruppe betrachtet oder indem es sich besonders stark auf die schwierigen Teile konzentriert. Es ist, als würde man einem Studenten beibringen, ein lebenslanger Lernender zu sein, der seine ersten Lektionen nie vergisst, selbst wenn er damit beschäftigt ist, für seine Abschlussprüfungen zu lernen.

Technisches Fazit: Speichereffizientes kontinuierliches Lernen mit CLIP-Modellen

Problemstellung
Contrastive Language-Image Pretraining (CLIP)-Modelle zeigen überlegene Fähigkeiten beim Verständnis von Bild-Text-Beziehungen, stoßen jedoch bei der Anpassung an neue Datenströme ohne Vergessen vorherigen Wissens (katastrophales Vergessen) auf erhebliche Herausforderungen. Obwohl kontinuierliches Lernen (CL) für dynamische Umgebungen unerlässlich ist, wird seine Anwendung auf CLIP noch wenig erforscht. Bestehende Ansätze verlassen sich häufig auf Speicherpuffer mit Daten vergangener Aufgaben, um alte Informationen zu wiederholen. Allerdings leidet die kontrastive Verlustfunktion von CLIP, wenn diese Speicherpuffer klein sind, was zu einer Leistungsverschlechterung bei früheren Aufgaben führt. Die zentrale Herausforderung besteht darin, wie begrenzte Speicherpuffer im CLIP-basierten kontinuierlichen Lernen effizient genutzt werden können, um eine Balance zwischen der Leistung bei neuen Aufgaben und dem Behalten des Wissens über alte Aufgaben zu erreichen.

Methodik
Die Autoren schlagen zwei unterschiedliche Ansätze vor, um CLIP für Szenarien mit klassen- und domäneninkrementellem Lernen zu erweitern, wobei ein bimodales kontrastives Lernziel verwendet wird, das Bilder und Textlabels gemeinsam kodiert.

Globaler kontrastiver Verlust (GCL):
- Mechanismus: Dieser Ansatz behandelt alte und neue Daten während des Feinabstimmens gleichwertig. Er definiert ein kontrastives Ziel über die Vereinigung der aktuellen Aufgabendaten ( $D_t$ ) und einer Speicherbank ( $M_t$ ) vergangener Stichproben.
- Optimierung: Um die Rechenkosten der Summation über den gesamten Datensatz für kontrastive Terme zu bewältigen, setzt die Methode gleitende Durchschnittsschätzer ( $u^I$ und $u^T$ ) für die Gradientenkomponenten ein. Dies ermöglicht dem Modell, eine „globale" Sicht auf die Datenverteilung über die Aufgaben hinweg zu behalten, sodass Informationen aus früheren Aufgaben die aktuellen Gradientenupdates informieren können, ohne dass eine vollständige Neuberechnung des Datensatzes erforderlich ist.
- Ziel: Die Widerstandsfähigkeit gegen katastrophales Vergessen zu erhöhen, indem Labels und Bilder gemeinsam eingebettet werden und die vortrainierten Fähigkeiten von CLIP genutzt werden.
Gruppenweise distributionell robuste Optimierung (GDRO):
- Motivation: In Szenarien mit festen Speichergrößen nimmt die Anzahl der Beispiele pro Klasse ab, sobald neue Aufgaben hinzugefügt werden, was ein Ungleichgewicht zwischen den Verteilungen früherer und aktueller Aufgaben schafft. Der Standard-GCL-Ansatz hat Schwierigkeiten mit diesem Ungleichgewicht.
- Mechanismus: Diese Methode führt ein gruppenweises DRO-Ziel ein, das Klassenverluste dynamisch neu gewichtet. Sie weist Klassen mit höheren Verlusten (schwierigere Klassen) während des Trainings ein größeres Gewicht zu.
- Optimierung: Das Ziel wird als Minimax-Problem formuliert ( $\min_w \max_{p \in \Delta} \sum p_k h_k$ ), was äquivalent durch eine Log-Sum-Exp-Formulierung ausgedrückt wird. Um die Herausforderung verschachtelter Funktionen bei der Gradientenschätzung zu bewältigen, wenden die Autoren stochastische kompositionelle Optimierung an. Sie unterhalten gleitende Durchschnittsschätzer sowohl für die Verlustterme als auch für die kontrastiven Komponenten, was eine effiziente Gradientenberechnung unter Verwendung von Mini-Batches ermöglicht.

Hauptbeiträge

Bimodales kontrastives Framework: Der Artikel erweitert CLIP auf kontinuierliches Lernen, indem er ein bimodales kontrastives Ziel vorschlägt, das Bilder und Textlabels gemeinsam einbettet und im Vergleich zu Standard-Linear-Klassifikatoren die Anpassungsfähigkeit und das Behalten von Wissen verbessert.
Speichereffiziente Algorithmen: Die Autoren stellen GCL und GDRO vor, die speziell dafür entwickelt wurden, auch bei minimalem Speicherverbrauch effektiv zu funktionieren.
Dynamische Neuweightung: Die GDRO-Methode adressiert spezifisch das Klassenungleichgewicht, das in Speicherpuffer fester Größe inhärent ist, indem sie Verluste dynamisch neu gewichtet und so eine robuste Leistung bei eingeschränktem Speicher gewährleistet.

Experimentelle Ergebnisse
Die Methoden wurden auf klasseninkrementellen Datensätzen (CIFAR-100, ImageNet1K) und einem domäneninkrementellen Datensatz (DomainNet) unter Verwendung eines vortrainierten CLIP ViT-B/16-Encoders evaluiert.

ImageNet1K (Klasseninkrementell): Die vorgeschlagenen Methoden schnitten bei allen Speichergrößen deutlich besser ab als die Baselines (einschließlich EWC, DER, iCaRL, Co2L und FOSTER). Bemerkenswerterweise erlebten unimodale kontrastive Ansätze wie Co2L bei abnehmender Speichergröße starke Leistungseinbrüche, während die vorgeschlagenen Methoden robust blieben.
CIFAR-100 (Klasseninkrementell): Bei abnehmender Speichergröße hielt die GDRO-Methode eine Leistung aufrecht, die mit der Zero-Shot-Evaluation vergleichbar war, was trotz gewissem Vergessens eine solide Behaltensleistung anzeigt. Während die kontrastive Methode (GCL) bei größerem Speicher besser abschnitt, verschlechterte sich ihre Leistung ohne Speicher erheblich. Im Gegensatz dazu blieb GDRO unter strengen Speicherbeschränkungen stabil.
DomainNet (Domäneninkrementell): Beide Methoden schnitten besser ab als die Zero-Shot-Baselines. Während kontrastive Methoden wie CaSSLe Schwierigkeiten hatten, Wissen ohne eine Speicherbank zu behalten, zeigte das GDRO-Ziel nach Abschluss aller Aufgaben eine überlegene Behaltensleistung und Anpassungsfähigkeit im Vergleich zu GCL.

Bedeutung und Behauptungen
Der Artikel behauptet, dass das Einbetten sowohl von Eingabedaten als auch von Labels innerhalb eines bimodalen kontrastiven Frameworks katastrophales Vergessen effektiver reduziert als traditionelle Ansätze mit linearen Klassifikatoren. Die Bedeutung der Arbeit liegt darin, Folgendes zu demonstrieren:

Multimodales Lernen: Die Nutzung der für CLIP inhärenten gemeinsamen Einbettung von Bildern und Text ist für kontinuierliches Lernen in dynamischen Umgebungen vorteilhaft.
Adaptive Gewichtung: Die dynamische Neuweightung von Klassen (via GDRO) ist besonders effektiv für das Behalten von Wissen, wenn Speicherressourcen begrenzt sind, und adressiert damit eine zentrale Engstelle im speicherbasierten kontinuierlichen Lernen.
Effizienz: Die vorgeschlagenen Methoden ermöglichen es CLIP-Modellen, sich schnell an neue Aufgaben anzupassen und katastrophales Vergessen zu minimieren, selbst bei minimalem Speicherverbrauch, was sie für ressourcenbeschränkte reale Datenströme geeignet macht.