🤖 machine learning

Revitalizing the Beginning: Avoiding Storage Dependency for Model Merging in Continual Learning

Dieser Artikel schlägt Trajectory Regularized Merging (TRM) vor, ein neuartiges Framework, das Speicherbeschränkungen und Optimierungsstagnation im kontinuierlichen Lernen durch Umformulierung des Modell-Mergings als Optimierungsprozess in einem erweiterten Trajektorien-Unterraum adressiert, um State-of-the-Art-Leistung zu erreichen.

Ursprüngliche Autoren: Xi Wang, Cheng Deng

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xi Wang, Cheng Deng

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „vergessliche Koch" und der „schwere Kühlschrank"

Stellen Sie sich vor, Sie sind ein Koch, der jeden Tag ein neues Rezept lernen muss.

Das Ziel: Sie möchten ein Meister aller Rezepte sein (kontinuierliches Lernen).
Das Problem: Wenn Sie sich zu sehr auf das heutige neue Gericht konzentrieren, vergessen Sie möglicherweise, wie man das gestrige Gericht zubereitet. Dies wird als „katastrophales Vergessen" bezeichnet.
Die alte Lösung: Normalerweise halten sich Köche einen riesigen Kühlschrank voller aller Zutaten und Rezepte, die sie je verwendet haben, damit sie zurückblicken und sich erinnern können.
Die Einschränkung: In diesem Papier sagen die Autoren: „Keine großen Kühlschränke erlaubt!" Sie dürfen nur das Rezept behalten, das Sie gerade gelernt haben, und das, das Sie direkt davor gelernt haben. Sie können keine alten Daten oder alten Modelle speichern. Dies ist eine strenge Datenschutz- und Speicherregel.

Der aktuelle Fehler: Der „schlechte Übergabepunkt"

Bestehende Methoden versuchen, Ihr „altes Rezept" und Ihr „neues Rezept" zu einem „Meisterrezept" (Modellverschmelzung) zu kombinieren. Die Autoren haben jedoch festgestellt, dass dies bei den aktuellen Methoden schlecht funktioniert, wenn sie nicht auf die Historie zurückgreifen können.

Sie identifizierten drei spezifische Wege, wie dieser „Übergabepunkt" schiefgeht:

Das Problem „Durchschnitt ist fade" (Suboptimale lokale Konvergenz):
Stellen Sie sich vor, Sie haben ein perfektes Lasagne-Rezept und ein perfektes Sushi-Rezept. Wenn Sie sie einfach zur Hälfte mischen, erhalten Sie ein seltsames, mittelmäßiges Gericht, das nach beidem schmeckt. Aktuelle Methoden versuchen, einen „globalen Durchschnitt" zu finden, aber dies zerstört die spezifischen Details, die für jede Aufgabe benötigt werden. Das Ergebnis ist ein Modell, das bei allem okay ist, aber in nichts großartig.
Das Problem „Zerbrochene Struktur" (Störung der semantischen Darstellung):
Denken Sie an ein Gebäude. Das Fundament (untere Schichten) trägt das Gewicht, aber die spezifischen Räume (höhere Schichten) sind dort, wo die einzigartigen Funktionen stattfinden. Wenn aktuelle Methoden zwei Modelle zusammenmischen, brechen sie versehentlich die interne Verkabelung. Es ist, als würde man versuchen, zwei Häuser zu verschmelzen, indem man ihre Wände zusammenhaut; die Räume landen an den falschen Stellen, und das Haus ergibt keinen Sinn mehr.
Das Problem „In Schlamm stecken" (Verlust der Optimierungsfähigkeit):
Stellen Sie sich vor, Sie fahren ein Auto. Wenn Sie in einem tiefen, flachen Tal parken, ist es schwer, das Auto wieder in Bewegung zu setzen, weil es keinen Hang gibt, auf dem es rollen kann. Aktuelle Verschmelzungsmethoden parken das Modell oft in einem „flachen Tal" der Mathematik. Wenn die nächste neue Aufgabe kommt, ist das Modell so „steif" und festgefahren, dass es nichts Neues lernen kann. Es hat seine Fähigkeit zur Anpassung verloren.

Die Lösung: TRM (Trajectory Regularized Merging)

Die Autoren schlagen eine neue Methode namens TRM vor. Anstatt die beiden Rezepte blindlings zu mischen, behandeln sie den Verschmelzungsprozess wie eine geführte Suche nach dem perfekten Ort auf einer Karte.

So funktioniert TRM mit drei „Regeln", um den besten Ort zu finden:

Regel 1: Bleiben Sie dem neuen Auftrag treu (Task Alignment)
- Analogie: Bevor Sie die Küche verlassen, stellen Sie sicher, dass das neue Gericht tatsächlich gut schmeckt.
- Was es bewirkt: Es zwingt das verschmolzene Modell, sofort gut bei der aktuellen Aufgabe zu performen und stellt sicher, dass wir die spezifischen Details des neuen Rezepts nicht verlieren.
Regel 2: Halten Sie das Haus intakt (Vorhersagekonsistenz)
- Analogie: Stellen Sie sicher, dass die Räume im neuen Haus noch mit den Räumen im alten Haus übereinstimmen. Lassen Sie nicht zu, dass die Küche im Badezimmer landet.
- Was es bewirkt: Es überprüft, ob die interne „Verkabelung" des Modells nicht durcheinandergeraten ist. Es stellt sicher, dass das interne Verständnis der Welt des Modells stabil und logisch bleibt.
Regel 3: Halten Sie den Motor am Laufen (Gradientenreaktivität)
- Analogie: Parken Sie das Auto nicht in einem flachen Tal. Parken Sie es auf einem leichten Hügel, damit der Motor hochdrehen und sich leicht vorwärts bewegen kann.
- Was es bewirkt: Es stellt sicher, dass das Modell nicht „feststeckt". Es hält den mathematischen „Hang" steil genug, damit das Modell, wenn die nächste neue Aufgabe kommt, schnell und leicht lernen kann.

Das geheime Zutat: Der „magische Stoß"

Da die Autoren keine alten Daten einsehen dürfen, arbeiten sie mit sehr begrenzten Informationen (nur einer geraden Linie zwischen dem alten und dem neuen Modell). Um dies zu beheben, führen sie einen „Perturbationsvektor" (einen kontrollierten, zufälligen Stoß) ein.

Analogie: Stellen Sie sich vor, Sie gehen geradeaus, aber Sie haben das Gefühl, gegen eine Wand zu laufen. Sie machen einen kleinen, berechneten Schritt zur Seite (kein zufälliges Stolpern, sondern ein bewusster Schritt), um zu sehen, ob es einen besseren Weg gibt.
Warum: Dies gibt dem Modell ein wenig „Bewegungsspielraum", um einen besseren Ort zu finden, ohne die gesamte Geschichte erinnern zu müssen.

Die Ergebnisse

Die Autoren testeten diesen „Koch" (das Modell) an mehreren schwierigen Kochherausforderungen (Datensätze wie CIFAR100, ImageNet-R und Stanford Cars).

Das Ergebnis: TRM schlug die anderen Methoden konsequent.
Die Punktzahl: Beim härtesten Test (ImageNet-R mit 20 Aufgaben) erreichte TRM eine Genauigkeit von 82,7 %, während die nächstbeste Methode nur 79,3 % erreichte.
Die Effizienz: Dies geschah ohne einen riesigen Kühlschrank (keine gespeicherten Daten) und dauerte nicht viel länger zum Kochen (Trainieren) als die anderen Methoden.

Zusammenfassung

Das Papier argumentiert, dass das einfache Zusammenmitteln zweier KI-Modelle ihre Fähigkeit zerstört, später neue Dinge zu lernen. Indem die Autoren drei spezifische Regeln verwenden, um den Geschmack, die Struktur und den „Motor" des Modells zu überprüfen, und indem sie einen kleinen, berechneten Schritt zur Seite machen, schufen sie eine Möglichkeit, Modelle zu verschmelzen, die sie scharf, stabil und bereit für das hält, was als Nächstes kommt – alles ohne das Horten alter Daten.

Technische Zusammenfassung: Revitalisierung des Beginns: Vermeidung von Speicherabhängigkeit beim Modell-Merging im Kontinuierlichen Lernen

1. Problemstellung

Kontinuierliches Lernen (Continual Learning, CL) zielt darauf ab, Modellen zu ermöglichen, neues Wissen sequenziell zu erwerben, ohne katastrophales Vergessen. Während Modell-Merging als trainingsfreies Paradigma zur Integration spezialisierter Expertise in ein einheitliches Multi-Task-Modell entstanden ist, stehen bestehende Methoden in einem kritischen Konflikt mit den strengen Speicherbeschränkungen des CL. Die meisten aktuellen Merging-Techniken (z. B. Model Stock, TIES, MagMax) erfordern während der Merging-Phase den Zugriff auf alle vorherigen Task-Vektoren und das initiale Modell. Dies ist funktional äquivalent zur Speicherung des gesamten Ensembles vorheriger Experten und verstößt gegen das CL-Prinzip, die Aufbewahrung historischer Daten oder Modelle zu untersagen.

Die Autoren zeigen, dass unter strengen CL-Bedingungen – bei denen nur der aktuelle Experte und das unmittelbar gemerged Modell verfügbar sind – bestehende Methoden unter katastrophaler Leistungsverschlechterung (bis zu 6 %) leiden. Durch diagnostische Experimente identifiziert die Arbeit drei Ursachen für dieses Versagen:

Suboptimale lokale Konvergenz: Bestehende Methoden priorisieren eine globale Ausrichtung, wodurch gemerged Modelle in Hochverlust-Regimen verweilen, die weit von den optimalen Becken der einzelnen Aufgaben entfernt liegen, was zur Akkumulation aufgaben spezifischer Fehler führt.
Störung der strukturellen semantischen Repräsentation: Lineares Merging zerbricht die feinen funktionalen Abhängigkeiten zwischen den Schichten und verursacht signifikante semantische Drifts, insbesondere in tieferen Schichten, wo aufgaben spezifische Semantiken kodiert sind.
Verlust der Optimierungsplastizität: Gemerged Modelle zeigen oft eine „gerichtete Versteifung", bei der die Winkelabweichung der Gradienten minimiert wird. Dies deutet darauf hin, dass das Modell in pathologisch flachen Regionen des Verlustlands gefangen ist, was zu verschwindenden Gradienten und einer Unfähigkeit führt, sich an nachfolgende Aufgaben anzupassen.

2. Methodik: Trajektorien-reguliertes Merging (TRM)

Um diese Einschränkungen ohne Speicherung historischer Daten zu adressieren, schlagen die Autoren Trajektorien-reguliertes Merging (TRM) vor. Dieses Framework formuliert die Merging-Phase als geführtes Optimierungsproblem innerhalb eines erweiterten Trajektorien-Unterraums um.

Konstruktion des erweiterten Unterraums:
Anstatt eine Lösung ausschließlich innerhalb des 1D-linearen Spannraums des aktuellen Task-Vektors ( $\tau_t$ ) und des vorherigen Task-Vektors ( $\tau_{t-1}$ ) zu suchen, führt TRM einen Störvektor $P$ ein, der orthogonal zum Spannraum dieser Vektoren steht. Diese Erweiterung kompensiert den durch Speicherbeschränkungen verlorenen Informationsgehalt und ermöglicht es der Suche, elastischere Regionen des nicht-konvexen Parameterraums zu erkunden. Der gemerged Task-Vektor wird wie folgt formuliert:
$\tau_{mrg}^t(\alpha, \beta) = \alpha \cdot \tau_t + (1-\alpha) \cdot \tau_{t-1} + \beta \cdot P$
wobei $\alpha$ und $\beta$ Interpolations- bzw. Erweiterungskoeffizienten sind.

Multi-objektives Überwachungssignal:
Um die optimalen Koeffizienten $\{\alpha, \beta\}$ zu identifizieren, optimiert TRM eine einheitliche Zielfunktion, die aus drei synergistischen Constraints besteht:

Task-Ausrichtung ( $L_{align}$ ): Minimiert das empirische Risiko (Cross-Entropy-Verlust) auf der aktuellen Aufgabe. Dies stellt sicher, dass das gemerged Modell am neuesten Expertenwissen verankert bleibt und eine Verdrängung aus hochpräzisen lokalen Becken verhindert wird.
Vorhersagekonsistenz ( $L_{pre}$ ): Minimiert den L2-Abstand auf Schichtebene zwischen den versteckten Repräsentationen des gemerged Modells und dem funktionalen Zentrum des aktuellen feinabgestimmten Modells und des vorherigen konsolidierten Modells. Ein progressives Gewichtungsschema wird angewendet, wobei höhere Schichten priorisiert werden, in denen aufgaben spezifische Semantiken liegen, um strukturelle semantische Drifts zu verhindern.
Gradientenreaktivität ( $L_{res}$ ): Maximiert die quadrierte Norm des Gradienten auf der aktuellen Aufgabe. Basierend auf der Beobachtung, dass zwischen sequenziellen Aufgaben Überlappungen auf niedriger Ebene von Merkmalen existieren, aktiviert die Maximierung der Gradientennorm auf der aktuellen Aufgabe die kinetische Reaktivität des Modells neu, stellt sicher, dass es nicht in flachen Regionen gefangen ist, und erhält die Plastizität für zukünftige Aufgaben.

Der Gesamtverlust ist definiert als $L_{total} = L_{align} + \lambda_1 L_{pre} + \lambda_2 L_{res}$ . Zusätzlich wird, um eine vorzeitige Konvergenz zu lokalen Optima während der Suche zu verhindern, die Initialisierung durch einen stochastischen Crossover von Parametern aus dem vorherigen und dem aktuellen Modell durchgeführt.

3. Hauptbeiträge

Die Arbeit skizziert vier primäre Beiträge:

Identifikation von Einschränkungen: Sie hebt hervor, dass bestehende Modell-Merging-Methoden die CL-Prinzipien nicht vollständig einhalten und bei Verbot des Wissensspeichers unter erheblicher Leistungsverschlechterung leiden.
Theoretische Analyse: Sie analysiert die Ursachen dieser Lücke (Verlust lokaler Optimalität, semantische Drift und Verlust der Plastizität) und formuliert Merging als Problem der Suche nach einem optimalen Punkt innerhalb eines orthogonal erweiterten Trajektorien-Unterraums neu.
Neues Framework: Sie schlägt TRM vor, eine Methode, die durch drei Constraints (Task-Ausrichtung, Vorhersagekonsistenz und Gradientenreaktivität) geleitet wird, um historische Stabilität mit zukünftiger Plastizität zu harmonisieren, ohne auf gespeicherte Modelle oder Daten-Replay zurückzugreifen.
Empirische Validierung: Sie demonstriert State-of-the-Art-Leistung über mehrere Benchmarks hinweg unter strengen CL-Bedingungen.

4. Experimentelle Ergebnisse

Die Autoren evaluierten TRM auf drei Datensätzen: CIFAR100, ImageNet-R und Stanford Cars, unter Verwendung von klassen-inkrementellem Lernen (CIL) mit variierenden Anzahlen von Aufgaben (5, 10 und 20). Als Backbone wurde CLIP ViT-B/16 verwendet.

Leistung: TRM erzielte in den meisten Settings State-of-the-Art-Ergebnisse. Auf ImageNet-R übertraf es vorherige SOTA-Methoden um Margen von 1,4 % bis 3,4 % bei 5, 10 und 20 Aufgaben. Auf CIFAR100 verbesserte es sich gegenüber dem vorherigen SOTA um 3,1 % (5 Aufgaben) und 1,5 % (10 Aufgaben).
Ablationsstudien: Das Entfernen eines der drei Constraints führte zu Leistungsabfällen, was bestätigt, dass Stabilität (Ausrichtung/Konsistenz) und Plastizität (Reaktivität) sich gegenseitig verstärken.
Skalierbarkeit: Experimente auf dem großskaligen ImageNet1K (100 Aufgaben) und mit verschiedenen Backbones (ViT-L/14, LAION-vorabtrainiertes ViT-B/16) bestätigten die Robustheit und Skalierbarkeit der Methode.
Effizienz: Obwohl TRM im Vergleich zu einigen Baselines eine leichte Erhöhung der Trainingszeit mit sich bringt (z. B. 33 Minuten vs. 30 Minuten auf ImageNet-R), erzielt es signifikante Leistungsgewinne bei minimalem Overhead.
Optimierungsstabilität: Die Analyse der spektralen Norm der Hesse-Matrix zeigte, dass TRM eine moderate und stabile Krümmung des Verlustlands aufrechterhält und die pathologische Schärfe vermeidet, die mit schlechter Generalisierung verbunden ist.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass TRM erfolgreich die Lücke zwischen den theoretischen Vorteilen des Modell-Mergings und den praktischen Einschränkungen des kontinuierlichen Lernens schließt. Durch die Vermeidung der Notwendigkeit, historische Task-Vektoren zu speichern oder Daten zu replizieren, bietet TRM eine skalierbare und datenschutzkonforme Lösung zur Integration spezialisierter Expertise. Die Autoren betonen, dass ihre Methode katastrophales Vergessen in kontinuierlichen Datenströmen effektiv mildert, indem sie den „Beginn" der nächsten Trainingsphase revitalisiert – sicherstellend, dass das gemerged Modell von einem Zustand ausgeht, der sowohl stabil (Erhalt des vorherigen Wissens) als auch plastisch (bereit für neue Optimierung) ist. Die Arbeit legt nahe, dass die Neuformulierung von Merging als restringierte Optimierung innerhalb eines erweiterten Unterraums ein gangbarer Weg für CL ist, der über einfache lineare Interpolationsheuristiken hinausgeht.