💻 computer science

Cross-Sample Relational Fusion: Unifying Domain Generalization and Class-Incremental Learning

Dieser Beitrag stellt Cross-Sample Relational Fusion (CORF) vor, ein einheitliches Framework, das sowohl Domain-Shift als auch katastrophales Vergessen beim Class-Incremental Learning gleichzeitig adressiert, indem es räumliche Beitragskarten zur Verfeinerung von Stichproben und einen kaskadierten Destillationsmechanismus für den mehrstufigen Wissenstransfer nutzt.

Ursprüngliche Autoren: Zhen-Hao Xie, Yan Wang, Hao Sun, Han-Jia Ye, De-Chuan Zhan, Da-Wei Zhou

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zhen-Hao Xie, Yan Wang, Hao Sun, Han-Jia Ye, De-Chuan Zhan, Da-Wei Zhou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie trainieren einen Roboter, um Objekte zu erkennen, doch die Welt verändert sich ständig um ihn herum.

Das Problem: Die Gedächtniskrise des Roboters
Normalerweise neigt ein Roboter dazu, wenn wir ihm neue Dinge beibringen (wie das Erkennen eines „Zebras", nachdem er bereits ein „Pferd" kennt), die alten Dinge zu vergessen. Dies wird als katastrophales Vergessen bezeichnet. Es ist wie bei einem Schüler, der für eine Geschichtsprüfung lernt, dann sofort mit dem Lernen für eine Mathematikprüfung beginnt und plötzlich alles über die Französische Revolution vergisst.

Aber es gibt ein zweites, hinterhältiges Problem: Domain Shift (Verschiebung des Anwendungsbereichs). Stellen Sie sich vor, Ihr Roboter hat gelernt, „Hunde" nur in sonnigen, städtischen Parks zu erkennen. Wenn Sie ihn plötzlich auf einen nebligen, ländlichen Bauernhof bringen, könnte er verwirrt sein, weil die Beleuchtung, der Hintergrund und der Stil der Fotos völlig unterschiedlich sind. Es ist, als hätte der Roboter gelernt, „Hunde" nur zu erkennen, wenn sie in der Stadt Sonnenbrillen tragen; nun sieht er einen Hund auf einem schlammigen Feld und erkennt ihn überhaupt nicht wieder.

Die meisten bestehenden Methoden beheben ein Problem, ignorieren aber das andere. Sie helfen dem Roboter entweder, sich an alte Dinge zu erinnern, scheitern aber in neuen Umgebungen, oder sie helfen ihm, sich an neue Umgebungen anzupassen, lassen ihn aber alte Klassen vergessen.

Die Lösung: CORF (Cross-Sample Relational Fusion)
Die Autoren schlagen ein neues System namens CORF vor. Betrachten Sie CORF als einen superklugen Lerncoach, der zwei Haupttricks anwendet, um dem Roboter zu helfen, neue Klassen zu lernen, ohne die alten zu vergessen, selbst wenn sich die Umgebung ändert.

Trick 1: Der „smarte Fotoeditor" (Dual-Sensitive Refinement)

Stellen Sie sich vor, Sie versuchen, dem Roboter beizubringen, wie ein „Pferd" aussieht.

Der High-Confidence-Trick: Der Coach wählt ein Foto eines Pferdes aus, bei dem der Roboter zu 100 % sicher ist. Dann findet er ein Foto eines Pferdes von einem völlig anderen Ort (wie einem anderen Land oder bei anderem Wetter). Der Coach verwendet eine „Maske", um zu sehen, wo der Roboter hinschaut. Er erkennt, dass sich der Roboter auf den Körper des Pferdes (den wichtigen Teil) konzentriert, aber vom Hintergrund (dem störenden Teil) verwirrt wird. Der Coach vermischt dann den klaren Körper des ersten Pferdes mit dem Hintergrund des zweiten Pferdes. Dies lehrt den Roboter: „Konzentriere dich auf das Pferd, ignoriere den Hintergrund."
Der Low-Confidence-Trick: Manchmal ist der Roboter verwirrt (geringe Sicherheit). Vielleicht sieht er ein unscharfes Bild. Der Coach nimmt dieses verwirrende Bild und mischt es mit einem anderen Tier (wie einer Kuh) aus derselben Szene. Dies zwingt den Roboter, genau auf die spezifischen Details zu achten, die ein Pferd zu einem Pferd und eine Kuh zu einer Kuh machen, anstatt nur basierend auf dem Hintergrund zu raten.

Das Ergebnis: Der Roboter lernt, das Wesentliche des Objekts zu erkennen, unabhängig davon, ob es sonnig, regnerisch, städtisch oder ländlich ist.

Trick 2: Die „Beziehungskarte" (Hierarchical Kernel-Based Distillation)

Wenn der Roboter neue Dinge lernt, vergisst er oft, wie die alten Dinge miteinander zusammenhängen.

Stellen Sie sich vor, der Roboter hat eine mentale Karte aller Tiere, die er kennt. Ein „Hund" ist einem „Wolf" nahe und weit entfernt von einem „Auto".
Wenn der Roboter eine neue Klasse lernt, könnte er diese Karte versehentlich durcheinanderbringen, sodass „Hund" und „Auto" ähnlich aussehen.
CORF verwendet eine Distillation-Technik. Es behält eine Kopie der „alten Karte" (aus der Zeit vor dem neuen Lernen) und vergleicht sie mit der „neuen Karte", die der Roboter gerade aufbaut.
Anstatt nur zu prüfen, ob der Roboter die richtige Antwort gibt, prüft es, ob die Beziehungen zwischen den Tieren noch korrekt sind. „Ist der Hund immer noch näher am Wolf als am Auto?" Wenn das neue Lernen diese Beziehungen durcheinanderbringt, stupsen der Coach den Roboter sanft zurück auf den richtigen Weg. Dies stellt sicher, dass der Roboter die Struktur seines Wissens behält, nicht nur die Beschriftungen.

Das große Ganze

Durch die Kombination dieser beiden Tricks schafft CORF einen Roboter, der:

Alles erinnert: Er vergisst alte Klassen nicht, wenn er neue lernt.
Überall anpassungsfähig ist: Er kann Objekte in sonnigen Städten, nebligen Höfen oder skizzenhaften Zeichnungen erkennen, weil er gelernt hat, das „Rauschen" der Umgebung zu ignorieren.

Die Studie testete dies an mehreren Datensätzen (wie OfficeHome und DomainNet) und stellte fest, dass das Hinzufügen von CORF zu bestehenden Lernsystemen diese erheblich besser darin machte, diese realweltlichen Herausforderungen zu bewältigen. Es ist, als würde man einem Schüler einen besseren Lernleitfaden und ein Gedächtnishilfsmittel geben, sodass er Prüfungen in jedem Fach, in jedem Klassenzimmer bestehen kann, ohne das zu vergessen, was er im letzten Jahr gelernt hat.

Technische Zusammenfassung: Cross-Sample Relational Fusion (CORF)

1. Problemformulierung: Cross-Domain Class-Incremental Learning (CDCIL)

Die Arbeit adressiert eine kritische Lücke in der aktuellen Forschung zum kontinuierlichen Lernen: die gleichzeitige Herausforderung von katastrophalem Vergessen und Domain-Shift. Während sich das standardmäßige Class-Incremental Learning (CIL) auf das Erlernen neuer Klassen ohne Vergessen alter Klassen konzentriert und Domain Generalization (DG) auf Robustheit über Domänen hinweg abzielt, adressiert keines der beiden Verfahren vollständig das Szenario, in dem ein Modell neue Klassen sequenziell lernen muss, während es Daten sowohl aus gesehenen als auch aus ungesehenen Domänen verarbeitet.

Die Autoren formulieren dies als Cross-Domain Class-Incremental Learning (CDCIL). In diesem Setting:

Training: Das Modell erhält einen Strom von Aufgaben, wobei jede Aufgabe Stichproben aus mehreren „gesehenen" Domänen enthält.
Inferenz: Das Modell wird auf allen zuvor gelernten Klassen sowohl über die gesehenen Domänen als auch über eine vollständig „ungesehene" Domäne evaluiert, die vom Training ausgeschlossen war.
Herausforderung: Bestehende CIL-Methoden versagen unter Domain-Shifts aufgrund fehlender Generalisierungsmechanismen, während DG-Methoden in inkrementellen Settings versagen, da ihnen Mechanismen fehlen, um dem Vergessen bei Erweiterung des Labelraums entgegenzuwirken.

2. Methodik: Cross-Sample Relational Fusion (CORF)

Die Autoren schlagen CORF vor, ein einheitliches Framework, das darauf ausgelegt ist, domänenagnostische und inkrementell stabile Repräsentationen zu erlernen. CORF integriert zwei synergistische Komponenten: Dual-Sensitive Refinement (DSR) für Daten-Level-Augmentierung und Hierarchical Kernel-Based Distillation (HKD) zur Erhaltung strukturellen Wissens.

A. Dual-Sensitive Refinement (DSR)

DSR zielt darauf ab, einen domänenagnostischen Repräsentationsraum durch die strategische Synthese eines auxiliary-Datensatzes zu konstruieren. Es nutzt räumliche Beitragskarten (via Grad-CAM) und Vorhersagekonfidenz, um das Mischen von Stichproben zu steuern:

Mischen mit hoher Konfidenz:
- Stichproben mit hoher Vorhersagekonfidenz werden als zuverlässige semantische Anker identifiziert.
- Für eine Stichprobe mit hoher Konfidenz $x_H$ wird ein Gegenstück $\tilde{x}_H$ aus einer anderen Domäne, aber derselben Klasse, abgerufen.
- Eine räumliche Beitragskarte identifiziert Regionen, die für die Klassifizierung kritisch sind. Das Modell mischt die gering-beitragenden Regionen (die oft domänenspezifisches Rauschen enthalten) von $x_H$ und $\tilde{x}_H$ , während die hoch-beitragenden Regionen von $x_H$ erhalten bleiben.
- Ziel: Das Modell wird gezwungen, sich auf semantisch konsistente Merkmale über Domänen hinweg zu verlassen und domänenspezifische Artefakte zu ignorieren.
Mischen mit niedriger Konfidenz:
- Stichproben mit niedriger Konfidenz (mehrdeutig oder verrauscht) werden identifiziert.
- Diese werden mit einer Stichprobe aus einer anderen Klasse innerhalb desselben Batches gepaart.
- Das Mischen erfolgt in hoch-beitragenden Regionen, um die Entwirrung von Merkmalen zu fördern.
- Ziel: Diese synthetisierten Stichproben werden vorübergehenden auxiliären Klassen (disjunkt zum ursprünglichen Labelraum) zugewiesen, um eine Korruption der ursprünglichen Klassifizierungsgrenzen zu verhindern, während das Modell gleichzeitig lernt, robuste Entscheidungsgrenzen zu bilden.

B. Hierarchical Kernel-Based Distillation (HKD)

Um katastrophales Vergessen zu mildern, ohne sich auf Distillation auf Logit-Ebene zu verlassen (die von Verteilungskonsistenz ausgeht), setzt CORF HKD ein. Diese Methode erhält die relationale Topologie von Stichproben über mehrere Merkmals-Hierarchien hinweg.

Relationale Kernel-Karten: Anstatt globale Logits auszurichten, konstruiert HKD Kernel-Karten auf mehreren Netzwerkschichten, die die bedingte Ähnlichkeit zwischen Paaren von Stichproben innerhalb eines Batches erfassen.
Hybrides Kernel-Design: Die Methode verwendet eine Kombination aus Cosine-Kernels (zur Erhaltung der Winkel-/semantischen Richtung) und Student-t-Kernels (zur Erfassung lokaler Nachbarschaftsstrukturen und zum Umgang mit Ausreißern).
Symmetrische Divergenz: Das aktuelle Modell wird trainiert, seine relationalen Kernel-Verteilungen mit denen des alten Modells (aus der vorherigen Aufgabe) unter Verwendung eines symmetrischen Divergenz-Verlusts auszurichten.
Ziel: Dies stellt sicher, dass die feinkörnigen, domänensensitiven strukturellen Beziehungen zwischen den Stichproben erhalten bleiben, selbst wenn sich das Modell an neue Aufgaben und Domänen anpasst.

C. Einheitliches Ziel

Das finale Trainingsziel kombiniert den Standard-Klassifizierungsverlust auf ursprünglichen und synthetisierten Stichproben mit dem hierarchischen Distillationsverlust:
$\min \sum_{(x,y) \in S_n \cup A_n} L_{cls}(h_\Psi(x), y) + L_{reg} + \beta \cdot L_{kernel}$
Wobei $S_n$ der ursprüngliche Trainingsdatensatz, $A_n$ der von DSR generierte auxiliary-Datensatz und $L_{kernel}$ der aggregierte Distillationsverlust ist.

3. Hauptbeiträge

Problemformulierung: Die Arbeit definiert CDCIL formal und hebt die Grenzen bestehender CIL- und DG-Methoden hervor, wenn sie auf Szenarien angewendet werden, die sowohl sequenzielles Klassenlernen als auch Domain-Shifts beinhalten.
Dual-Sensitive Refinement (DSR): Eine neuartige Daten-Augmentierungsstrategie, die Konfidenz und räumliche Beitragskarten nutzt, um domäneninvariante Stichproben zu synthetisieren und semantische Hinweise effektiv von Domänen-Bias zu entkoppeln.
Hierarchical Kernel-Based Distillation (HKD): Eine Strategie zur Minderung des Vergessens, die relationale Strukturen über Merkmals-Hierarchien hinweg unter Verwendung hybrider Kernel ausrichtet und eine robustere Alternative zur logit-basierten Distillation unter Domain-Shift bietet.
Einheitliches Framework: Zeigt, dass DSR und HKF nahtlos in bestehende CIL-Algorithmen (z. B. iCaRL, DER, Replay) integriert werden können, um deren Generalisierbarkeit zu verbessern.

4. Experimentelle Ergebnisse

Die Autoren evaluierten CORF auf drei Benchmark-Datensätzen: OfficeHome, DomainNet und PACS, unter Verwendung von ResNet-34 als Backbone.

Leistungssteigerungen: CORF schnitt auf allen Datensätzen konsistent besser ab als Baseline-Methoden (einschließlich FineTune, Replay, iCaRL, DER, MEMO, FOSTER).
- Auf OfficeHome (5 Aufgaben) verbesserte die Integration von CORF mit DER das Harmonische Mittel (HM) der gesehenen und ungesehenen Domänen von 42,41 % auf 46,17 %.
- Auf PACS erreichte die Integration mit FOSTER ein HM von 60,97 % und übertraf die Baseline mit einem signifikanten Vorsprung.
Ablationsstudien:
- Das Entfernen von DSR führte zu einem Rückgang der Generalisierung (Leistung im ungesehenen Bereich).
- Das Entfernen von HKD führte zu erhöhtem Vergessen (Verschlechterung der Leistung im gesehenen Bereich).
- Die Kombination beider erzielte die besten Ergebnisse und bestätigte ihren komplementären Charakter.
Hyperparameter-Sensitivität: Die Methode zeigte Robustheit gegenüber Variationen des Verfeinerungsgewichts ( $\alpha$ ) und des Distillationskoeffizienten ( $\beta$ ), mit optimaler Leistung bei $\alpha=0,3$ und $\beta=0,01$ .
Merkmalsanalyse: Visualisierungen von paarweisen Ähnlichkeitsmatrizen zeigten, dass CORF im Vergleich zu Baselines kompaktere Intra-Klassen-Cluster und besser getrennte Inter-Klassen-Grenzen erzeugte.
Kompatibilität: Das Framework wurde erfolgreich an Transformer-basierte Backbones angepasst (L2P und DualPrompt mit ViT), wobei die Gewinne aufgrund eingefrorener Backbone-Parameter bescheidener ausfielen, was seinen Plug-and-Play-Charakter bestätigt.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass CORF eine einheitliche Lösung für die dualen Herausforderungen des Vergessens und des Domain-Shifts bietet, die in der Literatur oft separat behandelt werden. Durch die explizite Modellierung der relationalen Abhängigkeiten zwischen Stichproben über Domänen und Aufgaben hinweg ermöglicht CORF den Aufbau von Repräsentationen, die sowohl domänenagnostisch als auch inkrementell stabil sind.

Die Autoren betonen, dass ihr Ansatz keine Speicherung großer Mengen vergangener Daten (jenseits standardmäßiger Exemplar-Budgets) oder komplexer generativer Modelle erfordert. Stattdessen stützt er sich auf selektive Verfeinerung und strukturelle Ausrichtung, um die Robustheit zu erhöhen. Die Ergebnisse deuten darauf hin, dass die gleichzeitige Behandlung von Domain-Shift und katastrophalem Vergessen nicht nur machbar, sondern für reale Anwendungen wie autonomes Fahren notwendig ist, in denen sich Umgebungen und Objektkategorien kontinuierlich weiterentwickeln.

Die Arbeit kommt zu dem Schluss, dass CORF zwar derzeit am effektivsten mit trainierbaren konvolutionellen Backbones ist, aber eine vielversprechende Richtung für zukünftige Forschung in diverseren inkrementellen Lernszenarien und komplexen Domain-Shifts bietet.