🤖 machine learning

Learning Subset-Shared Invariances for Domain Generalization with Mixture-of-Experts

Dieses Paper schlägt ein Framework zur Domänen-Generalisierung vor, das die restriktive Annahme der globalen Invarianz durch eine „Subset-Shared Invariance“ ersetzt, welche mittels einer Mixture-of-Experts-Architektur implementiert wird, wodurch die Generalisierung auf ungesehene Zielgebiete verbessert wird, indem prädiktive Strukturen modelliert werden, die nur innerhalb spezifischer Domänen-Subsets stabil sind, anstatt über alle Domänen hinweg.

Ursprüngliche Autoren: Tien-Hung Nguyen, Tien-Dat Tran, M. -Duong Nguyen, Kok-Seng Wong

Veröffentlicht 2026-06-25

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tien-Hung Nguyen, Tien-Dat Tran, M. -Duong Nguyen, Kok-Seng Wong

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „Einheitslösung“-Falle

Stellen Sie sich vor, Sie trainieren einen Roboter, um Tiere zu erkennen. Sie zeigen ihm Bilder aus drei verschiedenen „Welten“:

Welt A: Fotos von echten Löwen in der Savanne.
Welt B: Comiczeichnungen von Löwen.
Welt C: Schwarz-Weiß-Skizzen von Löwen.

Traditionelle KI-Methoden versuchen, eine einzige Regel zu finden, die in allen drei Welten gleichzeitig funktioniert. Sie sagen: „Um ein Löwe zu sein, musst du eine Mähne, einen Schwanz und eine bestimmte Nasenform haben, egal ob du ein Foto, ein Cartoon oder eine Skizze bist.“

Die Arbeit argumenttiert, dass dieser Ansatz fehlerhaft ist. Es ist, als würde man versuchen, einen quadratischen Klotz in ein rundes Loch zu pressen.

In der Foto-Welt lernt der Roboter vielleicht, dass „goldenes Fell“ ein Schlüsselmerkmal ist.
In der Skizzen-Welt existiert „goldenes Fell“ nicht; dort zählen nur „Linien“.
Wenn der Roboter versucht, eine Regel zu finden, die sowohl „goldenes Fell“ als auch „Linien“ gleichzeitig perfekt vereint, wird er verwirrt. Er könnte dazu neigen, das Fell ganz zu ignorieren (weil es in Skizzen nicht existiert) oder die Linien zu ignorieren (weil sie in Fotos nicht vorkommen).

Die Autoren nennen dies das „Globale Invarianz“-Problem. Indem man die KI zwingt, über jede verschiedene Welt hinweg perfekt konsistent zu sein, wirft sie versehentlich nützliche Hinweise weg, die nur in einigen dieser Welten existieren. Je mehr verschiedene Welten man hinzufügt, desto mehr vergisst der Roboter, wie man das Tier erkennt, weil er versucht, zu perfekt zu sein.

Die Lösung: Das „Spezialisierte Team“ (MESSI)

Anstatt eines einzelnen Roboters, der versucht, ein Experte für alles zu sein, schlagen die Autoren ein Team von Spezialisten vor, die zusammenarbeiten, genannt MESSI (Mixture of Experts with Subset-Shared Invariances).

Stellen Sie sich MESSI wie eine Restaurantküche mit einem Küchenchef (dem Router) und mehreren spezialisierten Köchen (den Experten) vor.

Der Router (Der Küchenchef): Wenn eine Bestellung eingeht (ein neues Bild), schaut der Küchenchef darauf und entscheidet: „Das sieht nach einer Skizze aus. Ich schicke es an den Skizzen-Spezialisten. Das sieht wie ein Foto aus. Ich schicke es an den Foto-Spezialisten.“
Die Experten (Die Spezialisten):
- Experte 1 lernt nur aus Fotos und Cartoons. Sie gleichen ihre Regeln ab, um sicherzustellen, dass sie sich darüber einig sind, wie ein „Löwe“ in diesen beiden Welten aussieht. Sie ignorieren die Skizzen.
- Experte 2 lernt nur aus Skizzen und Cartoons. Sie gleichen ihre Regeln für diese beiden Welten ab.
- Experte 3 kümmert sich vielleicht um eine andere Kombination.

Der magische Trick: Das System zwingt Experte 1 nicht dazu, mit Experte 2 übereinzustimmen. Es zwingt die Experten nur dazu, sich untereinander über die spezifischen Gruppen von Welten einig zu sein, denen sie zugewiesen sind. Auf diese Weise bleibt die Regel „goldenes Fell“ für den Foto-Experten erhalten, und die Regel „Linien“ bleibt für den Skizzen-Experten erhalten.

Wie es in der Praxis funktioniert

Die Arbeit führt einige kluge Mechanismen ein, um dieses Team zum Laufen zu bringen:

Routing-bedingte Ausrichtung (Routing-Conditioned Alignment): Das System rät nicht einfach, welcher Experte welches Bild bearbeitet. Es lernt zu sagen: „Für diesen spezifischen Typ von Löwe in dieser spezifischen Welt ist Experte A die beste Wahl.“ Es erstellt eine „weiche Karte“, auf der verschiedene Experten unterschiedliche „Teilmengen“ (Subsets) der Daten bearbeiten.
Ehrlichkeit bewahren: Um sicherzustellen, dass die Experten nicht alle träge werden und genau das Gleiche tun (was den Zweck vereiteln würde), nutzt das System einen „Diversity Loss“ (Diversitätsverlust). Es ist wie ein Manager, der den Köchen sagt: „Ihr beide kocht exakt dasselbe Rezept. Versucht, einen anderen Weg zu finden, das Problem zu lösen!“ Dies stellt sicher, dass jeder Experte eine einzigartige, nützliche Fähigkeit lernt.
Die Arbeitslast verteilen: Das System stellt auch sicher, dass kein einzelner Experte überlastet wird, während andere untätig bleiben. Es sorgt dafür, dass die Arbeit fair verteilt wird.

Die Ergebnisse: Warum es besser ist

Die Autoren testeten dies an Standard-KI-Benchmarks (wie dem Erkennen von Objekten in verschiedenen Bildstilen).

Der alte Weg: Je mehr verschiedene Arten von Bildern (mehr „Welten“) sie hinzufügten, desto schlechter wurde die traditionelle KI. Es war, als würde man versuchen, eine Sprache zu sprechen, die eine perfekte Mischung aus Englisch, Französisch und Japanisch ist – am Ende klang es wie Kauderwelsch.
Der MESSI-Weg: Als sie mehr Welten hinzufügten, blieb MESSI stark. Da es keine einzelne, starre Regel erzwang, konnte es sich anpassen. Es erkannte: „Okay, für diese Gruppe von Bildern verwende ich Regel A. Für jene Gruppe verwende ich Regel B.“

Die wichtigste Erkenntnis

Die Kernbotschaft der Arbeit ist einfach: Zwingen Sie die KI nicht dazu, eine einzige perfekte Regel zu finden, die überall funktioniert.

Lassen Sie die KI stattdessen lernen, dass die Welt aus verschiedenen „Nachbarschaften“ besteht. In einigen Nachbarschaften gelten bestimmte Regeln. In anderen gelten andere Regeln. Indem sie ein Team von Spezialisten einsetzt, die sich nur auf die Regeln für ihre spezifische Nachbarschaft einigen, wird die KI viel intelligenter und robuster, wenn sie auf eine völlig neue, unbekannte Welt trifft.

Es ist der Unterschied zwischen einem Generalisten, der ein bisschen von allem weiß, aber nichts beherrscht, und einem Team von Spezialisten, die genau wissen, wie sie mit den spezifischen Situationen umgehen müssen, die ihnen zugewiesen wurden.

Technisches Resümee: Lernen von Teilmengen-geteilten Invarianzen für die Domänengeneralisierung mittels Mixture-of-Experts

1. Problemstellung

Domänengeneralisierung (Domain Generalization, DG) zielt darauf ab, Modelle auf einem oder mehreren Quellendomänen zu trainieren, die auf ungesehene Zieldomänen generalisieren, ohne während des Trainings auf Zieldaten zuzugreifen. Der vorherrschende Ansatz in der DG beruht auf dem Erlernen domäneninvarianter Repräsentationen, indem typischerweise erzwungen wird, dass die bedingte Verteilung $P(Z|Y)$ über alle Quellendomänen hinweg konsistent bleibt. Methoden wie Feature-Alignment, Invariant Risk Minimization (IRM) und Gradient Matching operieren unter der Annahme, dass eine einzige, global geteilte prädiktive Struktur existiert.

Die Autoren argumentieren jedoch, dass diese Annahme oft zu restriktiv ist. In realen Szenarien können Domänen in ihren prädiktiven Strukturen nur teilweise überlappen; spezifische Merkmale können in einigen Domänen stabil sein, während sie in anderen variieren. Das Erzwingen globaler Invarianz über eine zunehmende Anzahl heterogener Domänen schränkt den zulässigen Repräsentationsraum progressiv ein. Theoretische Analysen und empirische Beobachtungen (Abbildung 1) zeigen, dass mit steigender Anzahl der Quellendomänen die gegenseitige Information zwischen der gelernten Repräsentation und dem Label ( $I(Z; Y)$ ) monoton abnimmt. Infolgedessen werden wertvolle prädiktive Faktoren, die nur innerhalb spezifischer Teilmengen von Domänen stabil sind, verworfen, was zu einer verschlechterten Generalisierungsleistung führt, wenn die Domänenheterogenität hoch ist.

2. Methodik: MESSI

Um die Einschränkungen der globalen Invarianz zu adressieren, schlägt das Paper MESSI (Mixture-of-Experts for Subset-Shared Invariances) vor. Die Kernhypothese ist, dass die invariante Struktur als teilmengen-geteilt (subset-shared) statt als global geteilt modelliert werden sollte. Die Methode verwendet eine Mixture-of-Experts (MoE)-Architektur, um eine strukturierte Dekomposition der Domänenbeziehungen zu erlernen.

2.1 Architektur

MESSI nutzt einen gemeinsamen Backbone-Encoder (z. B. DeiT), gefolgt von einem Router und mehreren Experten-Netzwerken:

Gemeinsamer Encoder: Erzeugt eine Merkmalsrepräsentation $u = b_\phi(x)$ .
Router: Berechnet eine weiche Verteilung über die Experten $\pi(x) = \text{softmax}(g_\theta(u))$ und approximiert effektiv eine latente Teilmengen-Variable $S$ .
Experten: Jeder Experte $m$ erzeugt eine spezifische Repräsentation $z^{(m)} = h_m(u)$ .
Aggregation: Die endgültige Repräsentation ist eine gewichtete Summe $z(x) = \sum \pi_m(x) z^{(m)}$ , was die adaptive Komposition von teilmengen-invarianten Komponenten ermöglicht.

2.2 Trainingsziele

Das Modell wird trainiert, um eine zusammengesetzte Verlustfunktion (Gleichung 5) zu optimieren:
$\mathcal{L} = \mathcal{L}_{cls} + \lambda_{ssi}\mathcal{L}_{OT}^{ssi} + \lambda_{sp}\mathcal{L}_{sp} + \lambda_{bal}\mathcal{L}_{bal} + \lambda_{div}\mathcal{L}_{div}$

Routing-bedingte Teilmengen-Ausrichtung ( $\mathcal{L}_{OT}^{ssi}$ ): Anstatt alle Domänenpaare auszurichten, wird Invarianz selektiv erzwungen. Für jeden Experten $m$ richtet die Methode die klassenbedingten Merkmalsverteilungen nur zwischen Domänenpaaren $(i, j)$ aus, für die der Experte eine hohe Routing-Verantwortung für eine bestimmte Klasse $c$ trägt. Das Ausrichtgewicht $a_{ijc}^{(m)}$ wird aus den Routing-Wahrscheinlichkeiten abgeleitet. Die Diskrepanz wird mittels Optimal Transport (OT) (oder einer MMD-Variante) gemessen, gewichtet durch diese Routing-Massen. Dies schafft eine „routing-induzierte Invarianz“, bei der das Modell lernt, wo Invarianz gelten sollte.
Experten-Spezialisierung ( $\mathcal{L}_{div}$ ): Um zu verhindern, dass Experten in redundante Repräsentationen kollabieren, minimiert ein Diversitäts-Regularisierer die Kosinus-Ähnlichkeit zwischen den Merkmalsrichtungen verschiedener Experten.
Konfidentes und balanciertes Routing ( $\mathcal{L}_{sp}, \mathcal{L}_{bal}$ ):
- $\mathcal{L}_{sp}$ fördert spärliches (sparse) Routing auf Instanzebene (niedrige Entropie), um sicherzustellen, dass jede Stichprobe eine spezifische Teilmenge von Experten aktiviert.
- $\mathcal{L}_{bal}$ gewährleistet eine ausgewogene Experten-Auslastung auf Datensatzebene, um zu verhindern, dass einige wenige Experten den Verkehr dominieren.

3. Hauptbeiträge

Das Paper skizziert drei primäre Beiträge:

Identifikation einer fundamentalen Einschränkung: Die Autoren zeigen auf, dass das Erzwingen von Invarianz über eine zunehmende Anzahl von Domänen die prädiktive Information reduziert. Sie führen die Teilmengen-geteilte Invarianz (subset-shared invariance) ein und definieren DG neu als ein Problem des Lernens strukturierter, teilmengenabhängiger Invarianzen anstelle einer einzigen globalen invarianten Repräsentation.
Routing-basierter MoE-Framework: Sie schlagen eine Methode vor, die Routing nutzt, um eine datengesteuerte Dekomposition der Domänenbeziehungen zu induzieren. Durch die Ausrichtung der Experten nur mit den Teilmengen von Domänen, die sie bedienen, erzwingt die Methode Invarianz selektiv und ermöglicht die adaptive Komposition invarianter Komponenten, ohne explizite Teilmengen-Labels zu benötigen.
Empirische Validierung: Der Ansatz zeigt eine verbesserte Out-of-Domain-Generalisierung auf Standard-Benchmarks, insbesondere unter heterogenen Domänenverschiebungen und bei zunehmender Anzahl der Quellendomänen.

4. Experimentelle Ergebnisse

Die Experimente wurden auf Standard-DG-Benchmarks (DomainBed: PACS, OfficeHome, TerraIncognita, DomainNet) und einem kontrollierten Rotated-Colored-MNIST-Datensatz durchgeführt, der darauf ausgelegt ist, das Wachstum von Domänen zu testen.

Standard-Benchmarks: MESSI (speziell die DeiT-S/16 Variante mit OT) erreichte eine durchschnittliche Genauigkeit von 66,2 % auf DomainBed und übertraf damit starke Baselines wie ERM, CORAL, Fishr, SAGM sowie andere MoE-basierte Methoden wie GMoE und OMoE.
Robustheit gegenüber Domänenwachstum: Im kontrollierten Rotated-Colored-MNIST Fixed-Budget-Domänenwachstums-Protokoll zeigte MESSI eine überlegene Robustheit. Während globale Ausrichtungsmethoden (wie CORAL) mit zunehmender Anzahl der Quellendomänen Leistungseinbußen erlitten (aufgrund von Übersteuerung), behielt MESSI eine hohe Genauigkeit mit einem minimalen Abfall bei (1,86 % Abfall gegenüber 2,58 % für die beste CORAL-Variante).
Ablationsstudien:
- Das Entfernen der teilmengenbedingten Ausrichtung ( $\mathcal{L}_{ssi}$ ) verursachte den größten Leistungsabfall, was sie als kritische Komponente bestätigt.
- Das Entfernen von Diversitäts- oder Routing-Regularisierern führte zu Experten-Redundanz und diffusem Routing, was die Leistung minderte.
- Vergleiche mit Kontrollgruppen (Global-MoE, Random-Subset-MoE) zeigten, dass MESSI eine distinkte Ausrichtungsstruktur lernt und nicht einfach nur eine globale Zielfunktion spärlich macht.
Effizienz: Obwohl die OT-basierte Variante einen zusätzlichen Trainingsaufwand einführt (ca. 12,39x ERM-Zeit), reduziert die MMD-Variante diesen auf etwa 4,24x. Die Inferenzkosten bleiben vergleichbar mit anderen MoE-Methoden.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass die Domänengeneralisierung über das Paradigma des Erzwingens einer einzigen globalen Invarianz hinausgehen muss. Stattdessen wird argumentiert, dass die prädiktive Struktur inhärent teilmengenabhängig ist.

Theoretische Erkenntnis: Die Arbeit liefert eine theoretische Rechtfertigung (via Mutual-Information-Analyse) dafür, warum globale Invarianz bei zunehmender Domänenheterogenität versagt: Sie zwingt das Modell dazu, prädiktive Faktoren zu verwerfen, die nicht universell geteilt werden.
Praktische Implikation: Durch die Modellierung der Invarianz über teilweise geteilte Strukturen über Domänenteilmengen hinweg erreicht MESSI eine größere Robustheit. Der Routing-Mechanismus ermöglicht es dem Modell, diese Teilmengen direkt aus den Daten zu entdecken, ohne explizite Teilmengen-Labels oder vordefinierte Gruppierungen zu benötigen.
Einschränkungen: Die Autoren räumen ein, dass die Methode auf der Fähigkeit des Routers zur Spezialisierung beruht; wenn die Quellendomänen wenige oder die Klassendeckung unausgewogen ist, könnten die Routing-Signale verrauscht sein. Zudem sind die Rechenkosten für die paarweise Ausrichtung, insbesondere mit Optimal Transport, höher als bei Standard-Global-Alignment-Methoden.

Zusammenfassend bietet MESSI einen Mechanismus zur Bewahrung und Komposition von Teilmengen-Invarianzen und legt nahe, dass die Zukunft der DG in der strukturierten, adaptiven Dekomposition statt in der uniformen globalen Ausrichtung liegt.