💻 computer science

Domain-Agnostic Feature Modulation for Semi-Supervised Domain Generalization

Dieser Beitrag adressiert die anspruchsvolle domänenlabel-unabhängige semi-überwachte Domänengeneralisierungsaufgabe, indem er eine Feature-Modulationsstrategie zur Erzeugung robuster, domäneninvarianter Repräsentationen sowie eine dynamische Verlustskalierungsfunktion zur Reduktion von Domänenrauschen und zur Verbesserung der Pseudolabel-Genauigkeit vorschlägt und damit ohne Verwendung von Domänenlabels signifikante Leistungssteigerungen auf wichtigen Benchmarks erzielt.

Ursprüngliche Autoren: Venuri Amarasinghe (University of Moratuwa), Kalinga Bandara (University of Moratuwa), Isun Randila (University of Moratuwa), Asini Jayakody (University of Moratuwa), Chamuditha Jayanga Galappaththige

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Venuri Amarasinghe (University of Moratuwa), Kalinga Bandara (University of Moratuwa), Isun Randila (University of Moratuwa), Asini Jayakody (University of Moratuwa), Chamuditha Jayanga Galappaththige (Queensland University of Technology), Ranga Rodrigo (University of Moratuwa)

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die Herausforderung der „neuen Stadt"

Stellen Sie sich vor, Sie trainieren einen Roboter, um Tiere zu erkennen. Sie zeigen ihm Tausende von Bildern von Hunden und Katzen, die in einem sonnigen Park aufgenommen wurden (Quelldomain). Der Roboter lernt perfekt.

Doch dann bringen Sie den Roboter in einen dunklen, regnerischen Wald (Zieldomain), um ihn zu testen. Das Licht ist anders, die Bäume sehen anders aus und die Tiere sehen anders aus. Der Roboter gerät in Verwirrung. Er könnte denken, ein nasser Hund sei eine Katze, weil die Merkmale des „regnerischen Waldes" sein Gehirn durcheinanderbringen.

Dies nennt man Domain Shift (Domänenverschiebung). In der realen Welt verfügen wir oft nicht über perfekte, beschriftete Daten für jede neue Umgebung (wie den regnerischen Wald). Wir haben ein wenig beschriftete Daten und viele unbeschriftete Daten (Bilder ohne Namen).

Das Ziel dieses Papers ist es, einem Roboter beizubringen, wie er mit diesen neuen, unbekannten Umgebungen umgeht, wobei er hauptsächlich unbeschriftete Daten verwendet, ohne genau wissen zu müssen, welcher Umgebung (Domain) jedes Bild entstammt.

Die zwei Haupthürden

Die Autoren identifizierten zwei große Probleme bei den aktuellen Methoden:

Das „Raten-Spiel" (Pseudo-Labeling): Da wir für die neuen Daten keine Labels haben, muss der Roboter die Labels erraten (z. B. „Ich bin zu 90 % sicher, dass dies ein Hund ist"). Diese Raten werden Pseudo-Labels genannt. Wenn der Roboter durch den Hintergrund des „regnerischen Waldes" verwirrt ist, macht er schlechte Raten. Wenn Sie den Roboter mit schlechten Raten trainieren, wird er schlechter.
Die „zu strenge" Regel: Um schlechte Raten zu vermeiden, sind aktuelle Methoden sehr streng. Sie lassen den Roboter nur bei Raten lernen, bei denen er zu 95 % sicher ist. Das bedeutet, sie verwerfen 90 % der unbeschrifteten Daten, weil der Roboter nicht sicher genug ist. Es ist wie ein Lehrer, der den Schülern nur die einfachsten Fragen zum Lernen erlaubt und den Rest ignoriert.

Die Lösung: Ein zweistufiger Zaubertrick

Die Autoren schlagen eine neue Methode vor, die Domain-Agnostic Feature Modulation (domänenunabhängige Merkmalsmodulation) genannt wird. Betrachten Sie dies als einen zweistufigen Zaubertrick, um das Gehirn des Roboters zu reparieren.

Schritt 1: Der „Mixer" (Feature Modulation)

Die Analogie: Stellen Sie sich vor, Sie versuchen, jemandem beizubringen, einen Hund zu erkennen.

Das Problem: In der Welt der „Fotos" haben Hunde Fell. In der Welt der „Skizzen" sind Hunde nur Linien. Wenn der Roboter sich auf „Fell" konzentriert, scheitert er in der Skizzenwelt. Wenn er sich auf „Linien" konzentriert, scheitert er in der Fotowelt.
Die Lösung: Die Autoren haben einen Feature Modulator erstellt. Betrachten Sie dies als einen Mixer.
- Sie nehmen die spezifischen Merkmale eines Bildes (das Fell, die Linien).
- Sie mischen sie mit einer „Ähnlichen Durchschnittsdarstellung" (SAR). Stellen Sie sich die SAR als einen „Super-Durchschnittshund" vor, der durch das Vermischen der besten Teile von Hunden aus allen verschiedenen Welten (Fotos, Skizzen, Cartoons) entstanden ist.
- Der Mixer dämpft die Teile, die sich zwischen den Welten zu stark ändern (wie der Hintergrund oder die Beleuchtung), und verstärkt die Teile, die gleich bleiben (die Form der Schnauze).
Das Ergebnis: Der Roboter hört auf, auf den Hintergrund des „regnerischen Waldes" zu schauen, und beginnt sich auf die „Hund-Form" zu konzentrieren. Dies macht die Raten des Roboters (Pseudo-Labels) viel genauer.

Schritt 2: Der „smarte Lautstärkeregler" (Loss Scaling)

Die Analogie: Jetzt, wo der Roboter bessere Raten abgibt, stellten die Autoren fest, dass sie weniger streng sein könnten.

Der alte Weg: „Höre nur auf Raten, bei denen du zu 95 % sicher bist." (Dies ignoriert viele Daten).
Der neue Weg: Sie führten eine Loss Scaling-Funktion ein. Stellen Sie sich einen Lautstärkeregler vor.
- Wenn der Roboter sehr sicher ist (95 %), ist die Lautstärke hoch (hohe Gewichtung).
- Wenn der Roboter einigermaßen sicher ist (75 %), ist die Lautstärke niedriger, aber immer noch hörbar.
- Entscheidend ist, dass sie auch auf „Unsicherheit" prüfen (wie wackelig die Hand des Roboters ist). Wenn der Roboter wackelig ist, drehen sie die Lautstärke noch weiter herunter, um zu verhindern, dass er das Falsche lernt.
Das Ergebnis: Der Roboter kann nun aus mehr Daten lernen (einschließlich der „einigermaßen sicheren" Raten), ohne durch das Rauschen verwirrt zu werden.

Warum dies wichtig ist (Die Ergebnisse)

Die Autoren testeten dies an vier großen Datensätzen (wie PACS, OfficeHome usw.), die wie verschiedene „Universen" von Bildern sind.

Keine Domain-Labels erforderlich: Im Gegensatz zu anderen Methoden, die ein Label benötigen, das besagt „Dies stammt aus der Fotowelt", funktioniert diese Methode blind. Es ist ihr egal, woher die Daten kommen.
Bessere Genauigkeit: Durch die Bereinigung der Merkmale (Schritt 1) und die kluge Nutzung mehrerer Daten (Schritt 2) übertraf ihre Methode die bisherigen besten Methoden (wie FixMatch) mit einem signifikanten Vorsprung (eine Verbesserung von etwa 3–6 %).
Der „Keep Rate"-Gewinn: Es gelang ihnen, mehr Daten im Trainingszyklus zu behalten (höhere „Keep Rate"), während sie gleichzeitig die Raten genau hielten. Es ist, als würde man einen Schüler dazu bringen, 20 % mehr Fragen zu lernen, ohne dass er verwirrt wird.

Zusammenfassung in einem Satz

Das Paper lehrt ein Computer-Vision-Modell, das „Hintergrundrauschen" verschiedener Umgebungen zu ignorieren und sich auf das Kernobjekt zu konzentrieren, wodurch es aus einem viel größeren Pool unbeschrifteter Daten lernen kann, ohne genau wissen zu müssen, woher diese Daten stammen.

Technische Zusammenfassung: Domänenagnostische Merkmalsmodulation für halbüberwachtes Domänengeneralisierung

Problemstellung
Die halbüberwachte Domänengeneralisierung (SSDG) zielt darauf ab, die Generalisierungsfähigkeit von Modellen auf nicht gesehene Zieldomänen zu verbessern, indem ein kleiner Anteil an gelabelten Daten zusammen mit einer Fülle ungelabelter Daten genutzt wird. Während bestehende SSDG-Methoden häufig auf Pseudo-Labeling (PL) für ungelabelte Daten setzen, gehen sie oft davon aus, dass während des Trainings Zugriff auf Domänen-Labels besteht – ein Privileg, das in realen Szenarien nicht immer verfügbar ist. Darüber hinaus führen Domänenverschiebungen zu „Domänenrauschen", was zu inkonsistenten Pseudo-Labels führt und die Modellleistung verschlechtert. Methoden, die von halbüberwachten Lernbaselines abgeleitet sind, leiden häufig unter einer geringen Genauigkeit der Pseudo-Labels, was die effektive Nutzung ungelabelter Daten einschränkt. Es besteht ein fundamentales Dilemma: Das Absenken des Konfidenzschwellenwerts, um mehr ungelabelte Daten zu nutzen, erhöht das Rauschen, während das Beibehalten eines hohen Schwellenwerts wertvolle Daten verwirft. Dieser Beitrag adressiert das Setting der domänen-Label-agnostischen SSDG, bei dem während des Trainings keine Domänen-Labels für ungelabelte Daten verfügbar sind.

Methodik
Der vorgeschlagene Ansatz führt ein neuartiges Framework ein, das aus vier Hauptkomponenten besteht: Ähnliche Durchschnittsdarstellungen (SAR), ein Merkmalsmodulator, Pseudo-Labeling unter Verwendung modulierter Merkmale und eine Loss-Skalierungsfunktion mit Unsicherheitsschätzung.

Ähnliche Durchschnittsdarstellungen (SAR):
Um den Einfluss domänenspezifischer Informationen zu mindern, definieren die Autoren Klassenprototypen ( $P_c$ ) ausschließlich auf Basis von Klassen-Labels, wodurch sie domänenagnostisch werden. Im Gegensatz zu Methoden, die Merkmale über Domänen hinweg unter Verwendung von Domänen-Labels mitteln, berechnet dieser Ansatz SARs ( $R_c$ ), indem er Klassenprototypen basierend auf ihrer Kosinusähnlichkeit gewichtet. Dies erzeugt eine Darstellung, die klassenspezifische Signale betont und domänenbezogene Variationen (z. B. Hintergrund, Textur) unterdrückt. SARs dienen als robuste Zielgröße für die Merkmalsmodulation.
Merkmalsmodulation:
Eine lernbare Merkmalsmodulationsmatrix ( $M$ ) wird eingeführt, um instanzspezifische Merkmale ( $z$ ) mit SARs ( $R$ ) zu mischen. Das modulierte Merkmal $Z_m$ wird berechnet als:
$Z_m = M \odot Z + (1 - M) \odot R$
Die Matrix $M$ wird basierend auf der Varianz der Merkmale innerhalb jeder Klasse initialisiert (Merkmale mit hoher Varianz, die wahrscheinlich domänenspezifisch sind, werden heruntergewichtet) und während des Trainings über eine diagonale Loss-Funktion aktualisiert. Dieser Prozess verschiebt Merkmale in Richtung ihrer SARs, ermutigt den Merkmalsextraktor, eng gruppierte, domäneninvariante Darstellungen zu bilden, und zwingt den Klassifikator, zwischen eng verwandten Klassen zu unterscheiden, indem er sich auf einzigartige klassenspezifische Merkmale konzentriert und nicht auf gemeinsame oder domänenspezifische.
Pseudo-Labeling mit modulierten Merkmalen:
Um genauere Pseudo-Labels zu generieren, werden die Merkmale ungelabelter Stichproben vor dem Durchlaufen des Klassifikators in Richtung der SAR jeder Klasse moduliert. Die Klasse, die auf diesen modulierten Merkmalen den höchsten Konfidenzwert liefert, wird als Pseudo-Label zugewiesen. Diese Strategie reduziert Domäneninterferenzen während des Labeling-Prozesses und führt zu höherwertigen Pseudo-Labels.
Unsicherheitsschätzung und Loss-Skalierung:
Um den Kompromiss zwischen Datennutzung und Labelrauschen zu adressieren, setzen die Autoren Monte-Carlo-(MC)-Dropout ein, um die Unsicherheit von Pseudo-Labels zu schätzen. Sie führen eine dynamische Loss-Skalierungsfunktion ( $l_{scale}$ ) ein, die den Beitrag jedes Pseudo-Labels basierend auf seinem Konfidenzwert ( $p_{max}$ ) und seiner Unsicherheit ( $\sigma$ ) anpasst. Dies ermöglicht es dem Modell, Pseudo-Labels mit niedrigerer Konfidenz auf kontrollierte Weise einzubeziehen, wodurch die „Behaltensrate" (der Anteil der verwendeten ungelabelten Daten) erhöht wird, ohne dass signifikant Rauschen eingeführt wird.

Hauptbeiträge

Merkmalsmodulator: Eine Strategie, die klassendiskriminierende Merkmale verstärkt und domänenspezifische Informationen unterdrückt, ohne auf Domänen-Labels zurückzugreifen, was zu genaueren Pseudo-Labels führt.
Loss-Skalierungsfunktion: Ein Mechanismus, der den Einfluss von Pseudo-Labels dynamisch basierend auf Konfidenz und Unsicherheit anpasst, die Nutzung ungelabelter Daten optimiert und gleichzeitig Labelrauschen mindert.
Domänen-Label-agnostisches Setting: Die Methode adressiert das SSDG-Problem in einem anspruchsvolleren Setting, in dem Domänen-Labels nicht verfügbar sind, und demonstriert ihre Wirksamkeit über vier wichtige Benchmarks hinweg.

Experimentelle Ergebnisse
Die Methode wurde auf vier Standard-Domänengeneralisierungs-Benchmarks evaluiert: PACS, OfficeHome, VLCS und DigitsDG, unter 5-Label- und 10-Label-Einstellungen.

Leistung: Die vorgeschlagene Methode (FM) erzielte konsistente Verbesserungen gegenüber der starken FixMatch-Baseline, mit durchschnittlichen Genauigkeitssteigerungen von 3,3 % (10-Label-Einstellung) und 4,3 % (5-Label-Einstellung) über die Datensätze hinweg.
Spezifische Gewinne: Bemerkenswerte Verbesserungen wurden bei OfficeHome (57,2 % und 61,0 % für 5 bzw. 10 Labels), VLCS (75,5 % und 75,3 %) und DigitsDG (73,0 % für 10 Labels) beobachtet.
Komponentenanalyse: Ablationsstudien bestätigten, dass der Merkmalsmodulator die Genauigkeit der Pseudo-Labels verbessert, während die Loss-Skalierungsfunktion die Behaltensrate signifikant erhöht. Die Kombination beider Komponenten ergab die beste Balance zwischen Genauigkeit und Datennutzung.
Vergleich: Die Methode übertraf andere SOTA-SSDG-Methoden (z. B. StyleMatch, FBCSA, DGWM), von denen viele auf Domänen-Labels angewiesen sind und im domänen-Label-agnostischen Setting nicht gut abschneiden.

Bedeutung
Der Beitrag beansprucht, das fundamentale Dilemma in der SSDG zwischen der Erzielung genauer Pseudo-Labels und der Maximierung der Nutzung ungelabelter Daten zu lösen. Durch die Verschiebung von Merkmalen in Richtung ähnlicher Durchschnittsdarstellungen lernt das Modell, eng gruppierte Klassen zu unterscheiden und domäneninvariante Darstellungen zu bilden, ohne explizite Domänenüberwachung. Die dynamische Loss-Skalierung ermöglicht zudem die effektive Nutzung von Pseudo-Labels mit niedrigerer Konfidenz, die typischerweise verworfen werden. Die Autoren behaupten, dass diese Innovationen es dem Modell ermöglichen, sich auch ohne Domänen-Labels effektiv auf nicht gesehene Domänen zu generalisieren – ein Setting, das reale Einschränkungen besser widerspiegelt.