📊 statistics

Factorizable joint shift revisited

Dieser Beitrag schlägt ein allgemeines Rahmenwerk zur Analyse faktorisierbarer gemeinsamer Verschiebungen sowohl für Klassifikations- als auch für Regressionsaufgaben mit allgemeinen Labelräumen vor, erweitert bestehende Ergebnisse und führt einen generalisierten Expectation-Maximization-Algorithmus zur Schätzung von Labelverteilungen ein.

Ursprüngliche Autoren: Dirk Tasche

Veröffentlicht 2026-04-30

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Dirk Tasche

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Koch, der ein Rezept für eine köstliche Suppe (die Quellverteilung) mit einer spezifischen Auswahl an Zutaten und für eine bestimmte Anzahl von Gästen perfektioniert hat. Sie wissen genau, wie die Geschmacksrichtungen interagieren.

Nun möchten Sie diese Suppe einer neuen Gruppe von Menschen (der Zielverteilung) servieren. Es gibt jedoch ein Problem: Die neue Gruppe hat unterschiedliche Geschmäcker, unterschiedliche Ernährungsbedürfnisse und vielleicht sogar eine unterschiedliche Verfügbarkeit von Zutaten. Diese Veränderung der „Umgebung" nennen Datenwissenschaftler Verteilungsverschiebung (Distribution Shift).

Wenn Sie das alte Rezept einfach nur der neuen Gruppe servieren, könnte es schrecklich schmecken. Diese Arbeit dreht sich darum, herauszufinden, wie man das Rezept anpasst, damit es für die neue Gruppe funktioniert, selbst wenn man sie nicht direkt fragt, was ihnen gefällt (man hat keine „Labels" oder Rückmeldungen von ihnen).

Hier ist eine Aufschlüsselung der Hauptgedanken der Arbeit unter Verwendung einfacher Analogien:

1. Das Problem: Zwei Arten von Veränderungen

Normalerweise liegt es daran, dass ein Rezept für eine neue Gruppe versagt, an einer von zwei Ursachen:

Kovariatenverschiebung (Die Zutaten haben sich geändert): Die neue Gruppe isst mit anderen verfügbaren Gemüsesorten oder Gewürzen, mag aber immer noch das gleiche Geschmacksprofil. (Beispiel: Die Trainingsdaten enthielten hauptsächlich rote Paprikaschoten, aber die Testdaten enthalten hauptsächlich grüne Paprikaschoten).
Labelverschiebung (Die Gruppe hat sich geändert): Die Zutaten sind die gleichen, aber die neue Gruppe hat andere Vorlieben. Vielleicht sind jetzt alle Liebhaber scharfer Speisen, während die alte Gruppe mildes Essen bevorzugte. (Beispiel: Die Trainingsdaten enthielten 50 % scharfe Gerichte, aber die Testdaten bestehen zu 90 % aus scharfen Gerichten).

2. Die neue Idee: Faktorisierbare gemeinsame Verschiebung (FJS)

Die Arbeit führt ein Konzept namens Faktorisierbare gemeinsame Verschiebung (Factorizable Joint Shift, FJS) ein. Stellen Sie sich dies als ein „Doppeltes Problem" vor, bei dem sich sowohl die Zutaten als auch die Vorlieben der Gruppe geändert haben, aber auf eine sehr spezifische, vorhersehbare Weise.

Der Autor argumentiert, dass FJS nicht nur ein zufälliges Chaos ist; es ist tatsächlich ein Zwei-Schritte-Tanz:

Zuerst ändern sich die Vorlieben der Gruppe (Labelverschiebung).
Dann ändern sich die Zutaten basierend auf diesen neuen Vorlieben (Kovariatenverschiebung).
(Oder umgekehrt: Zutaten ändern sich zuerst, dann passen sich die Vorlieben an).

Die Magie von FJS besteht darin, dass sich, obwohl sich beide Dinge geändert haben, dies nicht chaotisch getan haben. Sie haben sich auf eine Weise geändert, die es uns ermöglicht, die beiden Verschiebungen mathematisch zu „entwirren". Es ist, als würde man erkennen, dass die neue Suppe nicht nur deshalb anders schmeckt, weil die Karotten anders sind, sondern weil sich das Verhältnis von Karotten zu Kartoffeln in einem spezifischen, berechenbaren Muster geändert hat.

3. Der große Sprung: Von Kategorien zum Kontinuum

Frühere Forschungen zu diesem „Zwei-Schritte-Tanz" funktionierten nur für einfache, kategorische Labels (wie „Scharf" vs. „Mild" oder „Katze" vs. „Hund").

Der Hauptbeitrag dieser Arbeit besteht darin, die Mathematik auf allgemeine Labelräume zu erweitern.

Alter Weg: Funktionierte nur für diskrete Eimer (Klassifikation).
Neuer Weg: Funktioniert für Eimer und für kontinuierliche Skalen wie Temperatur, Größe oder Geld (Regression).

Stellen Sie sich vor, die alte Mathematik konnte Ihnen nur sagen, ob eine Suppe „Heiß" oder „Kalt" war. Dieses neue Framework kann Ihnen genau sagen, wie viele Grad heißer sie ist, selbst wenn sich sowohl die Zutaten als auch die Gruppe verschoben haben.

4. Die Lösung: Der „EM-Algorithmus" als intelligenter Regler

Die Arbeit schlägt eine Methode vor, um das Rezept mit einem Algorithmus namens Expectation Maximization (EM) zu korrigieren.

Stellen Sie sich den EM-Algorithmus als einen intelligenten Sous-Chef vor, der versucht, die Vorlieben der neuen Gruppe zu erraten, ohne sie direkt zu fragen.

Das Setup: Sie kennen das alte Rezept (Quelle) und Sie kennen die neuen verfügbaren Zutaten (Zielmerkmale), aber Sie kennen die Geschmackspräferenzen der neuen Gruppe nicht (Ziel-Labels).
Der Prozess:
1. Raten: Der Sous-Chef macht eine Vermutung über die Vorlieben der neuen Gruppe.
2. Prüfen: Er sieht, ob diese Vermutung die neuen Zutaten erklärt.
3. Verfeinern: Wenn die Vermutung nicht passt, justiert er sie.
4. Wiederholen: Er fährt fort zu raten und zu justieren, bis die Mathematik sagt: „Okay, dies ist das wahrscheinlichste Präferenzprofil, das die neuen Zutaten erklärt."

Die Arbeit beweist, dass diese „Raten-und-Prüfen"-Schleife auch dann funktioniert, wenn die Labels kontinuierliche Zahlen sind (wie die Vorhersage des exakten Preises eines Hauses) und nicht nur einfache Kategorien.

5. Der „Perfekte Fit" vs. „Genug"

Die Arbeit diskutiert auch eine knifflige Situation: Was, wenn die Vorlieben der neuen Gruppe so seltsam sind, dass keine Anpassung der Zutaten die neue Realität perfekt nachbilden kann?

Der Traum vom „exakten Fit": Idealerweise wollen wir ein neues Rezept finden, das perfekt zu den neuen Zutaten und der neuen Gruppe passt.
Die Realität: Manchmal ist mathematisch kein perfektes Match möglich. Die Arbeit zeigt, dass der Algorithmus in diesen Fällen die „bestmögliche" Approximation findet. Er minimiert die „Distanz" (ein mathematisches Maß für den Fehler) zwischen dem, was Sie vorhergesagt haben, und dem, was tatsächlich passiert ist.

6. Verbindung zur „Generalisierten Labelverschiebung"

Die Arbeit greift auch ein verwandtes Konzept namens Generalisierte Labelverschiebung (Generalized Label Shift, GLS) wieder auf.

Die Metapher: Stellen Sie sich vor, Sie versuchen, eine neue Gruppe zu verstehen, indem Sie ihre Sprache in Ihre eigene übersetzen. GLS schlägt vor, dass, wenn Sie die Zutaten in eine „vereinfachte Sprache" (eine Repräsentation) übersetzen, die Verschiebung wie eine einfache Änderung der Vorlieben aussieht.
Die Erkenntnis: Die Arbeit beweist, dass, wenn diese Übersetzung korrekt durchgeführt wird, sie mathematisch identisch mit dem oben beschriebenen „Zwei-Schritte-Tanz" (FJS) ist. Das bedeutet, Sie müssen nicht immer eine komplexe neue Übersetzung finden; oft können Sie die FJS-Methode direkt verwenden.

Zusammenfassung

Kurz gesagt nimmt diese Arbeit ein komplexes mathematisches Problem darüber, wie sich Daten im Laufe der Zeit ändern, und:

Verallgemeinert es: Es funktioniert für jede Art von Daten, nicht nur für einfache Kategorien.
Klärt es: Es zeigt, dass komplexe Verschiebungen oft nur eine Abfolge einfacherer Verschiebungen sind, die nacheinander auftreten.
Stellt ein Werkzeug bereit: Es bietet eine robuste mathematische Methode (ein aktualisierter EM-Algorithmus), um abzuschätzen, wie die neuen Daten aussehen, selbst wenn Ihnen die Hälfte der Informationen fehlt.

Es ist im Wesentlichen ein neues, leistungsfähigeres Werkzeugset für Köche (Datenwissenschaftler), um sicherzustellen, dass ihre Suppe (Modelle) richtig schmeckt, selbst wenn die Küche (Datenumgebung) sich vollständig verändert hat.

1. Problemstellung

Das Papier adressiert die Herausforderung der Verteilungsverschiebung (oder Dataset Shift) im maschinellen Lernen, bei der ein Modell, das auf einer Quellverteilung $P$ (Trainingsdaten) trainiert wurde, beim Einsatz auf einer Zielverteilung $Q$ (Testdaten) versagt. Das Papier konzentriert sich speziell auf Szenarien, in denen:

Merkmalsbeobachtungen ( $X$ ) für den Ziel-Datensatz verfügbar sind.
Label-Beobachtungen ( $Y$ ) für den Ziel-Datensatz fehlen (unüberwachte Domänenanpassung).
Der Label-Raum $\Omega_Y$ allgemein ist und nicht nur kategorische Variablen (Klassifikation), sondern auch kontinuierliche Variablen (Regression) und gemischte Räume umfasst.

Die bestehende Literatur hat sich weitgehend auf spezifische Verschiebungsannahmen wie Covariate Shift (Änderung in $P(X)$ , $P(Y|X)$ konstant) oder Label Shift (Änderung in $P(Y)$ , $P(X|Y)$ konstant) konzentriert. Diese sind jedoch oft für reale Aufgaben unzureichend. Factorizable Joint Shift (FJS) wurde als allgemeinere Annahme vorgeschlagen, die beide abdeckt, doch frühere Analysen waren auf kategorische Labels beschränkt. Ziel dieses Papiers ist es, FJS auf beliebige Label-Räume zu verallgemeinern und robuste Schätzrahmen zu bieten.

2. Methodik und Rahmenwerk

2.1. Theoretischer Rahmen

Der Autor etabliert ein rigoroses probabilistisches Rahmenwerk unter Verwendung der Maßtheorie:

Quelle ( $P$ ) und Ziel ( $Q$ ): Definiert auf einem Produktraum $\Omega = \Omega_X \times \Omega_Y$ .
Absolute Stetigkeit: Die Zielverteilung $Q$ wird als absolut stetig bezüglich der Quelle $P$ angenommen ( $Q \ll P$ ), was die Definition einer Radon-Nikodym-Ableitung (Dichte) $f = \frac{dQ}{dP}$ ermöglicht.
FJS-Definition: $P$ und $Q$ sind durch FJS verknüpft, wenn die Dichte $f$ in ein Produkt einer Funktion der Merkmale und einer Funktion der Labels faktorisiert:
$\frac{dQ}{dP} = h(X)g(Y)$
wobei $h$ und $g$ messbare Funktionen sind. Dies impliziert, dass die gemeinsame Verschiebung eine Kombination aus einem Covariate Shift und einem Label Shift ist.

2.2. Charakterisierung von FJS

Das Papier beweist, dass FJS äquivalent zu einer Sequenz aufeinanderfolgender Verschiebungen ist (z. B. ein Label Shift gefolgt von einem Covariate Shift).

Satz 3.5: Stellt die Beziehung zwischen den Faktorisierungsfunktionen ( $h, g$ ) und den Randdichten der Zielverteilung her. Es zeigt, dass unter FJS die bedingten Ziel-Dichten „skalierte" Versionen der bedingten Quellen-Dichten sind.
Verallgemeinerung: Das Papier erweitert frühere Ergebnisse (beschränkt auf kategorisches $Y$ ) auf allgemeine Label-Räume und zeigt, dass FJS impliziert, dass das Verhältnis der Ziel- zu den Quellen-bedingten Dichten nur von der bedingenden Variable abhängt.

2.3. Schätzalgorithmen

Das Papier adressiert zwei spezifische Probleme unter der FJS-Annahme:

Problem (A): Beide Ziel-Randverteilungen $Q_X$ und $Q_Y$ sind bekannt.
Problem (B): Nur die Ziel-Merkmalsrandverteilung $Q_X$ ist bekannt (der Standardfall der unüberwachten Anpassung).

Der verallgemeinerte EM-Algorithmus (Abschnitt 3.3):
Um Problem (B) zu lösen, schlägt der Autor eine Verallgemeinerung des Expectation-Maximization (EM)-Algorithmus vor (ursprünglich von Saerens et al., 2002, für Klassenprioris).

Ziel: Schätzung der unbekannten Ziel-Label-Dichte $g(Y)$ (oder der Ziel-Label-Verteilung) unter der Bedingung der bekannten Ziel-Merkmalsdichte $h(X)$ .
Iteration:
1. Initialisierung einer Label-Dichte $g_0(Y)$ .
2. E-Schritt: Berechnung der implizierten Merkmalsdichte $h_n(X) = E_P[g_n(Y) | X]$ .
3. M-Schritt: Aktualisierung der Label-Dichte $g_{n+1}(Y) = g_n(Y) E_P[\frac{h(X)}{h_n(X)} | Y]$ .
Konvergenz: Satz 3.8 beweist, dass diese Iteration die Kullback-Leibler (KL)-Divergenz zwischen der vordefinierten Ziel-Merkmalsdichte und der implizierten Merkmalsdichte minimiert. Der Algorithmus konvergiert zu einer Lösung, bei der die Ziel-Label-Verteilung so geschätzt wird, dass die resultierende gemeinsame Verteilung die FJS-Bedingung erfüllt.

Iterative Lösung für Problem (A):
Für den Fall, dass beide Randverteilungen bekannt sind, wird eine alternierende Iteration vorgeschlagen, um die Faktorisierungsfunktionen $h$ und $g$ zu finden, die die Randbedingungen gleichzeitig erfüllen.

2.4. Beziehung zum Generalized Label Shift (GLS)

Das Papier analysiert die Beziehung zwischen FJS und Generalized Label Shift (GLS), einem Konzept im Representation Learning, bei dem Merkmale in einen Raum abgebildet werden, in dem nur ein Label Shift auftritt.

Proposition 4.1: Wenn eine Repräsentationsabbildung $R$ für die Merkmale hinreichend ist (d. h. $P(Y|X) = P(Y|R)$ ), dann impliziert GLS im abgebildeten Raum FJS im ursprünglichen Raum.
Implikation: Dies legt nahe, dass man möglicherweise keine explizite Repräsentationsabbildung lernen muss, um GLS zu erreichen; stattdessen kann der FJS-basierte EM-Algorithmus direkt auf die ursprünglichen Merkmale angewendet werden.

3. Hauptbeiträge

Verallgemeinerung auf kontinuierliche/gemischte Labels: Der Hauptbeitrag besteht in der Erweiterung der Theorie des Factorizable Joint Shift von kategorischen Labels auf allgemeine Label-Räume (einschließlich Regression). Dies ermöglicht die Anwendung von FJS-Konzepten auf Regressionsprobleme und gemischte Datentypen.
Verallgemeinerter EM-Algorithmus: Das Papier präsentiert eine rigorose Herleitung eines EM-Algorithmus zur Schätzung von Label-Verteilungen in allgemeinen Räumen. Es beweist, dass dieser Algorithmus die KL-Divergenz zwischen der Ziel-Merkmalsverteilung und der vom Modell implizierten Verteilung minimiert und somit eine theoretische Garantie für seinen Einsatz in der unüberwachten Domänenanpassung bietet.
Zerlegung von FJS: Es wird formal nachgewiesen, dass FJS als Sequenz aufeinanderfolgender Label- und Covariate-Verschiebungen betrachtet werden kann, was die strukturelle Beziehung zwischen diesen Verschiebungstypen klärt.
Verbindung zu GLS: Es wird eine formale Verbindung hergestellt, die zeigt, dass GLS mit einer hinreichenden Repräsentation FJS impliziert, was nahelegt, dass eine direkte FJS-Modellierung eine Alternative zum komplexen Representation Learning sein könnte.
Behandlung von „Exact Fit": Das Papier diskutiert die Bedingungen, unter denen eine Ziel-Merkmalsverteilung durch einen Label Shift oder einen eingeschränkten FJS perfekt angepasst werden kann („exact fit"). Es wird angemerkt, dass ein exaktes Fit nicht immer garantiert ist (z. B. bei Normalmischungsmodellen), der EM-Algorithmus jedoch die bestmögliche Approximation in Bezug auf die KL-Divergenz liefert.

4. Hauptergebnisse

Satz 3.5: Liefert die notwendigen und hinreichenden Bedingungen dafür, dass eine gemeinsame Verteilung FJS in Bezug auf Randdichten und bedingte Erwartungen erfüllt.
Satz 3.8: Beweist die Konvergenzeigenschaften des verallgemeinerten EM-Algorithmus und zeigt, dass die Sequenz der implizierten Merkmalsdichten die Ziel-Merkmalsdichte in Bezug auf die KL-Divergenz monoton annähert.
Korollar 3.17: Zeigt, dass im Fall endlicher kategorischer Merkmale und allgemeiner Labels, wenn die Posterior-Wahrscheinlichkeiten linear unabhängig sind, der EM-Algorithmus ein exaktes Fit der Ziel-Merkmalsverteilung erreicht.
Beispiel 3.16: Ein numerisches Experiment demonstriert die Fähigkeit des Algorithmus, eine kontinuierliche Ziel-Label-Verteilung (Gauß) unter der Bedingung einer diskreten Ziel-Merkmalsverteilung zu schätzen. Es zeigt, dass zwar die finale Label-Dichte von der Initialisierung abhängt, die Merkmalsverteilung jedoch mit hoher Präzision angepasst wird.

5. Bedeutung

Überbrückung von Klassifikation und Regression: Indem es über kategorische Labels hinausgeht, vereinheitlicht diese Arbeit die Behandlung von Verteilungsverschiebungen für sowohl Klassifikations- als auch Regressionsaufgaben. Dies ist ein signifikanter Fortschritt, da die meisten bestehenden Arbeiten zur Domänenanpassung stark auf Klassifikation fokussiert sind.
Praktische Domänenanpassung: Der vorgeschlagene EM-Algorithmus bietet eine praktische, rechnerisch machbare Methode zur Anpassung von Modellen, wenn Ziel-Labels nicht verfügbar sind, vorausgesetzt, die FJS-Annahme gilt. Dies ist entscheidend für reale Anwendungen wie medizinische Diagnosen (wo Testdaten-Labels verzögert vorliegen) oder Finanzrisikomodelle.
Theoretische Klarheit: Das Papier klärt die mathematische Struktur von FJS, löst Unklarheiten bezüglich seiner Beziehung zu Covariate- und Label-Verschiebungen und bietet eine solide theoretische Grundlage für zukünftige Forschung zur Verteilungsverschiebung.
Alternative zum Representation Learning: Durch die Verknüpfung von GLS und FJS legt das Papier nahe, dass in einigen Fällen komplexes Representation Learning zugunsten einer direkten Dichteschätzung unter FJS umgangen werden könnte, was die Anpassungspipeline potenziell vereinfacht.

Zusammenfassend bietet „Factorizable joint shift revisited" einen umfassenden theoretischen und algorithmischen Rahmen für den Umgang mit Verteilungsverschiebungen in allgemeinen Settings, bietet eine robuste Alternative zu Standardannahmen über Covariate- oder Label-Verschiebungen und erweitert diese Fähigkeiten auf Regressionsprobleme.