Factorizable joint shift revisited

1. Probleemstelling

Het artikel behandelt de uitdaging van distributieverandering (of dataset shift) in machine learning, waarbij een model dat is getraind op een bronverdeling $P$ (trainingsdata) faalt wanneer het wordt ingezet op een doelpercentie $Q$ (testdata). Specifiek richt het artikel zich op scenario's waarin:

• Functieobservaties ($X$) beschikbaar zijn voor de doeldataset.
• Labelobservaties ($Y$) ontbreken voor de doeldataset (onzelftoezicht domeinadaptatie).
• De labelruimte $\Omega_Y$ algemeen is, waarbij niet alleen categorische variabelen (classificatie) maar ook continue variabelen (regressie) en gemengde ruimtes worden omvat.

Bestaande literatuur heeft zich grotendeels gericht op specifieke verschuivingsaannames zoals Covariatenverschuiving (verandering in $P(X)$, $P(Y|X)$ constant) of Labelverschuiving (verandering in $P(Y)$, $P(X|Y)$ constant). Deze zijn echter vaak ontoereikend voor real-world taken. Factorizable Joint Shift (FJS) werd voorgesteld als een algemeenere aanname die beide omvat, maar eerdere analyses waren beperkt tot categorische labels. Dit artikel heeft als doel FJS te generaliseren naar willekeurige labelruimtes en robuuste schattingskaders te bieden.

2. Methodologie en Kader

2.1. Theoretisch Kader

De auteur stelt een rigoureus probabilistisch kader op met behulp van maattheorie:

• Bron ($P$) en Doel ($Q$): Gedefinieerd op een productruimte $\Omega = \Omega_X \times \Omega_Y$.
• Absolute Continuïteit: De doelpercentie $Q$ wordt verondersteld absoluut continu te zijn ten opzichte van de bron $P$ ($Q \ll P$), wat de definitie van een Radon-Nikodym-afgeleide (dichtheid) $f = \frac{dQ}{dP}$ mogelijk maakt.
• FJS-definitie: $P$ en $Q$ zijn gerelateerd door FJS als de dichtheid $f$ factoriseert in een product van een functie van functies en een functie van labels:
  $$\frac{dQ}{dP} = h(X)g(Y)$$
  waarbij $h$ en $g$ meetbare functies zijn. Dit impliceert dat de gezamenlijke verschuiving een combinatie is van een covariatenverschuiving en een labelverschuiving.

2.2. Karakterisering van FJS

Het artikel bewijst dat FJS equivalent is aan een reeks opeenvolgende verschuivingen (bijvoorbeeld een labelverschuiving gevolgd door een covariatenverschuiving).

• Stelling 3.5: Stelt de relatie vast tussen de factorisatiefuncties ($h, g$) en de marginale dichtheden van de doelpercentie. Het toont aan dat onder FJS de voorwaardelijke dichtheden van het doel "geschaalde" versies zijn van de voorwaardelijke dichtheden van de bron.
• Generalisatie: Het artikel breidt eerdere resultaten (beperkt tot categorische $Y$) uit naar algemene labelruimtes, en toont aan dat FJS impliceert dat de verhouding van doel- tot bronvoorwaardelijke dichtheden alleen afhangt van de conditionerende variabele.

2.3. Schattingsalgoritmen

Het artikel behandelt twee specifieke problemen onder de FJS-aanname:

• Probleem (A): Zowel de doelmarginalen $Q_X$ als $Q_Y$ zijn bekend.
• Probleem (B): Alleen de doelfunctiemarginaal $Q_X$ is bekend (de standaard onbewaakte instelling).

Het Generaliseerde EM-algoritme (Sectie 3.3):
Om Probleem (B) op te lossen, stelt de auteur een generalisatie voor van het Expectation-Maximization (EM)-algoritme (oorspronkelijk door Saerens et al., 2002, voor klassenvoorafschrijvingen).

• Doel: De onbekende doellabeldichtheid $g(Y)$ (of de doellabelverdeling) schatten, gegeven de bekende doelfunctiedichtheid $h(X)$.
• Iteratie:
  1. Initialiseer een labeldichtheid $g_0(Y)$.
  2. E-stap: Bereken de impliciete functiedichtheid $h_n(X) = E_P[g_n(Y) | X]$.
  3. M-stap: Update de labeldichtheid $g_{n+1}(Y) = g_n(Y) E_P[\frac{h(X)}{h_n(X)} | Y]$.
• Convergentie: Stelling 3.8 bewijst dat deze iteratie de Kullback-Leibler (KL)-divergentie minimaliseert tussen de vooraf gedefinieerde doelfunctiedichtheid en de impliciete functiedichtheid. Het algoritme convergeert naar een oplossing waarbij de doellabelverdeling zo wordt geschat dat de resulterende gezamenlijke verdeling voldoet aan de FJS-beperking.

Iteratieve Oplossing voor Probleem (A):
Voor het geval waarin beide marginalen bekend zijn, wordt een alternerende iteratie voorgesteld om de factorisatiefuncties $h$ en $g$ te vinden die gelijktijdig voldoen aan de marginale beperkingen.

2.4. Relatie met Generalized Label Shift (GLS)

Het artikel analyseert de relatie tussen FJS en Generalized Label Shift (GLS), een concept dat wordt gebruikt in representatieleren waarbij functies worden gemapt naar een ruimte waar alleen labelverschuiving optreedt.

• Propositie 4.1: Als een representatiemapping $R$ voldoende is voor de functies (d.w.z. $P(Y|X) = P(Y|R)$), impliceert GLS in de gemapte ruimte FJS in de oorspronkelijke ruimte.
• Implicatie: Dit suggereert dat men mogelijk geen expliciete representatiemapping hoeft te leren om GLS te bereiken; in plaats daarvan kan men het op FJS gebaseerde EM-algoritme direct toepassen op de oorspronkelijke functies.

3. Belangrijkste Bijdragen

1. Generalisatie naar Continue/Gemengde Labels: De belangrijkste bijdrage is het uitbreiden van de theorie van Factorizable Joint Shift van categorische labels naar algemene labelruimtes (inclusief regressie). Dit maakt de toepassing van FJS-concepten mogelijk op regressieproblemen en gemengde datatypen.
2. Generaliseerd EM-algoritme: Het artikel presenteert een rigoureuze afleiding van een EM-algoritme voor labelverdelingsschatting in algemene ruimtes. Het bewijst dat dit algoritme de KL-divergentie minimaliseert tussen de doelfunctieverdeling en de door het model impliciete verdeling, en biedt zo een theoretische garantie voor het gebruik ervan in onbewaakte domeinadaptatie.
3. Decompositie van FJS: Het toont formeel aan dat FJS kan worden gezien als een reeks opeenvolgende label- en covariatenverschuivingen, en verduidelijkt de structurele relatie tussen deze verschuivingstypen.
4. Verbinding met GLS: Het vestigt een formele link die aantoont dat GLS met een voldoende representatie FJS impliceert, wat suggereert dat directe FJS-modellering een alternatief kan zijn voor complex representatieleren.
5. Omgaan met "Exact Fit": Het artikel bespreekt de voorwaarden waaronder een doelfunctieverdeling perfect kan worden gematcht ("exact fit") door een labelverschuiving of beperkte FJS. Het merkt op dat hoewel exact fit niet altijd gegarandeerd is (bijvoorbeeld in normale mengmodellen), het EM-algoritme de best mogelijke benadering biedt in termen van KL-divergentie.

4. Belangrijkste Resultaten

• Stelling 3.5: Biedt de noodzakelijke en voldoende voorwaarden voor een gezamenlijke verdeling om FJS te voldoen in termen van marginale dichtheden en voorwaardelijke verwachtingen.
• Stelling 3.8: Bewijst de convergentie-eigenschappen van het generaliseerde EM-algoritme, en toont aan dat de reeks impliciete functiedichtheden monotoon nadert tot de doelfunctiedichtheid in termen van KL-divergentie.
• Corollarium 3.17: Toont aan dat in het geval van eindige categorische functies en algemene labels, als de posterieure kansen lineair onafhankelijk zijn, het EM-algoritme een exacte fit bereikt van de doelfunctieverdeling.
• Voorbeeld 3.16: Een numeriek experiment demonstreert het vermogen van het algoritme om een continue doellabelverdeling (Gaussisch) te schatten gegeven een discrete doelfunctieverdeling, en toont aan dat hoewel de uiteindelijke labeldichtheid afhankelijk is van initialisatie, de functieverdeling met hoge precisie wordt gematcht.

5. Betekenis

• Brug slaan tussen Classificatie en Regressie: Door verder te gaan dan categorische labels, verenigt dit werk de behandeling van distributieverandering voor zowel classificatie- als regressietaken, wat een belangrijke stap voorwaarts is aangezien de meeste bestaande literatuur over domeinadaptatie zich zwaar richt op classificatie.
• Praktische Domeinadaptatie: Het voorgestelde EM-algoritme biedt een praktische, computationeel haalbare methode voor het aanpassen van modellen wanneer doellabels niet beschikbaar zijn, mits de FJS-aanname geldt. Dit is cruciaal voor real-world toepassingen zoals medische diagnose (waar labels van testdata vertraagd zijn) of financieel risicomodellering.
• Theoretische Duidelijkheid: Het artikel verduidelijkt de wiskundige structuur van FJS, lost ambiguïteiten op over de relatie met covariaten- en labelverschuivingen, en biedt een solide theoretische basis voor toekomstig onderzoek naar distributieverandering.
• Alternatief voor Representatieleren: Door GLS en FJS te koppelen, suggereert het artikel dat in sommige gevallen complex representatieleren kan worden overgeslagen ten gunste van directe dichtheidsschatting onder FJS, wat de adaptatiepijplijn mogelijk vereenvoudigt.

Samenvattend biedt "Factorizable joint shift revisited" een uitgebreid theoretisch en algoritmisch kader voor het behandelen van distributieveranderingen in algemene instellingen, en biedt het een robuust alternatief voor standaard covariaten- of labelverschuivingsaannames, terwijl het deze mogelijkheden uitbreidt tot regressieproblemen.