Minimax optimal adaptive structured transfer learning through semi-parametric domain-varying coefficient model

Titel: Minimax-optimale adaptieve gestructureerde transfer learning via een semi-parametrisch domein-variatiecoëfficiëntenmodel

Auteurs: Hanxiao Chen en Debarghya Mukherjee (Boston University)
Datum: 23 februari 2026

---

1. Probleemstelling

Transfer learning (overdrachtsleren) richt zich op het verbeteren van inferentie in een doel-domein (target domain) door informatie te benutten uit gerelateerde bron-domeinen (source domains). Een kritieke uitdaging is echter de heterogeniteit tussen domeinen. Als de conditionele relatie tussen covariaten ($X$) en respons ($Y$) verschilt per domein, kan het willekeurig samenvoegen van data leiden tot negatieve transfer (negative transfer). Dit betekent dat de prestaties van de schatter slechter zijn dan wanneer alleen de doel-domein data zou worden gebruikt.

Bestaande methoden modelleren vaak onvoldoende hoe deze heterogeniteit gestructureerd is. Ze veronderstellen vaak invariance (dezelfde parameters voor alle domeinen) of gebruiken complexe, niet-interpreteerbare aanpassingen. Er is een behoefte aan een methode die:

1. De variatie in de conditionele verdeling over domeinen expliciet modelleert.
2. Adaptief informatie overneemt van bron-domeinen wanneer deze relevant zijn.
3. Garanties biedt dat de prestaties nooit slechter zijn dan een schatter die alleen de doel-domein data gebruikt (robustheid tegen negatieve transfer).
4. Geldige onzekerheidskwantificering (zoals asymptotische verdeling) biedt, wat vaak een verwaarloosd aspect is in theoretisch werk.

2. Methodologie

De auteurs stellen een nieuw raamwerk voor dat een Semi-parametrisch Domein-Variatiecoëfficiëntenmodel (DVCM) combineert met een tweestaps schattingsprocedure.

A. Het Model: DVCM

In plaats van vaste coëfficiënten aan te nemen (zoals in een standaard GLM), wordt aangenomen dat de coëfficiënten een functie zijn van een waarneembaar domein-identificator $U$.
Het model wordt gegeven door:
$$E[Y | X, U] = g^{-1}(X^\top \theta(U))$$
Waarbij:

• $U$ een domein-identificator is (bijv. tijd, locatie, batch-effect).
• $\theta(\cdot)$ een onbekende, gladde functie is die de variatie van de coëfficiënten over de domeinen beschrijft.
• $g$ een bekende link-functie is (voor lineaire of gegeneraliseerde lineaire modellen).

Dit model generaliseert klassieke variatiecoëfficiëntenmodellen naar transfer learning en interpoleert tussen een volledig invariante regime en een volledig heterogeen regime.

B. De Schatter: Tweestaps Procedure

De voorgestelde schatter $\hat{\theta}_{TL}(u_0)$ voor het doel-domein $u_0$ werkt in twee stappen:

1. Stap I: Non-parametrische Pilot (Initialisatie)
   Er wordt een niet-parametrische schatter $\hat{\theta}_{DVCM}(u_0)$ geconstrueerd door lokale polynoomregressie toe te passen op de gepoolde data van alle bron-domeinen en een deel van het doel-domein. De weging is afhankelijk van de afstand tussen de domein-identificatoren $U_k$ en het doel $u_0$.

   • Doel: Informatie overnemen van bron-domeinen die ruimtelijk of contextueel dicht bij het doel liggen.

2. Stap II: Fine-tuning met Adaptieve Ridge-regularisatie
   De pilot-schatter wordt verfijnd door een GLM (Generalized Linear Model) te fitten op het doel-domein met een Ridge-penalty die de schatter naar de pilot-waarde trekt:
   $$\hat{\theta}_{TL}(u_0) = \arg \min_{\alpha} \left( \frac{1}{n_0} \sum_{i \in I_0} \ell(X_{0i}^\top \alpha, Y_{0i}) + \frac{1}{2} \|\alpha - \hat{\theta}_{DVCM}(u_0)\|_Q^2 \right)$$

   • De kerninnovatie: De keuze van de strakheidsmatrix $Q$. De auteurs stellen een data-gedreven keuze voor die de verhouding tussen de onzekerheid (variantie/bias) van de doel-only schatter en de gepoolde pilot-schatter weerspiegelt.
   • Als de pilot nauwkeurig is (bronnen zijn relevant), is de strakheid groot (sterke overdracht).
   • Als de pilot onnauwkeurig is (bronnen zijn irrelevant of mismatch), is de strakheid klein (terugvallen naar de doel-only schatter).

3. Belangrijkste Bijdragen

1. Methodologische Innovatie:

   • Introductie van het DVCM-raamwerk voor transfer learning, waarbij domein-heterogeniteit wordt gecodeerd via een gladde functie van een observabele identifier.
   • Ontwikkeling van een computatie-efficiënte, adaptieve schatter die probeerbaar veilig is: het risico is nooit slechter dan dat van een schatter die alleen doel-data gebruikt (geen negatieve transfer).

2. Theoretische Resultaten:

   • Minimax-Optimaliteit: De auteurs bewijzen dat de schatter de optimale convergentiesnelheid bereikt. De snelheid hangt af van:
     • $n_0$: Aantal doel-observaties.
     • $K$: Aantal bron-domeinen.
     • $\beta$: Gladheid van de functie $\theta(\cdot)$.
     • $\gamma$: Dispensie van de domein-identificatoren (hoe dicht bij elkaar de domeinen liggen).
       De snelheid is: $O\left( n_0^{-1} \wedge \max\left( (K/\gamma)^{-2\beta}, (n/\gamma)^{-\frac{2\beta}{2\beta+1}}, n^{-1} \right) \right)$.
   • Asymptotische Normaliteit: Ondanks de data-adaptieve pooling en shrinkage, wordt bewezen dat de schatter asymptotisch normaal verdeeld is onder geschikte "undersmoothing" voorwaarden. Dit maakt geldige hypothesetoetsing en betrouwbaarheidsintervallen mogelijk.

3. Empirische Validatie:

   • Uitgebreide simulaties tonen aan dat de methode adaptief schakelt tussen doel-only en gepoolde learning afhankelijk van de domein-afstand en gladheid.
   • Toepassing op twee real-world datasets (SLID-Ontario en US Adult Income) bevestigt de superioriteit en stabiliteit van de methode.

4. Resultaten en Analyse

• Fase-overgangen: De analyse toont een fase-overgang in de convergentiesnelheid. Als bron-domeinen dicht bij het doel liggen ($\gamma$ klein) en er zijn veel domeinen ($K$ groot), wordt de snelheid aanzienlijk verbeterd ten opzichte van doel-only learning. Als de bronnen echter ver weg liggen of de functie onvoldoende glad is, degradeert de methode niet, maar gedraagt zich als een doel-only schatter.
• Robuustheid: De schatter is immuniteit tegen negatieve transfer. Zelfs als de bron-data schadelijk is, zal de adaptieve strakheid de schatter terugtrekken naar de veilige doel-only oplossing.
• Inferentie: De afgeleide asymptotische verdeling stelt onderzoekers in staat om p-waarden en betrouwbaarheidsintervallen te berekenen, wat zeldzaam is voor adaptieve transfer learning methoden.

5. Betekenis en Impact

Dit werk is significant omdat het een brug slaat tussen klassieke variatiecoëfficiëntenmodellen en moderne transfer learning. Het lost het fundamentele dilemma op van "hoeveel informatie moet ik overnemen?" door een rigoureuze, theoretisch onderbouwde oplossing te bieden die:

1. Interpreteerbaar is (via de functie $\theta(U)$).
2. Veilig is (garandeert geen prestatieverlies).
3. Statistisch geldig is (biedt inferentie).

De methode is breed toepasbaar in scenario's waar data uit verschillende contexten (tijdsreeksen, geografische locaties, verschillende meetinstrumenten) beschikbaar is, maar waar de onderliggende relaties niet strikt invariant zijn. Het biedt een solide theoretische basis voor het ontwerpen van robuuste machine learning systemen in heterogene omgevingen.