Quantifying Data Similarity Using Cross Learning

Titel: Kwantificering van datasimilariteit met behulp van Cross Learning

Auteurs: Shudong Sun, Hao Helen Zhang, Joseph C. Watkins (Universiteit van Arizona)

1. Het Probleem

Het meten van de gelijkenis tussen datasets is fundamenteel voor het machine learning-domein, met name voor transfer learning (overdracht van kennis), domeinadaptatie en multi-task learning.

• Bestaande beperkingen: De meeste huidige methoden (zoals Maximum Mean Discrepancy (MMD), Kullback-Leibler-divergentie en Wasserstein-afstand) meten gelijkenis uitsluitend op basis van de verdeling van de input-features ($X$). Ze negeren echter de labelinformatie ($Y$) en de relatie tussen features en respons (de feature-response relationship).
• Het risico: Twee datasets kunnen zeer vergelijkbare input-features hebben maar fundamenteel verschillende voorspellingsproblemen vertegenwoordigen (bijvoorbeeld verschillende beslissingsgrenzen). Het gebruik van alleen feature-distributies kan leiden tot een verkeerde inschatting van de overdraagbaarheid, wat resulteert in "negatieve transfer" (prestatiedaling door overdracht) of gemiste kansen voor positieve transfer.
• Computationele uitdaging: Bestaande label-bewuste methoden, zoals Optimal Transport Dataset Distance (OTDD), zijn vaak computationeel zeer duur en gevoelig voor de dimensie van de data.

2. Methodologie: De Cross-Learning Score (CLS)

De auteurs introduceren de Cross-Learning Score (CLS), een nieuwe metriek die datasimilariteit meet op basis van de bidirectionele generalisatieprestaties van beslissingsregels.

Kernconcept

In plaats van te kijken naar de afstand tussen verdelingen, kijkt CLS naar hoe goed de optimale voorspeller van de brondataset ($f^{*(s)}$) presteert op de doeldataset, en vice versa ($f^{*(t)}$ op $D^{(s)}$).

• Als de onderliggende functies (beslissingsgrenzen) vergelijkbaar zijn, zal de bronvoorspeller goed presteren op de doeldata (en andersom).
• Als de functies verschillend zijn, zullen de cross-domein fouten hoog zijn.

Definitie

De CLS wordt gedefinieerd als het symmetrische gemiddelde van twee directionele discrepanties:
$$\text{CLS} = \frac{1}{2} (\Delta_{s \to t} + \Delta_{t \to s})$$
Waarbij $\Delta_{s \to t}$ het verschil is tussen de verwachte verlies van de bron-optimale voorspeller en de doel-optimale voorspeller onder de doelverdeling.

• Waardebereik: Voor classificatie ligt CLS tussen -1 en 1. Een lage CLS (dicht bij 0) duidt op hoge similariteit; een hoge CLS duidt op lage similariteit.

Theoretische Grondslag

De auteurs bewijzen theoretisch dat CLS nauw verbonden is met de cosinus-similariteit tussen de beslissingsgrenzen in lineaire modellen (zoals Probit-regressie en Linear Discriminant Analysis - LDA). Dit biedt een geometrische interpretatie: CLS meet de hoekafwijking tussen de optimale beslissingsgrenzen van de twee taken.

Schattingsalgoritmen

Omdat de ware Bayes-regels ($f^*$) in de praktijk onbekend zijn, ontwikkelen de auteurs schattingsmethoden:

1. Enkel-model schatting: Train een model op de bron, test op het doel (en omgekeerd).
2. Gewogen Ensemble-schatting: Gebruik meerdere modellen (bijv. Logistische Regressie, SVM, XGBoost) en aggregeer hun scores. Dit verhoogt de robuustheid, vooral bij complexe of niet-lineaire data.
3. Encoder-Head Extensie voor Deep Learning: Voor deep learning wordt CLS aangepast naar een Encoder-Head architectuur. Een gedeelde encoder wordt getraind op beide datasets (Stage 1), waarna domeinspecifieke "heads" worden getraind voor de cross-domein evaluatie (Stage 2). Dit simuleert realistische fine-tuning scenario's.

Transferability Zones Framework

Op basis van de CLS-waarde worden datasets ingedeeld in drie zones:

• Positieve Transfer (PT): CLS is laag (hoge similariteit) $\rightarrow$ Overdracht zal waarschijnlijk prestaties verbeteren.
• Ambiguë Zone (AZ): CLS is gemiddeld $\rightarrow$ Onzeker of overdracht helpt.
• Negatieve Transfer (NT): CLS is hoog (lage similariteit) $\rightarrow$ Overdracht zal waarschijnlijk schade toebrengen.
  De drempels voor deze zones worden bepaald op basis van statistische onzekerheid (cross-validatie fouten).

3. Belangrijkste Resultaten

Synthetische Experimenten

• Monotonie: CLS vertoont een perfecte monotone relatie met de onderliggende datasimilariteit (gecontroleerd via cosinus-similariteit van parameters of mengcoëfficiënten). Dit geldt voor lineaire en niet-lineaire scenario's (logistische regressie, LDA, QDA, polynomen, etc.).
• Vergelijking met bestaande methoden:
  • KL-divergentie en Wasserstein-afstand falen vaak wanneer de feature-verdelingen gelijk zijn maar de label-structuren verschillen (correlatie met similariteit is 0).
  • OTDD presteert goed in sommige gevallen, maar is instabiel in andere en niet direct toepasbaar op regressie.
  • CLS overtreft alle concurrenten in consistentie en nauwkeurigheid, ongeacht het type data-generatieproces.
• Schatting: De ensemble-methode voor het schatten van CLS levert de kleinste afwijking op ten opzichte van de "Oracle CLS" (de theoretisch perfecte waarde).

Real-world Applicaties

1. eICU Mortality Prediction:
   • Doel: Voorspellen van overleving na IC-opname in een specifiek ziekenhuis.
   • Resultaat: De CLS classificeerde 6 van de 10 bronziekenhuizen als "Positieve Transfer". Empirische tests toonden aan dat transfer learning inderdaad de prestaties verbeterde voor deze ziekenhuizen, terwijl de "Ambiguë" ziekenhuizen gemengde resultaten opleverden.
2. Canine Image Classification (Honden vs. Wolven):
   • Doel: Classificatie van honden vs. wolven met een kleine dataset.
   • Bronnen: Verschillende datasets (Honden vs. Wolven, Katten vs. Honden, Paarden vs. Kamelen).
   • Resultaat: De CLS (met Encoder-Head extensie) voorspelde correct dat "Katten vs. Honden" en "Paarden vs. Kamelen" leiden tot negatieve transfer (onbruikbaar voor dit specifieke probleem), terwijl "Honden vs. Wolven" in de ambiguë zone viel (wat overeenkwam met de empirische bevinding dat het slechts gedeeltelijk helpt).

4. Bijdragen en Significantie

• Nieuwe Paradigma: De paper verschuift de focus van "feature-distributie gelijkenis" naar "feature-response relatie gelijkenis". Dit is cruciaal voor transfer learning, waar de taak (de label) het belangrijkst is.
• Theoretische Validatie: Het biedt een wiskundige onderbouwing die CLS linkt aan de geometrie van beslissingsgrenzen (cosinus-similariteit), wat de interpretatie van de metriek versterkt.
• Praktische Toepasbaarheid:
  • De methode is computatie-efficiënt en vermijdt dure dichtheidsschattingen.
  • De introductie van "Transferability Zones" biedt een direct besluitvormingskader voor practitioners: "Moet ik deze dataset gebruiken voor transfer learning?"
  • De extensie naar deep learning (Encoder-Head) maakt de methode relevant voor moderne AI-pipelines.
• Robuustheid: Door het gebruik van ensemble-methoden is de schatting stabiel over verschillende datageneratieprocessen (lineair, niet-lineair, hoog-dimensionaal).

Conclusie

De Cross-Learning Score (CLS) is een krachtige, theoretisch onderbouwde en empirisch gevalideerde metriek om de geschiktheid van datasets voor transfer learning te beoordelen. Het lost een fundamenteel probleem op door de label-informatie expliciet te integreren, waardoor het in staat is om zowel positieve als negatieve transfer effectief te voorspellen, zelfs in complexe, real-world scenario's.