Quantifying Data Similarity Using Cross Learning

1. Problemstellung

Die Messung der Ähnlichkeit zwischen Datensätzen ist ein fundamentales Problem im maschinellen Lernen, insbesondere für Transfer-Learning, Domänenanpassung und Few-Shot-Learning.

• Herausforderung: Bestehende Methoden zur Ähnlichkeitsmessung (z. B. Maximum Mean Discrepancy (MMD), f-Divergenzen wie KL-Divergenz oder Optimal Transport) konzentrieren sich primär auf die Verteilung der Eingabe-Features ($X$). Sie ignorieren oft die Label-Informationen ($Y$) und die Beziehung zwischen Features und Antwortvariablen (Feature-Response-Beziehung).
• Konsequenz: Zwei Datensätze können sehr ähnliche Feature-Verteilungen aufweisen, aber völlig unterschiedliche Vorhersageaufgaben repräsentieren (z. B. unterschiedliche Entscheidungsgrenzen). Dies führt zu einer unzuverlässigen Bewertung der Übertragbarkeit (Transferability), da positive oder negative Transfer-Effekte falsch eingeschätzt werden können.
• Ziel: Entwicklung einer Metrik, die die Ähnlichkeit der Vorhersagestrukturen (d. h. der Beziehung $Y|X$) direkt quantifiziert und nicht nur die Verteilung der Eingabedaten.

2. Methodik: Cross-Learning Score (CLS)

Die Autoren schlagen den Cross-Learning Score (CLS) vor, eine Metrik, die die Ähnlichkeit zweier Lernaufgaben durch deren bidirektionale Generalisierungsleistung misst.

A. Theoretische Definition

Der CLS basiert auf der Idee, dass wenn zwei Aufgaben ähnliche Feature-Response-Beziehungen haben, der optimale Prädiktor der Quell-Aufgabe ($f^{*(s)}$) auf den Ziel-Daten gut funktionieren sollte (und umgekehrt).

• Richtungsabweichung ($\Delta$):
  • $\Delta_{s \to t}$: Misst, wie viel schlechter der optimale Quell-Prädiktor auf den Ziel-Daten im Vergleich zum optimalen Ziel-Prädiktor abschneidet.
  • $\Delta_{t \to s}$: Das entsprechende Maß in umgekehrter Richtung.
• Formel:
  $$\text{CLS} = \frac{1}{2} (\Delta_{s \to t} + \Delta_{t \to s})$$
  • Ein kleiner CLS-Wert deutet auf hohe Ähnlichkeit und gute Übertragbarkeit hin.
  • Ein großer CLS-Wert deutet auf strukturelle Unterschiede und potenziellen negativen Transfer hin.
  • Bei Klassifikation (0-1-Verlust) liegt der Wert im Bereich $[-1, 1]$.

B. Theoretische Fundierung

Die Autoren leiten theoretische Zusammenhänge für kanonische lineare Modelle her (Probit-Regression und Linear Discriminant Analysis - LDA).

• Geometrische Interpretation: Es wird gezeigt, dass der CLS eng mit der Kosinus-Ähnlichkeit zwischen den Entscheidungsgrenzen (Decision Boundaries) der Ziel- und Quell-Aufgaben verknüpft ist.
• Dies bietet eine intuitive geometrische Deutung: Je näher die Entscheidungsgrenzen beider Aufgaben zueinander liegen (gemessen im Raum der Parameter unter Berücksichtigung der Kovarianz), desto kleiner ist der CLS.

C. Schätzung und Algorithmen

Da die wahren Bayes-Regeln ($f^*$) in der Praxis unbekannt sind, werden empirische Schätzer entwickelt:

1. Single-Model-Schätzung: Training eines Modells auf $D^{(t)}$ und $D^{(s)}$ und Kreuzvalidierung der Fehler.
2. Robuste Ensemble-Schätzung: Um die Abhängigkeit von der Modellwahl zu minimieren, werden mehrere Modelle (z. B. Logistische Regression, SVM, XGBoost) trainiert.
   • Weighted Average: Gewichtung der CLS-Scores basierend auf der Kreuzvalidierungsleistung der einzelnen Modelle.
   • Weighted Ensemble: Kombination der Vorhersagen der Modelle mit gewichteten Softmax-Gewichten, bevor der CLS berechnet wird. Dies erwies sich als die robusteste Methode.

D. Erweiterungen

• Transferability Zones: Basierend auf dem CLS und statistischen Unsicherheitsgrenzen (Standardfehler der Kreuzvalidierung) werden drei Zonen definiert:
  • Positive Transfer (PT): CLS $\le \tau_1$ (hohe Ähnlichkeit, Transfer empfohlen).
  • Ambiguous Zone (AZ): $\tau_1 < \text{CLS} < \tau_2$ (unsicherer Nutzen).
  • Negative Transfer (NT): CLS $\ge \tau_2$ (geringe Ähnlichkeit, Transfer kann schaden).
• Deep Learning Extension (Encoder-Head CLS): Für tiefe neuronale Netze wird ein zweistufiger Ansatz vorgeschlagen:
  1. Training eines gemeinsamen Encoders auf beiden Datensätzen (Representation Learning).
  2. Fixierung des Encoders und Training domänenspezifischer Heads für die Kreuzbewertung.
     Dies berücksichtigt, dass beim Fine-Tuning in Deep Learning auch Teile des Encoders angepasst werden, was den Standard-CLS verfälschen würde.

3. Ergebnisse

A. Synthetische Experimente

• Korrelation mit Ähnlichkeit: Der CLS zeigt eine perfekte monotone Beziehung (Spearman-Korrelation = 1.0) zu kontrollierten Ähnlichkeitsniveaus (gesteuert durch Kosinus-Ähnlichkeit der Parameter oder Mischungsparameter $\alpha$).
• Vergleich mit State-of-the-Art: Im Gegensatz zu KL-Divergenz, Wasserstein-Distanz und OTDD (Optimal Transport Dataset Distance), die oft versagen, wenn sich nur die Label-Verteilung ändert, aber die Feature-Verteilung gleich bleibt, erfasst der CLS konsistent die Ähnlichkeit der Vorhersageaufgabe.
• Genauigkeit der Schätzung: Die Ensemble-Methode (Weighted Ensemble) liefert die genauesten Schätzungen mit der geringsten Abweichung vom Oracle-CLS (dem theoretischen Idealwert) über verschiedene lineare und nichtlineare Szenarien hinweg.

B. Reale Anwendungen

1. eICU Mortality Prediction (Medizin):
   • Ziel: Vorhersage der Sterblichkeit nach dem ICU-Aufenthalt in einem spezifischen Krankenhaus (Ziel-Daten) unter Nutzung von Daten anderer Krankenhäuser (Quell-Daten).
   • Ergebnis: Der CLS klassifizierte 6 von 10 Krankenhäusern korrekt als „Positive Transfer" (verbesserte Leistung durch Transfer) und 4 als „Ambiguous". Die empirischen Ergebnisse (Relative Error Reduction) bestätigten diese Vorhersagen: Positive Transfer-Datensätze führten konsistent zu Leistungssteigerungen.
2. Canine Image Classification (Computer Vision):
   • Ziel: Unterscheidung von Hunden und Wölfen (Ziel) unter Nutzung von Quellen wie „Hunde vs. Wölfe", „Katzen vs. Hunde" und „Pferde vs. Kamele".
   • Ergebnis: Der Encoder-Head CLS klassifizierte „Hunde vs. Wölfe" als ambivalent (teilweise nützlich) und die anderen beiden als negativen Transfer. Dies stimmte mit den Ergebnissen des Fine-Tuning überein, bei dem nur die ähnliche Quelle eine Verbesserung brachte.

4. Wichtige Beiträge

1. Neue Metrik (CLS): Einführung einer Metrik, die direkt die Ähnlichkeit der Feature-Response-Beziehung und nicht nur der Eingabeverteilung misst.
2. Theoretische Fundierung: Herleitung des Zusammenhangs zwischen CLS und der Kosinus-Ähnlichkeit von Entscheidungsgrenzen in linearen Modellen, was eine geometrische Interpretation ermöglicht.
3. Robuste Schätzung: Entwicklung von Ensemble-Methoden, die die Schätzung unabhängig von der Wahl des spezifischen Algorithmus stabilisieren.
4. Transferability-Zonen: Ein datengesteuertes Framework zur Klassifizierung von Transfer-Szenarien in positiv, ambivalent und negativ, um negative Transfer-Effekte zu vermeiden.
5. Deep Learning Kompatibilität: Anpassung der Methode an moderne Encoder-Head-Architekturen, um die Praxis des Fine-Tunings abzubilden.

5. Bedeutung und Fazit

Das Paper adressiert eine kritische Lücke im Transfer-Learning: Die Notwendigkeit, nicht nur zu wissen, ob Datensätze ähnlich sind, sondern ob ihre Vorhersageaufgaben kompatibel sind.

• Der CLS bietet einen rechnerisch effizienten Weg, um negative Transfers zu vermeiden und positive Transfers zu identifizieren, ohne auf teure Dichteschätzungen angewiesen zu sein.
• Die Methode ist skalierbar, funktioniert sowohl für flache Modelle als auch für Deep Learning und hat sich in synthetischen und realen Szenarien (Medizin, Bilderkennung) als überlegen gegenüber rein verteilungsbasierten Metriken erwiesen.
• Dies ermöglicht datengetriebene Entscheidungen bei der Auswahl von Quell-Datensätzen für Fine-Tuning, Multi-Task-Learning und Domänenanpassung.