🤖 machine learning

RADAR: Relative Angular Divergence Across Representations

Das Papier stellt RADAR vor, eine geometrisch fundierte Metrik, die die überdomänenübergreifende Übertragbarkeit in Grundmodellen durch Analyse der Winkeldivergenz und relativer Distanzänderungen in schichtweisen Repräsentationstrajektorien abschätzt und dabei eine wettbewerbsfähige Vorhersageleistung über Text- und Bildbenchmarks hinweg demonstriert.

Ursprüngliche Autoren: Xavier Cadet, Mateusz Nowak, Peter Chin

Veröffentlicht 2026-05-25

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Xavier Cadet, Mateusz Nowak, Peter Chin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Koch, der versucht, ein neues Gericht zu kreieren. Sie haben ein großartiges Rezept (Ihre „Ziel"-Daten), aber nicht genügend Zutaten. Sie entscheiden sich, Zutaten aus anderen Küchen (Ihre „Quelldaten") zu leihen, um Ihnen zu helfen.

Das Problem? Nicht alle geliehenen Zutaten funktionieren gut zusammen. Manchmal verschlechtert das Hinzufügen eines neuen Gewürzs den Geschmack des Gerichts, anstatt ihn zu verbessern. Dies wird als „negativer Transfer" bezeichnet. Normalerweise muss man, um zu wissen, ob eine Zutat funktionieren wird, das gesamte Gericht zubereiten, es probieren und, falls es schlecht ist, es wegwerfen und es erneut versuchen. Dies ist langsam, teuer und verschwenderisch.

Die Arbeit stellt ein neues Werkzeug namens RADAR (Relative Angular Divergence Across Representations) vor. Denken Sie an RADAR als einen super-intelligenten Food-Kritiker, der einen einzigen Tropfen der rohen Zutaten probieren und Ihnen sofort sagen kann: „Ja, dies wird sich perfekt vermischen", oder „Nein, dies wird die Suppe ruinieren", ohne dass Sie das ganze Essen zubereiten müssen.

So funktioniert RADAR, unter Verwendung einfacher Analogien:

1. Die „Schicht-für-Schicht"-Reise

Die meisten alten Werkzeuge betrachten die Zutaten erst am Ende des Kochprozesses (der letzten Schicht des Modells). Sie fragen: „Ähneln sich diese zwei Schüsseln Suppe?"

RADAR ist anders. Es beobachtet die gesamte Reise der Zutaten, während sie sich durch die Küche bewegen. Stellen Sie sich vor, die Zutaten reisen durch eine Reihe von Räumen (Schichten) in einer Fabrik.

Alte Werkzeuge überprüfen nur das Endprodukt.
RADAR beobachtet, wie sich die Zutaten vom Raum 1 zum Raum 2, dann zum Raum 3 und so weiter bewegen. Es verfolgt ihren Pfad.

2. Die „Weg-Analogie"

Um zu verstehen, ob zwei Gruppen von Menschen (Daten aus verschiedenen Domänen) kompatibel sind, betrachtet RADAR, wie sie durch ein Labyrinth laufen.

Der „Innergruppen"-Weg: Stellen Sie sich zwei Freunde aus derselben Stadt vor, die durch das Labyrinth laufen. Sie neigen dazu, in einer geraden Linie zu laufen und effiziente, direkte Wege zu nehmen. Ihre Schritte sind vorhersehbar.
Der „Zwischengruppen"-Weg: Stellen Sie sich nun einen Freund aus Ihrer Stadt und einen aus einem fremden Land vor, die zusammen laufen. Laufen sie in einer geraden Linie? Oder machen sie seltsame Umwege, Zickzack-Bewegungen oder geraten in Verwirrung?

RADAR misst zwei Dinge bei diesen Wegen:

Der Winkel: Laufen sie in die gleiche Richtung, oder drehen sie sich scharf voneinander weg?
Der Umweg: Ist der Weg, den sie gemeinsam zurücklegen, viel länger als der direkte Weg, den einer von ihnen allein zurücklegen würde?

Wenn der „fremde" Freund im Vergleich zum lokalen Freund einen riesigen, verwirrenden Umweg nimmt, sagt RADAR: „Diese beiden passen nicht gut zusammen." Wenn sie gemeinsam in einer geraden Linie laufen, sagt RADAR: „Großartig, sie sind kompatibel!"

3. Die „Formwandelnde"-Karte

Die Arbeit stellt fest, dass verschiedene Datentypen (wie Text versus Bilder) in verschiedenen „Welten" leben.

Text ist wie ein flaches Blatt Papier (euklidischer Raum).
Bilder sind manchmal wie die Oberfläche eines Globus (gekrümmter Raum).

RADAR ist intelligent genug zu wissen, welche Karte zu verwenden ist. Es kann die „Wegstrecken" auf einem flachen Blatt oder auf einem Globus messen, je nachdem, welche Art von Daten es betrachtet. Anschließend erstellt es einen statistischen „Fingerabdruck" davon, wie sich die Wege verhalten.

4. Der „Verkehrsbericht"

Schließlich vergleicht RADAR die „Verkehrsmuster" der lokalen Gruppe mit denen der fremden Gruppe.

Wenn der Verkehr für beide gleichmäßig und ähnlich fließt, sagt es einen positiven Transfer voraus (die neuen Daten werden helfen).
Wenn die Verkehrsmuster chaotisch und völlig unterschiedlich sind, sagt es einen negativen Transfer voraus (die neuen Daten werden schaden).

Warum ist dies besser?

Kein Kochen erforderlich: Sie müssen das gesamte KI-Modell nicht neu trainieren, um zu testen, ob ein neuer Datensatz gut ist. Sie führen diesen „Geschmackstest" einfach auf den eingefrorenen Merkmalen durch.
Es sieht die Details: Da es die Bewegung durch die Schichten (die Reise) betrachtet, erfasst es subtile Unterschiede, die Werkzeuge, die nur das Endergebnis betrachten, übersehen.
Es funktioniert überall: Die Autoren haben es sowohl auf Bilder (wie das Erkennen von Katzen versus Hunden in verschiedenen Stilen) als auch auf Text (wie das Verstehen von Sentiment in verschiedenen Sprachen) getestet. Es funktionierte in beiden Fällen gut, insbesondere wenn die Unterschiede zwischen den Daten klar oder gleichmäßig veränderlich waren.

Der Haken

Die Arbeit gibt zu, dass RADAR nicht für jede Situation magisch ist. Wenn die Daten unordentlich, verstreut und ohne klare Struktur sind (wie eine chaotische Menge, in der jeder zufällig läuft), könnte RADAR verwirrt werden. Es funktioniert am besten, wenn die „Wegstrecken" entweder sehr glatt oder sehr klar unterscheidbar sind.

Kurz gesagt: RADAR ist ein geometrischer Kompass, der vorhersagt, ob das Mischen zweier verschiedener Datentypen einer KI hilft zu lernen oder sie verwirrt, indem es beobachtet, wie diese Daten durch das Gehirn der KI „laufen", bevor Sie überhaupt mit dem Training beginnen.

Technische Zusammenfassung: RADAR (Relative Angular Divergence Across Representations)

Problemstellung

Im modernen maschinellen Lernen ist die Erweiterung von Trainingsdatensätzen durch zusätzliche Quell-Domänen eine Standardstrategie, um Datenbeschränkungen zu adressieren. Diese Praxis garantiert jedoch keine Verbesserung der downstream-Leistung und kann zu negativem Transfer führen, bei dem die Einbeziehung von Quellinformationen die Zielleistung aktiv verschlechtert. Die Identifizierung derjenigen Quell-Domänen, die einen positiven Transfer liefern, ist schwierig, da die empirische Bewertung jedes Kandidaten eine kostspielige Neu-Training des gesamten Modells erfordert. Bestehende Transferierbarkeitsmetriken stützen sich häufig auf statische Repräsentationen einer einzelnen Schicht oder erfordern ein Pre-Training auf dem Ziel-Datensatz, wodurch sie die dynamische strukturelle Evolution von Repräsentationen über die Modellhierarchie hinweg nicht erfassen können.

Methodik: RADAR

Die Autoren schlagen RADAR (Relative Angular Divergence Across Representations) vor, eine geometrisch fundierte Metrik, die entwickelt wurde, um die Domänen-übergreifende Transferierbarkeit unter Verwendung ausschließlich eingefrorener Merkmale aus Basismodellen zu schätzen. Die Methode funktioniert durch die Analyse der schichtweisen Evolution von Repräsentationen anstelle statischer Momentaufnahmen.

Kernmechanismus

Schichtweise Trajektorien-Extraktion: Für ein vortrainiertes Basismodell $\Phi$ werden intermediate Merkmalsrepräsentationen $h^{(l)}(x)$ in jeder Schicht $l$ extrahiert.
Geometrische Dreiecks-Konstruktion: Für eine gegebene Anker-Stichprobe $x$ $x$ und eine sekundäre Stichprobe $x'$ $x^{'}$ (entweder innerhalb derselben Domäne oder über Domänen hinweg) konstruiert die Methode ein geometrisches Dreieck aus Verschiebungsvektoren, das sich über die Schichten $l$ $l$ und $l+1$ $l + 1$ erstreckt:
- Trennung ( $v_{sep}$ ): Der Vektor zwischen $h^{(l)}(x)$ und $h^{(l)}(x')$ .
- Umweg ( $v_{detour}$ ): Der Vektor von $h^{(l)}(x')$ zu $h^{(l+1)}(x)$ .
- Trajektorie ( $v_{traj}$ ): Die direkte Verschiebung von $h^{(l)}(x)$ zu $h^{(l+1)}(x)$ .
- Hinweis: Der Beweis im Papier zeigt, dass $v_{sep} + v_{detour} = v_{traj}$ exakt gilt.
Deskriptor-Berechnung: Die Methode berechnet zwei Schlüssel-Deskriptoren für diese Dreiecke:
- Winkel-Alignment ( $\theta$ ): Die Kosinus-Ähnlichkeit zwischen den Trennungs- und Umweg-Vektoren.
- Relativer Abstand ( $d$ ): Die normalisierte überschüssige Pfadlänge des Zwei-Schritt-Umwegs im Vergleich zur direkten Trajektorie ( $d = \frac{\|v_{sep}\| + \|v_{detour}\| - \|v_{traj}\|}{\|v_{traj}\|}$ ).
- Topologische Anpassung: Obwohl die Metrik auf geodätischen Abständen für hypersphärische Räume definiert werden kann (z. B. DINO-Merkmale), wählen die Autoren eine einheitliche Formulierung im euklidischen Raum, da sich diese als am robustesten über Modalitäten hinweg erwies, insbesondere für Text.
Verteilungsmodellierung:
- Die Methode stichprobt Paare, um empirische Verteilungen von $\theta$ und $d$ für domäneninterne Paare und domänenübergreifende Paare zu berechnen.
- Um die rechnerische Machbarkeit sicherzustellen, wird eine geschichtete Stichprobenstrategie verwendet, die Paare basierend auf ihrem Abstand zu Klassen-Zentroiden gewichtet (was sowohl Inlier-Inlier- als auch Inlier-Outlier-Dynamiken erfasst).
- Gaußsche Mischmodelle (GMMs) werden an diese Verteilungen angepasst, um die kontinuierlichen Wahrscheinlichkeitsdichten der domäneninternen und domänenübergreifenden Dynamiken zu modellieren.
Divergenz-Messung: Der endgültige Transferierbarkeits-Score wird aus der symmetrischen Kullback-Leibler (KL)-Divergenz zwischen den beiden GMMs abgeleitet. Eine geringere Divergenz zeigt eine höhere strukturelle Ähnlichkeit und folglich eine höhere vorhergesagte Transferierbarkeit an.
Erweiterte Trajektorien: Um ganzheitliche strukturelle Verschiebungen zu erfassen, verkettet die Metrik Deskriptoren über ein Fenster von Schichten (z. B. $l-6$ bis $l+6$ ), wodurch vor dem Anpassen des GMM ein hochdimensionaler Merkmalsvektor entsteht.

Hauptbeiträge

Dynamische, schichtweise strukturelle Evolution: RADAR ist die erste Metrik, die Transferierbarkeit bewertet, indem sie die Divergenz zwischen dynamischen, kontinuierlichen Verteilungen geometrischer Trajektorien (Winkel und relative Abstände) über Netzwerkschichten hinweg misst, anstatt statischer Merkmalsverteilungen.
Hoch kompetitive prädiktive Leistung: Die Metrik erreicht in 7 von 10 Konfigurationen über Vision- und Text-Benchmarks hinweg eine Top-Three-Leistung und sichert sich in 6 davon die absolut beste Leistung. Sie übertrifft oder gleicht konsistent State-of-the-Art-Baselines wie LEEP, LogME, NCE, TransRate und S-OTDD.
Robuste und effiziente Schätzung: Durch umfangreiche Ablationsstudien demonstrieren die Autoren, dass RADAR gegenüber Hyperparameter-Wahl (Stichprobengröße, Fensterradius, Temperatur) robust und rechnerisch effizient ist und Baselines in reinen CPU-Umgebungen oft übertrifft, da es sich auf eingefrorene Merkmale und Unterstichproben stützt.

Experimentelle Ergebnisse

Die Autoren bewerteten RADAR an:

Vision-Modalitäten: CLIP- und DINOv3-Backbones auf DomainNet, OfficeHome und PACS.
Text-Modalitäten: Qwen3-Embedding und EmbeddingGemma auf EuroEval und AmazonReviews.

Wichtige Erkenntnisse:

Leistung: RADAR erzielte die beste Mean Correlation Improvement (MCI) auf DomainNet sowohl für CLIP als auch für DINOv3 sowie auf OfficeHome für CLIP. Im Textbereich erzielte es die besten Ergebnisse auf EuroEval für EmbeddingGemma (mit einer Überlegenheit von >30 Prozentpunkten gegenüber der nächstbesten Baseline) und war auf AmazonReviews konkurrenzfähig.
Domänentrennungs-Regime: RADAR glänzt, wenn Domänenübergänge glatt (geringe Korruption/Trennung) oder klar getrennt (hohe Korruption/Trennung) sind. Seine Leistung verschlechtert sich in „intermediären" Regimen (z. B. PACS-Datensatz), in denen Domänen eine verstreute, nicht-uniforme Trennung aufweisen, die weder glatt genug für Trajektorien-Alignment noch deutlich genug für eine saubere Divergenzschätzung ist.
Modalitätsunterschiede: Textrepräsentationen bevorzugen strikt den euklidischen Raum und Winkelmerkmale, während Vision-Repräsentationen sowohl gegenüber euklidischen als auch pseudo-kartesischen Räumen robust sind.
Robustheit gegenüber Korruption: Auf ImageNet-C zeigte RADAR bei extremen Korruptionsstufen (Schweregrad 5) eine außergewöhnliche Robustheit, wo statische statistische Metriken versagten, obwohl es eine Anfälligkeit für moderate synthetische Rauschsignale (Schweregrad 3) aufwies.

Bedeutung und Behauptungen

Das Papier behauptet, dass die schichtweise geometrische Struktur ein aussagekräftiges Transferierbarkeits-Signal trägt, das statische, ein-Schicht-Metriken nicht erfassen können. Durch die Messung der Divergenz der Evolution von Repräsentationen über Schichten hinweg bietet RADAR eine prinzipielle, rechnerisch effiziente Möglichkeit, Transfer-Gewinn-Rankings vorherzusagen, ohne Modelle neu trainieren zu müssen.

Die Autoren betonen, dass ihr Ansatz durch die Hypothese der Perzeptuellen Streckung und die Beobachtung motiviert ist, dass die informativsten Repräsentationen in Basismodellen nicht immer in der letzten Schicht liegen. Sie argumentieren, dass RADAR ein modalitätsübergreifendes, einheitliches Framework für Transfer-Learning-Entscheidungen bietet, das besonders effektiv ist, wenn Domänenverschiebungen gut definiert sind. Allerdings räumen sie bescheiden Einschränkungen ein und stellen fest, dass die prädiktive Kraft der Metrik in Szenarien mit verstreuten, überlappenden Domänenstrukturen nachlässt und dass die Abhängigkeit von GMMs einen rechnerischen Flaschenhals für die Echtzeit-Filterung darstellt.