Technische Samenvatting: RADAR (Relative Angular Divergence Across Representations)

Probleemstelling

In modern machine learning is het uitbreiden van trainingsdatasets met hulpbronnen uit aanvullende bron-domeinen een standaardstrategie om beperkingen in data op te lossen. Deze praktijk garandeert echter geen verbeterde downstream-prestaties en kan leiden tot negatieve overdracht, waarbij het opnemen van broninformatie de prestaties op het doeldomein actief verslechtert. Het identificeren van welke bron-domeinen positieve overdracht zullen opleveren, is moeilijk omdat het empirisch evalueren van elke kandidaat kostbare volledige herscholing van het model vereist. Bestaande metrics voor overdraagbaarheid vertrouwen vaak op statische representaties op een enkele laag of vereisen vooraftraining op het doeldataset, waardoor ze falen in het vastleggen van de dynamische structurele evolutie van representaties over de modelhiërarchie heen.

Methodologie: RADAR

De auteurs stellen RADAR (Relative Angular Divergence Across Representations) voor, een meetkundig onderbouwde metric die is ontworpen om overdraagbaarheid tussen domeinen te schatten met uitsluitend bevroren kenmerken van fundamentele modellen. De methode werkt door de evolutie van representaties per laag te analyseren in plaats van statische momentopnames.

Kernmechanisme

1. Extractie van trajecten per laag: Voor een vooraf getraind fundamenteel model $\Phi$ worden intermediaire kenmerkrepresentaties $h^{(l)}(x)$ op elke laag $l$ geëxtraheerd.
2. Constructie van meetkundige driehoeken: Voor een gegeven ankermonster $x$ en een secundair monster $x'$ (binnen hetzelfde domein of over domeinen heen) construeert de methode een meetkundige driehoek van verplaatsingsvectoren die de lagen $l$ en $l+1$ overspannen:
   • Scheiding ($v_{sep}$): De vector tussen $h^{(l)}(x)$ en $h^{(l)}(x')$.
   • Omweg ($v_{detour}$): De vector van $h^{(l)}(x')$ naar $h^{(l+1)}(x)$.
   • Traject ($v_{traj}$): De directe verplaatsing van $h^{(l)}(x)$ naar $h^{(l+1)}(x)$.
   • Opmerking: Het artikel bewijst dat $v_{sep} + v_{detour} = v_{traj}$ exact geldt.
3. Berekening van beschrijvers: De methode berekent twee belangrijke beschrijvers voor deze driehoeken:
   • Hoekige uitlijning ($\theta$): De cosinus-similariteit tussen de scheidings- en omwegvectoren.
   • Relatieve afstand ($d$): De genormaliseerde extra padlengte van de twee-staps omweg ten opzichte van het directe traject ($d = \frac{\|v_{sep}\| + \|v_{detour}\| - \|v_{traj}\|}{\|v_{traj}\|}$).
   • Topologische aanpassing: Hoewel de metric kan worden gedefinieerd op geodetische afstanden voor hypersferische ruimten (bijvoorbeeld DINO-kenmerken), hanteren de auteurs een uniforme Euclidische ruimte-formulering, omdat deze het meest robuust bleek over modaliteiten heen, met name voor tekst.
4. Modellering van verdelingen:
   • De methode steekproeft paren om empirische verdelingen van $\theta$ en $d$ te berekenen voor binnen-domein paren en tussen-domein paren.
   • Om computatievereerbaarheid te waarborgen, wordt een gestratificeerde steekproefstrategie gebruikt, waarbij paren worden gewogen op basis van hun afstand tot klassencentroïden (wat zowel inlier-inlier- als inlier-outlier-dynamiek vastlegt).
   • Gaussische mengmodellen (GMM's) worden op deze verdelingen gefit om de continue waarschijnlijkheidsdichtheden van de binnen-domein- en tussen-domein-dynamiek te modelleren.
5. Divergentiemeting: De uiteindelijke score voor overdraagbaarheid is afgeleid van de symmetrische Kullback-Leibler (KL)-divergentie tussen de twee GMM's. Een lagere divergentie wijst op een hogere structurele gelijkenis en bijgevolg een hogere voorspelde overdraagbaarheid.
6. Uitgebreide trajecten: Om holistische structurele verschuivingen vast te leggen, koppel de metric beschrijvers samen over een venster van lagen (bijvoorbeeld $l-6$ tot $l+6$), waardoor een hoogdimensionaal kenmerkvector ontstaat voordat de GMM wordt gefit.

Belangrijkste Bijdragen

1. Dynamische, laag-voor-laag structurele evolutie: RADAR is de eerste metric die overdraagbaarheid evalueert door de divergentie te meten tussen dynamische, continue verdelingen van meetkundige trajecten (hoeken en relatieve afstanden) over netwerklagen heen, in plaats van statische kenmerkverdelingen.
2. Zeer concurrerende voorspellende prestaties: De metric behaalt prestaties in de top drie in 7 van de 10 configuraties over visuele en tekstbenchmarks, en secureert de absolute beste prestatie in 6 daarvan. Het presteert consequent beter dan of gelijk aan state-of-the-art baselines zoals LEEP, LogME, NCE, TransRate en S-OTDD.
3. Robuuste en efficiënte schatting: Door middel van uitgebreide ablatiestudies tonen de auteurs aan dat RADAR robuust is voor hyperparameterkeuzes (steekproefgrootte, vensterradius, temperatuur) en computationeel efficiënt is, vaak prestaties van baselines overtreffend in CPU-only omgevingen vanwege de afhankelijkheid van bevroren kenmerken en subsampling.

Experimentele Resultaten

De auteurs hebben RADAR geëvalueerd op:

• Visuele modaliteiten: CLIP- en DINOv3-ruggengraten op DomainNet, OfficeHome en PACS.
• Tekstmodaliteiten: Qwen3-Embedding en EmbeddingGemma op EuroEval en AmazonReviews.

Belangrijkste bevindingen:

• Prestaties: RADAR behaalde de beste Mean Correlation Improvement (MCI) op DomainNet voor zowel CLIP als DINOv3, en op OfficeHome voor CLIP. In tekst behaalde het de beste resultaten op EuroEval voor EmbeddingGemma (met meer dan 30 procentpunten beter dan de volgende beste baseline) en was het concurrerend op AmazonReviews.
• Regimes voor domeinscheiding: RADAR excelleert wanneer domeinovergangen glad zijn (lage corruptie/scheiding) of schoon gescheiden (hoge corruptie/scheiding). De prestaties verslechteren in "intermediaire" regimes (bijvoorbeeld het PACS-dataset), waar domeinen verspreide, niet-uniforme scheiding vertonen die noch glad genoeg is voor trajectuitlijning, noch distinct genoeg voor een schone divergentieschatting.
• Verschillen in modaliteit: Tekstrepresentaties geven strikt de voorkeur aan Euclidische ruimte en hoekige kenmerken, terwijl visuele representaties robustheid tonen voor zowel Euclidische als pseudo-cartesiaanse ruimten.
• Robuustheid tegen corruptie: Op ImageNet-C toonde RADAR uitzonderlijke robustheid bij extreme corruptieniveaus (Zwaarte 5), waar statische statistische metrics faalden, hoewel het kwetsbaar bleek voor matige synthetische ruis (Zwaarte 3).

Betekenis en Claims

Het artikel stelt dat meetkundige structuur per laag een betekenisvol signaal voor overdraagbaarheid draagt dat statische, enkel-laags metrics niet kunnen vastleggen. Door de divergentie te meten van hoe representaties evolueren over lagen heen, biedt RADAR een principiële, computationeel efficiënte manier om ranglijsten voor overdrachtswinst te voorspellen zonder modellen opnieuw te trainen.

De auteurs benadrukken dat hun aanpak wordt gemotiveerd door de Perceptual Straightening Hypothesis en de observatie dat de meest informatieve representaties in fundamentele modellen niet altijd op de laatste laag te vinden zijn. Ze betogen dat RADAR een cross-modale, uniforme framework biedt voor beslissingen in transfer learning, met name effectief wanneer domeinverschuivingen goed gedefinieerd zijn. Echter erkennen ze nederig beperkingen, met name dat de voorspellende kracht van de metric verslechtert in scenario's met verspreide, overlappende domeinstructuren en dat de afhankelijkheid van GMM's een computatief knelpunt vormt voor real-time filtering.