Technische Samenvatting: MED-DSLC

Probleemstelling

Vision-Language Models (VLM's) zoals CLIP maken zero-shot classificatie mogelijk door afbeeldingen en tekstkenmerken te vergelijken in een gedeelde embedding-ruimte. Een cruciale eigenschap van deze capaciteit is de globale vergelijkbaarheid van logits over willekeurige kandidaatklassen, wat een geldige softmax-normalisatie over elke verzameling labels mogelijk maakt. Echter, wanneer VLM's worden aangepast aan fijnmazige of gespecialiseerde domeinen met behulp van Parameter-Efficient Finetuning (PEFT) technieken zoals LoRA, lijden ze vaak aan cross-domain logit miskalibratie.

Hoewel onafhankelijke domeinexperts een hoge in-domain nauwkeurigheid bereiken, zijn hun output-logits niet globaal gekalibreerd. Wanneer deze experts worden samengevoegd om een unie van klassen uit meerdere domeinen te verwerken (Multi-Expert-Domain of MED classificatie), leidt het gebrek aan kalibratie tot cross-domain interferentie. Specifiek zorgen domeinen die hogere magnitude-logits produceren voor een dominantie in de softmax-waarschijnlijkheidsverdeling, zelfs voor out-of-domain inputs, wat resulteert in kunstmatig hoge mate van vertrouwen en voorspellingsfouten. Bovendien vertrouwen bestaande MED-benaderingen vaak op unsupervised routing-mechanismen die moeite hebben met expert load balancing en er niet in slagen het feit te benutten dat domeinlabels tijdens de training eenvoudigweg afgeleid kunnen worden van klasse-labels.

Methodologie: MED-DSLC

De auteurs stellen MED-DSLC voor (Multi-Expert-Domain Classification via Domain Supervision en Logit Calibration), een lichtgewicht Mixture-of-Experts (MoE) architectuur die is ontworpen om de globale logit-vergelijkbaarheid te herstellen. Het framework bestaat uit twee primaire componenten:

1. Domain-Supervised Routing

In tegenstelling tot standaard MoE-implementaties (bijv. MoLE) die expert-toewijzingen leren via unsupervised gating-netwerken, maakt MED-DSLC gebruik van supervised domain learning.

• Mechanisme: Omdat het domein van een trainingsmonster kan worden afgeleid van zijn klasse-label (door te controleren in welke domeinspecifieke labelset de klasse thuishoort), wordt het gating-netwerk getraind met een domain classification loss ($\mathcal{L}_{\text{domain}}$ naast de standaard image classification loss ($\mathcal{L}_{\text{cls}}$).
• Doel: Dit dwingt het gating-netwerk om expliciet te leren kenmerken naar het juiste domeinexpert te routeren, wat zorgt voor betere load balancing en het verminderen van de selectie van mismatchende experts tijdens de inferentie.

2. Domain-Wise Logit Scaling (Calibration)

Om het probleem aan te pakken waarbij onafhankelijk getrainde experts logits produceren met incompatibele schalen, introduceert MED-DSLC een leerbare temperatuurparameter ($\tau_d$) voor elk domein $d$.

• Mechanisme: Voordat de uiteindelijke softmax-operatie over de verenigde labelruimte plaatsvindt, worden de logits $z_c(x)$ voor klassen die behoren tot domein $d$ geschaald:
  $$\tilde{z}_c(x) = \frac{z_c(x)}{\tau_d}$$
• Doel: Deze normalisatie stemt de magnitudes van de logits over verschillende domeinen af zonder de relatieve rangorde van klassen binnen een enkel domein te wijzigen. Het voorkomt dat domeinen met systematisch hogere logit-magnitudes de voorspelling domineren, waardoor de vereiste globale vergelijkbaarheid voor geldige zero-shot inferentie wordt hersteld.

De totale trainingsdoelstelling combineert de classificatie loss en de domain supervision loss:
$$\mathcal{L} = \mathcal{L}_{\text{cls}} + \lambda \mathcal{L}_{\text{domain}}$$
waarbij $\lambda$ de twee termen balanceert. De VLM-backbone en de onafhankelijk getrainde LoRA-adapters blijven bevroren; alleen het gating-netwerk en de temperatuurparameters worden geleerd.

Belangrijkste Bijdragen

1. Probleemidentificatie: Het artikel identificeert unsupervised domain routing en cross-domain logit miskalibratie als de primaire barrières voor schaalbare MED-classificatie.
2. MED-DSLC Framework: De auteurs stellen een nieuwe architectuur voor die domain-supervised routing en domain-wise logit scaling combineert om de globale logit-vergelijkbaarheid expliciet te herstellen.
3. Robuuste Zero-Shot Herkenning: De methode maakt robuuste classificatie mogelijk over de unie van gespecialiseerde domeinen zonder dat er tijdens de testtijd domeinlabels nodig zijn, waardoor het effectief het schaalbare, werkelijk zero-shot VLM-gedrag herstelt onder multi-domein specialisatie.

Experimentele Resultaten

De auteurs hebben MED-DSLC geëvalueerd op negen fine-grained herkenningsbenchmarks (waaronder Caltech101, EuroSAT, FGVC Aircraft, Cars, Pets, Flowers, DTD, UCF101 en Food101) onder zowel Base Split (geziene klassen) als All Split (geziene + ongeziene klassen) protocollen.

• Prestatiewinst: MED-DSLC behaalde een gemiddelde nauwkeurigheid van 85,51% op de Base Split en 71,80% op de All Split.
  • Het presteerde beter dan de naïeve LoRA-Mean baseline met +15,39% (Base) en +6,83% (All).
  • Het overtrof de unsupervised MoLE baseline met +12,99% (Base) en +5,95% (All).
  • Opvallend genoeg overtrof MED-DSLC zelfs licht de prestaties van de Expert-LoRA oracle (die de grondwaarheid van het domein kent tijdens de testtijd), wat suggereert dat de combinatie van experts robuustheid biedt tegen overfitting.
• Cross-Domain Robuustheid: De methode verminderde cross-domain interferentie aanzienlijk, zoals blijkt uit logit-histogrammen die een verminderde overlap tussen domeinen laten zien vergeleken met MoLE.
• Data-efficiëntie: In een one-shot training setting (het trainen van de gating en scaling parameters met slechts één voorbeeld per klasse), behield MED-DSLC een sterke prestatie (71,71% gemiddelde nauwkeurigheid), waarmee het andere methoden met aanzienlijke marges versloeg.
• Schaalbaarheid: De methode toonde robuustheid aan bij toenemende complexiteit van de labelruimte en klasse-imbalans, waarbij de prestatiewinst ten opzichte van baselines toenam naarmate het aantal klassen en domeinen groeide.

Betekenis en Claims

Het artikel claimt dat het herstellen van output-niveau kalibratie essentieel is voor het bereiken van werkelijk zero-shot VLM's in sterk data-imbalante, multi-domein omgevingen. De auteurs stellen dat hoewel parameter-efficiënte finetuning gespecialiseerde experts creëert, het simpelweg samenvoegen van deze experts zonder de logit-schaalverschillen aan te pakken, leidt tot gefragmenteerde en onbetrouwbare modellen.

MED-DSLC wordt gepresenteerd als een lichtgewicht oplossing die geen hertraining van het fundamentele model of de expert LoRA's vereist. Door supervised routing te combineren met eenvoudige logit scaling, stelt het framework de consolidatie van duizenden gespecialiseerde modellen in één enkel, verenigd systeem mogelijk dat in-domain discriminatie behoudt terwijl cross-domain interferentie wordt beperkt. De resultaten suggereren dat deze aanpak cruciaal is voor het schalen van VLM's om diverse, real-world labelruimtes te beheren waar het passende domein tijdens de inferentie onbekend is.