Sintesi Tecnica: MED-DSLC

Definizione del Problema

I modelli Vision-Language (VLM) come CLIP abilitano la classificazione zero-shot confrontando le caratteristiche di immagini e testo in uno spazio di embedding condiviso. Una proprietà critica di questa capacità è la comparabilità globale dei logit tra classi candidate arbitrarie, che consente una normalizzazione softmax valida su qualsiasi set di etichette. Tuttavia, quando i VLM vengono adattati a domini specializzati o a grana fine utilizzando tecniche di Parameter-Efficient Finetuning (PEFT) come LoRA, spesso soffrono di miscalibrazione dei logit cross-domain.

Sebbene gli esperti di dominio indipendenti raggiungano un'elevata accuratezza in-domain, i loro logit in uscita non sono calibrati globalmente. Quando questi esperti vengono uniti per gestire unione di classi provenienti da più domini (classificazione Multi-Expert-Domain o MED), la mancanza di calibrazione porta a interferenza cross-domain. Nello specifico, i domini che producono logit con magnitudo maggiore dominano la distribuzione di probabilità softmax, anche per input fuori dal dominio, risultando in una confidenza artificialmente alta ed errori di predizione. Inoltre, gli approcci MED esistenti spesso si affidano a meccanismi di routing non supervisionati che faticano con il bilanciamento del carico degli esperti e non riescono a sfruttare il fatto che le etichette di dominio possono essere derivate trivialmente dalle etichette di classe durante l'addestramento.

Metodologia: MED-DSLC

Gli autori propongono MED-DSLC (Multi-Expert-Domain Classification via Domain Supervision and Logit Calibration), un'architettura Mixture-of-Experts (MoE) leggera progettata per ripristinare la comparabilità globale dei logit. Il framework si compone di due componenti primarie:

1. Routing Supervisionato dal Dominio

A differenza delle implementazioni standard di MoE (es. MoLE) che apprendono l'assegnazione degli esperti tramite reti di gating non supervisionate, MED-DSLC utilizza l'apprendimento del dominio supervisionato.

• Meccanismo: Poiché il dominio di un campione di addestramento può essere derivato dalla sua etichetta di classe (controllando a quale set di etichette specifiche di dominio appartiene la classe), la rete di gating viene addestrata con una perdita di classificazione del dominio ($\mathcal{L}_{\text{domain}}$ in aggiunta alla standard perdita di classificazione dell'immagine ($\mathcal{L}_{\text{cls}}$).
• Obiettivo: Questo costringe la rete di gating a imparare esplicitamente a instradare le caratteristiche verso l'esperto di dominio corretto, garantendo un migliore bilanciamento del carico e riducendo la selezione di esperti errati durante l'inferenza.

2. Scalatura dei Logit per Dominio (Calibrazione)

Per affrontare il problema per cui gli esperti addestrati indipendentemente producono logit con scale incompatibili, MED-DSLC introduce un parametro di temperatura apprendibile ($\tau_d$) per ogni dominio $d$.

• Meccanismo: Prima dell'operazione softmax finale sullo spazio di etichette unificato, i logit $z_c(x)$ per le classi appartenenti al dominio $d$ vengono riscalati:
  $$\tilde{z}_c(x) = \frac{z_c(x)}{\tau_d}$$
• Obiettivo: Questa normalizzazione allinea le magnitudo dei logit tra diversi domini senza alterare il ranking relativo delle classi all'interno di un singolo dominio. Impedisce ai domini con magnitudo dei logit sistematicamente più elevata di dominare la predizione, ripristinando così la comparabilità globale necessaria per una valida inferenza zero-shot.

L'obiettivo di addestramento complessivo combina la perdita di classificazione e la perdita di supervisione del dominio:
$$\mathcal{L} = \mathcal{L}_{\text{cls}} + \lambda \mathcal{L}_{\text{domain}}$$
dove $\lambda$ bilancia i due termini. Il backbone VLM e gli adattatori LoRA addestrati indipendentemente rimangono congelati; solo la rete di gating e i parametri di temperatura vengono appresi.

Contributi Chiave

1. Identificazione del Problema: Il documento identifica il routing di dominio non supervisionato e la miscalibrazione dei logit cross-domain come le barriere primarie alla scalabilità della classificazione MED.
2. Framework MED-DSLC: Gli autori propongono una nuova architettura che combina il routing supervisionato dal dominio e la scalatura dei logit per dominio per ripristinare esplicitamente la comparabilità globale dei logit.
3. Riconoscimento Zero-Shot Robusto: Il metodo abilita una classificazione robusta su unioni di domini specializzati senza richiedere etichette di dominio al tempo di test, recuperando efficacemente il comportamento zero-shot scalabile e autentico dei VLM sotto specializzazione multi-dominio.

Risultati Sperimentali

Gli autori hanno valutato MED-DSLC su nove benchmark di riconoscimento fine-grained (inclusi Caltech101, EuroSAT, FGVC Aircraft, Cars, Pets, Flowers, DTD, UCF101 e Food101) sia sotto protocolli Base Split (classi viste) che All Split (classi viste + non viste).

• Guadagni di Performance: MED-DSLC ha raggiunto un'accuratezza media dell'85,51% sul Base Split e del 71,80% sull'All Split.
  • Ha superato la baseline ingenua LoRA-Mean di +15,39% (Base) e +6,83% (All).
  • Ha superato la baseline non supervisionata MoLE di +12,99% (Base) e +5,95% (All).
  • Notevolmente, MED-DSLC ha leggermente superato le prestazioni dell'oracolo Expert-LoRA (che conosce il dominio reale al tempo di test), suggerendo che la combinazione di esperti fornisce robustezza contro l'overfitting.
• Robustezza Cross-Domain: Il metodo ha ridotto significativamente l'interferenza cross-domain, come dimostrato dagli istogrammi dei logit che mostrano una minore sovrapposizione tra i domini rispetto a MoLE.
• Efficienza dei Dati: In un contesto di addestramento one-shot (addestrando i parametri di gating e scalatura con un solo esempio per classe), MED-DSLC ha mantenuto prestazioni elevate (accuratezza media del 71,71%), superando significativamente altri metodi.
• Scalabilità: Il metodo ha dimostrato robustezza all'aumento della complessità dello spazio delle etichette e allo sbilanciamento delle classi, con guadagni di performance rispetto alle baseline che aumentano al crescere del numero di classi e domini.

Significato e Rivendicazioni

Il documento sostiene che il ripristino della calibrazione a livello di output sia essenziale per ottenere veri VLM zero-shot in contesti multi-dominio altamente sbilanciati. Gli autori argomentano che, sebbene il fine-tuning parametrico efficiente crei esperti specializzati, la semplice unione di questi senza affrontare le discrepanze di scala dei logit porti a modelli frammentati e inaffidabili.

MED-DSLC è presentato come una soluzione leggera che non richiede il riaddestramento del modello fondamentale o degli esperti LoRA. Combinando il routing supervisionato con una semplice scalatura dei logit, il framework permette di consolidare migliaia di modelli specializzati in un unico sistema unificato che preserva la discriminazione in-domain mitigando al contempo l'interferenza cross-domain. I risultati suggeriscono che questo approccio sia critico per scalare i VLM per gestire diversissimi spazi di etichette del mondo reale dove il dominio appropriato è sconosciuto durante l'inferenza.