HyCal: A Training-Free Prototype Calibration Method for Cross-Discipline Few-Shot Class-Incremental Learning

1. Il Problema: Gravità del Dominio (Domain Gravity)

Il lavoro affronta le limitazioni degli attuali metodi di Apprendimento Incrementale di Classe con Few-Shot (FSCIL) quando applicati a scenari reali caratterizzati da eterogeneità e squilibri dei dati.

• Contesto: I modelli pre-addestrati Vision-Language (VLM) come CLIP mostrano grande potenziale nell'apprendimento continuo. Tuttavia, i metodi FSCIL esistenti assumono domini omogenei e distribuzioni di dati bilanciate.
• La Sfida Reale: In applicazioni pratiche (es. medicina, aerospaziale, telerilevamento), i dati provengono da discipline visive eterogenee con complessità visiva variabile e disponibilità di campioni sbilanciata.
• Il Fenomeno Identificato: Gli autori introducono il concetto di "Gravità del Dominio" (Domain Gravity). Si tratta di un'asimmetria rappresentazionale in cui i domini sovrarappresentati o a bassa entropia (più coerenti visivamente o con più dati) esercitano un'influenza sproporzionata sullo spazio degli embedding.
  • Questo causa un drift dei prototipi verso i domini dominanti.
  • I domini sottorappresentati o ad alta entropia subiscono un degrado delle prestazioni e una scarsa rappresentazione strutturale.
  • Le metriche tradizionali (come la distanza euclidea o la similarità coseno pura) falliscono nel calibrare correttamente i prototipi in queste condizioni di eterogeneità.

2. Il Benchmark: XD-VSCIL

Per valutare rigorosamente questo problema, gli autori definiscono un nuovo setting chiamato Cross-Discipline Variable Few-Shot Class-Incremental Learning (XD-VSCIL).

• Caratteristiche:
  • Apprendimento incrementale di nuove classi provenienti da discipline visive distinte (es. immagini mediche, texture, astronomia, fiori).
  • Variabilità: Il numero di classi per task e il numero di campioni per classe (shot) variano dinamicamente, riflettendo scenari reali di squilibrio.
  • Squilibrio: Include configurazioni ad alto squilibrio di scala (High-Scale Domain Imbalance), dove alcuni domini hanno centinaia di campioni e altri solo pochi.
• Dataset: Il benchmark utilizza 8 dataset eterogenei (Aircraft, ArtBench, DTD, EuroSAT, Galaxy, MNIST, OrganMNIST, OxfordFlowers).
• Metrica Proposta: Viene introdotto lo SCDE (Cross-Discipline Efficiency), una metrica che bilancia l'adattabilità (plasticità) e la ritenzione della conoscenza, ponderando i risultati in base alla dimensione dei dati di addestramento per favorire l'efficienza nei contesti a pochi campioni.

3. Metodologia: HYCAL

Gli propongono HYCAL, un metodo senza addestramento (training-free) che opera sugli embedding congelati di CLIP. Non modifica i parametri del modello di base, ma calibra i prototipi di classe.

Idea Chiave: Fusione Ibrida

HYCAL combina due misure geometriche complementari per contrastare la Gravità del Dominio:

1. Similarità del Coseno: Cattura l'allineamento direzionale globale. È robusta ma ignora la varianza interna della classe.
2. Distanza di Mahalanobis: Tiene conto della covarianza specifica del dominio e della magnitudine, correggendo le differenze di entropia e scala tra i domini.

Fondamento Teorico

• Indipendenza Statistica: Sotto un modello gaussiano isotropo, la similarità del coseno (dipendente dalla direzione) e la distanza di Mahalanobis (dipendente dalla magnitudine radiale) sono statisticamente indipendenti. La loro combinazione fornisce informazioni mutualmente esclusive e più ricche.
• Anisotropia Reale: Nei VLM reali, l'anisotropia degli embedding rende queste due misure ancora più complementari, poiché i domini eterogenei deformano lo spazio in modi diversi per direzione e magnitudine.

Algoritmo di Calibrazione

1. Costruzione del Prototipo: Per ogni nuova classe, si calcola l'embedding medio ($\mu_c$) e una matrice di precisione regolarizzata ($\Sigma^{-1}_c$) basata sui pochi campioni disponibili.
2. Fusione Dinamica: Durante l'inferenza, il punteggio finale per una classe $c$ è una somma pesata:
   $$Score = w_c \cdot d_{maha} + (1 - w_c) \cdot s_{cos}$$
   Il peso $w_c$ è adattivo e dipende dal numero di campioni della classe ($K_c$). Se una classe ha pochi dati, il sistema bilancia dinamicamente il contributo della distanza di Mahalanobis (che gestisce la varianza) e del coseno (che gestisce la direzione), evitando che un singolo dominio dominante distorca la decisione.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su CLIP ViT-B/16 congelato, confrontando HYCAL con metodi training-free (FeCAM, RanPAC, KLDA) e baselines trainable (Primal-RAIL).

• Prestazioni Generali: HYCAL supera sistematicamente tutti i metodi concorrenti, specialmente negli scenari di squilibrio su larga scala (High-Scale Domain Imbalance).
  • Migliora l'accuratezza media di oltre il 4.5% rispetto al miglior metodo training-free esistente.
  • Dimostra una robustezza superiore nel mantenere le prestazioni sui domini sottorappresentati (es. OrganMNIST, Galaxy) dove altri metodi falliscono o dimenticano rapidamente le conoscenze.
• Efficienza: Essendo training-free, HYCAL non richiede fine-tuning o aggiornamenti dei parametri del backbone, rendendolo computazionalmente efficiente e scalabile.
• Ablation Study:
  • La combinazione dinamica delle due metriche supera l'uso isolato di coseno o Mahalanobis.
  • Il metodo è robusto rispetto all'ordine di arrivo dei domini (order-invariance).
  • La fusione basata sulla somma (sum-based) degli embedding immagine-testo si è rivelata superiore alla concatenazione.

5. Contributi Chiave e Significato

1. Definizione del Problema: Identificazione e formalizzazione della "Gravità del Dominio", un bias strutturale critico nell'apprendimento continuo su domini eterogenei che era stato finora trascurato.
2. Nuovo Benchmark: Introduzione di XD-VSCIL, un setting che riflette realisticamente la variabilità e lo squilibrio dei dati del mondo reale, superando le limitazioni dei benchmark FSCIL tradizionali.
3. Metodo Innovativo: Sviluppo di HYCAL, una soluzione training-free che sfrutta la complementarità geometrica tra similarità angolare e distanza basata sulla covarianza per stabilizzare i prototipi senza addestramento.
4. Impatto Pratico: Il metodo dimostra che è possibile ottenere prestazioni robuste in scenari di apprendimento continuo eterogeneo e sbilanciato senza il costo computazionale del fine-tuning, rendendo la tecnologia VLM più applicabile in settori critici come la sanità e l'osservazione terrestre.

In sintesi, il paper offre una soluzione elegante ed efficiente per uno dei problemi più difficili nell'apprendimento continuo: gestire la diversità e lo squilibrio dei dati mantenendo la capacità di generalizzazione dei modelli foundation.