PI-H2T: Enhancing Long-Tailed Visual Recognition with Permutation-Invariant and Head-to-Tail Feature Fusion

Sintesi Tecnica di PI-H2T: Miglioramento del Riconoscimento Visivo Long-Tailed tramite Fusione di Caratteristiche Permutazione-Invariante e Head-to-Tail

Problematica
Il riconoscimento visivo long-tailed è ostacolato dal severo squilibrio di classi presente nei dati del mondo reale, dove poche classi "head" (testa) dominano il dataset mentre le classi "tail" (coda) soffrono della scarsità di campioni. Questo squilibrio porta a due sfide primarie: uno spazio di rappresentazione deformato, in cui le caratteristiche delle classi tail sono sparse e soggette all'overfitting di pattern spuri, e un classificatore distorto che favorisce le classi head a causa della dominanza delle loro informazioni semantiche durante l'addestramento. I metodi esistenti spesso ottimizzano separatamente l'apprendimento della rappresentazione e la calibrazione del classificatore, lasciando uno dei due aspetti subottimale. Inoltre, sebbene il fine-tuning efficiente dei parametri (PEFT) sfrutti i modelli pre-addestrati, i confini decisionali rimangono spesso non calibrati e i bias verso le classi head persistono.

Metodologia
Gli autori propongono PI-H2T (Permutation-Invariant and Head-to-Tail Feature Fusion), un framework plug-and-play, agnostico rispetto all'architettura, progettato per ottimizzare congiuntamente lo spazio di rappresentazione e il classificatore. Il metodo opera in due fasi progressive:

1. Fusione di Caratteristiche Permutazione-Invariante (PIF):

   • Obiettivo: Migliorare la robustezza delle caratteristiche e stabilire automaticamente appropriati margini inter-classe senza alterare significativamente l'architettura del backbone.
   • Meccanismo: PIF introduce un'operazione di permutazione-invariante (PI) sulle mappe di caratteristiche prima dell'ultimo strato di pooling. Nello specifico, rimodella le mappe di caratteristiche in una matrice 2D e applica un'operazione di media attraverso i canali (dimostrata essere permutazione-invariante). Queste caratteristiche PI vengono poi fuse con le caratteristiche originali utilizzando una struttura residua leggera modellata da una convoluzione 1D con solo due parametri apprendibili ($a$ e $b$).
   • Effetto: Questo processo riduce la ridondanza delle caratteristiche e gli artefatti dipendenti dall'ordine. Teoricamente, si dimostra che è equivalente ad assegnare automaticamente margini di classificazione positivi, creando uno spazio di caratteristiche più raggruppato che facilita la successiva calibrazione del classificatore.

2. Fusione Head-to-Tail (H2TF):

   • Obiettivo: Correggere il confine decisionale distorto aumentando le rappresentazioni delle classi tail con informazioni semantiche provenienti dalle classi head durante la fase di aggiustamento del classificatore (Fase 2).
   • Meccanismo: H2TF fonde le caratteristiche di un ramo di campionamento bilanciato per classe (mirato alle classi tail) con le caratteristiche di un ramo di campionamento per istanza (sbilanciato verso le classi head). La fusione è definita come $\tilde{f} = r \cdot f_t + (1-r) \cdot f_h$, dove $f_t$ è la caratteristica tail e $f_h$ è la caratteristica head.
   • Rapporto di Fusione Adattivo: A differenza delle versioni precedenti che si affidavano alla sintonizzazione manuale degli iperparametri, il rapporto di fusione $r$ è determinato automaticamente in base alla distanza ($d_x$) di un campione dal suo centro di classe. I campioni più lontani dal centro (vicino al confine decisionale) ricevono un rapporto di fusione più elevato per colmare i gap semantici, mentre quelli più vicini al centro mantengono la loro rappresentazione originale.
   • Strategia di Addestramento: H2TF è applicato esclusivamente durante l'addestramento della Fase 2 per calibrare il classificatore. Il backbone rimane congelato durante questa fase e H2TF viene omesso durante l'inferenza per prevenire la confusione semantica.

Contributi Chiave

• Modulo PIF: Un meccanismo leggero che aggiunge solo due parametri, il quale migliora la rappresentazione delle caratteristiche e crea implicitamente margini decisionali ottimali, affrontando la deformazione dello spazio di rappresentazione.
• Meccanismo H2TF: Una strategia che trasferisce informazioni semantiche dalle classi head alle classi tail senza richiedere dati aggiuntivi o parametri di rete, sfruttando efficacemente la capacità di un backbone ben addestrato per apprendere confini discriminativi.
• Fusione Automatica: L'introduzione di un rapporto di fusione adattivo in H2TF, determinato dalla distanza delle caratteristiche dai centri di classe, eliminando la necessità di sintonizzazione manuale degli iperparametri.
• Versatilità: Il framework è dimostrato essere efficace attraverso diverse architetture, inclusi CNN a modello singolo, framework a multi-esperto e modelli basati su Multi-Head Self-Attention (MHSA) come i Vision Transformer (ViT).

Risultati Sperimentali
Esperimenti estesi sono stati condotti su quattro benchmark standard long-tailed: CIFAR100-LT, ImageNet-LT, iNaturalist 2018 e Places-LT.

• Performance: PI-H2T supera costantemente i metodi allo stato dell'arte, inclusi il decoupling della rappresentazione (DR), MisLAS, GCL e vari approcci PEFT (es. LPT, LIFT).
  • Su CIFAR100-LT (Imbalance Factor 100), PI-H2T combinato con DR ha raggiunto un'accuratezza del 49,22%, superando il precedente migliore (H2T + DR) di oltre l'1,5% e superando GCL+H2T.
  • Su ImageNet-LT, GCL+PI-H2T ha raggiunto il 55,08% di accuratezza top-1, superando modelli multi-esperto come RIDE.
  • Su iNaturalist 2018, GCL+PI-H2T ha raggiunto il 75,02%, migliorando significativamente i baseline a modello singolo.
• Adattamento MHSA: Quando applicato a modelli basati su ViT (es. LPT), PI-H2T ha migliorato le prestazioni di circa l'1% (es. da 89,00% a 90,05% su CIFAR100-LT).
• Studi di Ablazione: Le visualizzazioni (t-SNE) hanno confermato che PIF crea cluster intra-classe più stretti e margini inter-classe più chiari. Il rapporto di fusione adattivo ha dimostrato di convergere stabilmente, con la determinazione automatica di $r$ che si è rivelata robusta attraverso i dataset.

Significatività e Rivendicazioni
Il paper sostiene che PI-H2T offre un framework di ottimizzazione unificato e continuo che affronta simultaneamente l'apprendimento della rappresentazione e la calibrazione del classificatore. La sua principale significatività risiede nella sua efficienza e adattabilità:

• Introduce un carico computazionale e parametri trascurabili (solo due pesi apprendibili per PIF).
• È "plug-and-play", permettendo un'integrazione fluida in pipeline esistenti a modello singolo, multi-esperto e basate su modelli di fondazione senza riaddestrare il backbone.
• Dimostra teoricamente ed empiricamente che il raffinamento dello spazio di rappresentazione (tramite PIF) è un prerequisito per una calibrazione efficace del classificatore (tramite H2TF), risolvendo il problema delle prestazioni subottimali negli approcci di ottimizzazione separata esistenti.

Gli autori riconoscono che, sebbene PI-H2T migliori l'accuratezza, occasionalmente presenta un Expected Calibration Error (ECE) leggermente più alto, suggerendo un'area per il lavoro futuro nella calibrazione della confidenza. Inoltre, l'interazione teorica tra fusione della rappresentazione e calibrazione del classificatore rimane una questione aperta per studi più approfonditi.