Leveraging Label Proportion Prior for Class-Imbalanced Semi-Supervised Learning

Il paper propone un framework semi-supervisionato innovativo che integra una "Proportion Loss" per mitigare il bias delle classi maggioritarie e migliorare le prestazioni su dataset sbilanciati, ottenendo risultati superiori rispetto ai metodi esistenti su CIFAR-10 a coda lunga.

L'essenziale

Immagina di essere un insegnante che deve preparare una classe di studenti (un'intelligenza artificiale) a riconoscere diversi tipi di animali: cani, gatti, elefanti e formiche.

Il Problema: La Classe Sbilanciata
Nella vita reale, i dati sono spesso sbilanciati. Immagina di avere 1.000 foto di cani, 100 di gatti, 10 di elefanti e solo una foto di una formica.
Se insegni a un'IA con questi dati, lei imparerà benissimo a riconoscere i cani, ma sarà terribile con le formiche. Penserà che "tutto è un cane" perché i cani sono ovunque.

Nell'apprendimento semi-supervisionato (dove abbiamo poche etichette corrette e tante foto senza nome), l'IA prova a indovinare le etichette delle foto senza nome (chiamate "pseudo-etichette"). Se l'IA è già di parte verso i cani, inizierà a etichettare tutte le foto come "cane", peggiorando la situazione in un circolo vizioso. È come se l'IA dicesse: "Vedo un'ombra? È un cane! Vedo un puntino? È un cane!".

La Soluzione: La "Bussola" delle Proporzioni
Gli autori di questo studio (dall'Università di Kyushu) hanno trovato un modo intelligente per correggere questa distorsione usando una "bussola" basata sulle proporzioni.

Ecco come funziona, passo dopo passo:

1. La Conoscenza Generale (Il Prior): Anche se abbiamo poche foto etichettate, sappiamo già approssimativamente quanto è comune ogni animale nel mondo. Sappiamo che ci sono molti cani e pochissime formiche. Questa è la nostra "bussola" o Prior delle Proporzioni.
2. Il Controllo di Qualità (La Funzione di Perdita): Normalmente, l'IA impara solo guardando le foto. Gli autori aggiungono una regola speciale: "Ehi, aspetta! Se guardi tutte le foto che hai classificato oggi, la percentuale di cani, gatti e formiche deve assomigliare alla percentuale reale che conosciamo".
   • Se l'IA classifica troppe formiche come cani, la regola la corregge: "No, non puoi dire che ci sono 1.000 formiche, ce ne sono solo poche. Rivedi la tua classificazione".
   • Questo costringe l'IA a prestare più attenzione agli animali rari (le formiche) invece di ignorarli.

Il Trucco Magico: Non essere troppo rigidi
C'è un problema: se guardiamo solo un piccolo gruppo di foto alla volta (un "mini-batch"), le proporzioni possono variare per caso. Forse in quel gruppo specifico ci sono per caso 5 formiche e 0 cani. Se dicessimo all'IA: "Devi avere esattamente la proporzione globale", l'IA si confonderebbe e imparerrebbe a memoria quel gruppo specifico invece di imparare davvero.

Per risolvere questo, gli autori usano un trucco statistico (chiamato campionamento ipergeometrico multivariato).

• L'analogia: Immagina di pescare palline da un'urna. Se l'urna ha molte palline rosse e poche blu, e ne peschi 5, è probabile che ne uscite 4 rosse e 1 blu. Ma potrebbe anche uscire 3 rosse e 2 blu per caso.
• Invece di dire all'IA "Devi avere esattamente 4 rosse e 1 blu", diciamo: "È probabile che tu abbia tra 3 e 5 rosse". Questo rende l'IA più flessibile e meno propensa a confondersi quando vede un gruppo di dati "strano" per caso.

I Risultati: Chi vince?
Hanno testato questo metodo su un banco di prova famoso (CIFAR-10) dove le classi erano molto sbilanciate.

• Senza il metodo: L'IA ignorava quasi completamente le classi rare (le formiche).
• Con il metodo: L'IA ha iniziato a riconoscere molto meglio le classi rare, migliorando la precisione complessiva senza perdere la capacità di riconoscere le classi comuni.

In sintesi
Questo studio introduce un metodo leggero e potente che dice all'intelligenza artificiale: "Non guardare solo quello che vedi in questo momento, ma ricordati com'è fatto il mondo nel suo insieme". È come dare all'IA una mappa globale per non perdersi quando si trova in un territorio sconosciuto e sbilanciato.

Il risultato è un'IA più equa, che non dimentica i "piccoli" (le classi rare) nemmeno quando i "grandi" (le classi comuni) sono ovunque.

Sommario tecnico

1. Il Problema: Apprendimento Semi-Supervisionato (SSL) e Squilibrio di Classe

L'apprendimento semi-supervisionato (SSL) sfrutta grandi quantità di dati non etichettati insieme a un piccolo set di dati etichettati, spesso utilizzando tecniche di pseudo-labeling (assegnazione di etichette ai dati non etichettati da parte di un classificatore). Tuttavia, questo approccio soffre gravemente in scenari di squilibrio di classe (class imbalance), tipici dei dati reali.

• Il meccanismo del fallimento: Quando un classificatore sviluppa un pregiudizio verso le classi maggioritarie (a causa della scarsità di esempi etichettati per le minoritarie), le pseudo-etichette generate ereditano e amplificano questo bias.
• Conseguenza: Le prestazioni delle classi minoritarie vengono ulteriormente soppresse, portando a un degrado significativo dell'accuratezza complessiva rispetto ai benchmark bilanciati.
• La sfida specifica: Come correggere questo bias senza modificare l'architettura del modello o richiedere etichette aggiuntive, sfruttando invece informazioni aggregate sulle proporzioni delle classi.

2. Metodologia Proposta

Gli autori propongono un framework leggero che integra l'informazione sulla proporzione delle classi (tipica del Learning from Label Proportions - LLP) nell'ambito dell'SSL come termine di regolarizzazione.

A. Proportion Loss (Perdita di Proporzione)

Il cuore del metodo è l'introduzione di una Proportion Loss ($\mathcal{L}_{prop}$) che allinea le previsioni del modello sulla distribuzione globale delle classi.

• Definizione: Dato un mini-batch $B$ di dati non etichettati, si calcola la proporzione predetta $\hat{p}_l(B)$ per ogni classe $l$. Si confronta questa con la proporzione globale stimata $q_l$ (derivata dal set di dati etichettati).
• Funzione di perdita:
  $$\mathcal{L}_{prop}(B) = - \sum_{l=1}^{L} q_l \log \hat{p}_l(B)$$
  Questa perdita agisce come un termine di regolarizzazione aggiuntivo nella funzione obiettivo totale: $\mathcal{L} = \mathcal{L}_{ssl} + \lambda \mathcal{L}_{prop}$.
• Obiettivo: Forzare il modello a produrre previsioni che rispettino la distribuzione globale delle classi, mitigando così il bias verso le classi maggioritarie.

B. Variante Stocastica (Hypergeometric Sampling)

Un problema critico nell'SSL è che i mini-batch sono piccoli campioni e le loro proporzioni fluttuano casualmente rispetto alla distribuzione globale. Imporre rigidamente la proporzione globale su ogni batch può portare a overfitting su rumore statistico.

• Soluzione: Gli autori introducono una perturbazione stocastica ispirata al Large-bag LLP. Invece di usare la proporzione globale fissa $q$ per ogni iterazione, campionano una proporzione perturbata $q^{(t)}$ da una distribuzione ipergeometrica multivariata (MultiHG).
• Meccanismo: $q^{(t)} \sim \text{MultiHG}(M, q, |B|)$. Questo modella la composizione attesa di un mini-batch estratto casualmente da una popolazione di dimensione $M$ con composizione $q$.
• Vantaggio: Questa variabilità impedisce al modello di memorizzare una proporzione fissa "rumorosa", stabilizzando l'addestramento anche in condizioni di squilibrio estremo.

3. Contributi Chiave

1. Integrazione LLP-SSL: È il primo lavoro, a conoscenza degli autori, a introdurre il concetto di Label Proportions dal campo LLP nell'SSL come termine di regolarizzazione esplicito.
2. Framework Universale: Il metodo è concettualmente semplice e può essere integrato in qualsiasi algoritmo SSL esistente (es. FixMatch, ReMixMatch) senza modifiche architetturali.
3. Robustezza Stocastica: Lo sviluppo della variante basata sulla distribuzione ipergeometrica multivariata per gestire le fluttuazioni dei mini-batch, migliorando la stabilità sotto forte squilibrio.
4. Validazione Empirica: Dimostrazione che la regolarizzazione migliora la selezione delle pseudo-etichette, riducendo la sottostima delle classi minoritarie.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul benchmark Long-tailed CIFAR-10 con diversi rapporti di squilibrio ($\gamma \in \{10, 20, 50, 100\}$) e percentuali di dati etichettati ($\beta \in \{2\%, 4\%, 10\%, 20\%\}$).

• Performance: L'integrazione della Proportion Loss in FixMatch e ReMixMatch ha portato a miglioramenti consistenti rispetto alle baseline in tutte le condizioni testate.
• Condizioni Critiche: Il metodo mostra vantaggi particolarmente significativi quando i dati etichettati sono scarsi (es. $\beta = 2\%$ o $4\%$), superando metodi esistenti specifici per lo squilibrio come DARP e CReST.
• Analisi delle Proporzioni:
  • Le baseline (FixMatch) tendono a sovrastimare le classi maggioritarie e sottostimare quelle minoritarie.
  • I metodi esistenti (DARP, CReST) riducono il divario ma non lo eliminano completamente.
  • Il metodo proposto riduce drasticamente la discrepanza, allineando le previsioni alla distribuzione reale.
• Recall delle Pseudo-etichette: L'analisi mostra un miglioramento significativo del recall per le classi minoritarie durante l'addestramento, mantenendo prestazioni stabili per le classi maggioritarie.

5. Significato e Conclusioni

Questo lavoro offre una soluzione elegante ed efficace al problema dello squilibrio di classe nell'SSL.

• Innovazione: Sposta il paradigma dall'adattamento delle singole previsioni (come fa la Distribution Alignment in ReMixMatch) all'adeguamento esplicito della distribuzione globale tramite una funzione di perdita.
• Impatto: Fornisce un meccanismo di regolarizzazione che corregge il bias intrinseco del pseudo-labeling, rendendo gli algoritmi SSL più robusti in scenari reali dove i dati sono sbilanciati e le etichette sono costose.
• Limitazioni: Gli autori notano che il metodo potrebbe perdere efficacia se i dati etichettati e non etichettati provengono da distribuzioni diverse (covariate shift) o se la dimensione del mini-batch è troppo piccola per stimare accuratamente le proporzioni.

In sintesi, il paper dimostra che sfruttare le informazioni aggregate sulle proporzioni delle classi, gestite stocasticamente, è una strategia potente per mitigare il bias nelle classi minoritarie nell'apprendimento semi-supervisionato.