Correcting Class Imbalance in Prior-Data Fitted Networks for Tabular Classification

Riepilogo Tecnico: Correzione dello Squilibrio di Classe nelle Reti Adattate ai Dati Precedenti per la Classificazione Tabellare

Enunciato del Problema
Le Reti Adattate ai Dati Precedenti (Prior-Data Fitted Networks, PFN), in particolare TabPFN, hanno dimostrato prestazioni all'avanguardia nelle attività di classificazione tabellare sfruttando l'apprendimento nel contesto (ICL) senza aggiornare i pesi del modello. Tuttavia, come molti classificatori, le PFN soffrono significativamente quando applicate a dati con squilibrio di classe. In tali scenari, sebbene la precisione media possa rimanere elevata, le prestazioni sulle classi minoritarie si degradano drasticamente, limitando l'utilità di questi modelli per applicazioni critiche come la rilevazione di malattie rare o di attacchi informatici.

Le strategie standard di mitigazione per lo squilibrio di classe rientrano in tre categorie: basate sulla funzione di perdita (ripesatura), basate sui dati (ricampionamento) e basate sulle decisioni (soglia). Tuttavia, la dinamica ICL unica delle PFN rende impossibili le strategie basate sulla funzione di perdita, poiché i pesi del modello non vengono aggiornati durante l'inferenza. Inoltre, gli approcci basati sui dati esistenti, come la generazione di campioni sintetici della classe minoritaria, hanno mostrato efficacia limitata e costi computazionali elevati in questo contesto. Mancano tecniche collaudate per affrontare lo squilibrio specificamente all'interno del framework PFN.

Metodologia
Gli autori indagano le caratteristiche di calibrazione uniche delle PFN per sviluppare e valutare strategie di correzione compatibili con l'ICL. Lo studio si concentra su quattro tecniche specifiche:

1. Soglia (Livello Decisionale): Aggiustamento del confine decisionale lontano dalla soglia standard di 0,5. Gli autori ipotizzano che impostare la soglia $\tau$ uguale alla probabilità a priori della classe minoritaria ($\pi_1$) possa contrastare lo squilibrio dei dati, minimizzando efficacemente il rischio atteso $R$ definito dai costi disuguali di falsi negativi e falsi positivi.
2. Campionamento Ridotto (Livello Dati): Riduzione del numero di campioni della classe maggioritaria nell'insieme di contesto per corrispondere alla dimensione della classe minoritaria, eguagliando così le probabilità a priori ($\pi_0 = \pi_1$) senza generare nuovi dati.
3. Sovracampionamento (Livello Dati): Ripetizione dei campioni della classe minoritaria nell'insieme di contesto per bilanciare le probabilità a priori.
4. Sovracampionamento Sintetico (Livello Dati): Generazione di campioni minoritari artificiali utilizzando un modello generatore per integrare l'insieme di contesto.

Gli esperimenti utilizzano TabPFN-2.5 su 11 attività di classificazione binaria tratte dal benchmark OpenML-CC18. I dataset sono artificialmente sbilanciati con probabilità a priori minoritarie ($\pi_1$) comprese tra 0,05 e 0,3, mentre il set di test rimane bilanciato. Le prestazioni sono valutate utilizzando la precisione per classe, la precisione bilanciata e la Precisione della Classe Peggiore (WCA).

Risultati e Scoperte Chiave
Lo studio produce diverse osservazioni critiche riguardo al comportamento delle PFN e all'efficacia dei metodi di correzione:

• Caratteristiche di Calibrazione: A differenza di molti classificatori non lineari che sono eccessivamente o insufficientemente sicuri, le PFN mostrano un bias specifico: sono ben calibrate su dati bilanciati ma diventano biasate verso la classe maggioritaria quando i dati sono sbilanciati. Questo bias è coerente e prevedibile, suggerendo che una semplice soglia possa correggerlo efficacemente.
• Prestazioni della Soglia: I risultati sperimentali confermano che la soglia decisionale ottimale per massimizzare la precisione bilanciata si allinea strettamente con la probabilità a priori della classe minoritaria ($\tau = \pi_1$). Questo metodo ottiene la migliore precisione bilanciata complessiva, migliorando significativamente le prestazioni della classe minoritaria con una diminuzione minima della precisione della classe maggioritaria.
• Efficacia del Campionamento Ridotto: Il campionamento ridotto si comporta in modo comparabile alla soglia in termini di precisione bilanciata e ottiene la Precisione della Classe Peggiore (WCA) più elevata. Un vantaggio distinto del campionamento ridotto è la riduzione del costo computazionale dell'inferenza, poiché la complessità delle query di TabPFN scala quadraticamente con la dimensione del contesto.
• Inefficacia del Ricampionamento: Sia il sovracampionamento che il sovracampionamento sintetico (TabPFGen) performano peggio rispetto al modello di base. Il sovracampionamento porta a un adattamento "a picchi" del posterior a causa dei campioni ripetuti, mentre il sovracampionamento sintetico non riesce a migliorare l'accuratezza perché i campioni generati originano dalla stessa classe di modello e distribuzione di dati, offrendo nessuna informazione nuova.

Significato e Affermazioni
Il documento afferma che le prestazioni dei modelli PFN all'avanguardia su dati tabellari sbilanciati possono essere significativamente potenziate attraverso correzioni semplici e basate su principi, piuttosto che attraverso cambiamenti architetturali complessi o generazione di dati.

Il contributo principale è l'identificazione del fatto che il bias di calibrazione specifico delle PFN verso la classe maggioritaria permette una correzione efficace tramite soglia (impostando $\tau = \pi_1$) e campionamento ridotto. Gli autori sottolineano che questi metodi sono:

• Semplici da implementare: Non richiedono il riaddestramento o il fine-tuning del modello pre-addestrato.
• Efficaci: Migliorano drasticamente la rilevazione della classe minoritaria mantenendo un'alta precisione bilanciata.
• Computazionalmente efficienti: In particolare il campionamento ridotto, che riduce i costi di inferenza.

Gli autori concludono che, sebbene questi metodi semplici affrontino il problema immediato dello squilibrio, potrebbero lasciare spazio a futuri guadagni di prestazioni attraverso metodi specificamente progettati per le uniche punti di forza delle PFN. Notano inoltre che estendere queste strategie alla classificazione multiclasse rimane una sfida non banale per il lavoro futuro.