Correcting Class Imbalance in Prior-Data Fitted Networks for Tabular Classification

Technische Samenvatting: Correctie van Class Imbalans in Prior-Data Fitted Networks voor Tabulaire Classificatie

Probleemstelling
Prior-Data Fitted Networks (PFN's), met name TabPFN, hebben state-of-the-art prestaties aangetoond op tabulaire classificatietaken door gebruik te maken van in-context learning (ICL) zonder modelgewichten bij te werken. Echter, zoals veel classifiers, kampen PFN's aanzienlijk met problemen wanneer ze worden toegepast op data met class imbalans. In dergelijke scenario's blijft de gemiddelde nauwkeurigheid weliswaar hoog, maar verslechtert de prestatie op minderheidsklassen drastisch, wat de bruikbaarheid van deze modellen beperkt voor kritieke toepassingen zoals zeldzame ziekten of cyberaanvaldetectie.

Standaard mitigeringsstrategieën voor class imbalans vallen in drie categorieën: op verlies gebaseerd (herweging), op data gebaseerd (herbemonstering) en op beslissingen gebaseerd (drempelwaarden). De unieke ICL-dynamiek van PFN's maakt echter verliesgebaseerde strategieën onmogelijk, aangezien modelgewichten tijdens inferentie niet worden bijgewerkt. Bovendien hebben bestaande data-gebaseerde benaderingen, zoals het genereren van synthetische minderheidsstalen, beperkte effectiviteit en hoge rekenkosten getoond in deze setting. Er ontbreekt bewezen techniek om imbalans specifiek binnen het PFN-kader aan te pakken.

Methodologie
De auteurs onderzoeken de unieke kalibratiekenmerken van PFN's om correctiestrategieën te ontwikkelen en te evalueren die compatibel zijn met ICL. De studie richt zich op vier specifieke technieken:

1. Drempelwaarden (Beslissingsniveau): Aanpassen van de beslissingsgrens weg van de standaarddrempel van 0,5. De auteurs hypothetiseren dat het instellen van de drempel $\tau$ gelijk aan de a-priori waarschijnlijkheid van de minderheidsklasse ($\pi_1$) data-imbalans kan tegenwerken, wat effectief het verwachte risico $R$ minimaliseert dat wordt gedefinieerd door ongelijke kosten van fout-negatieven en fout-positieven.
2. Downsampling (Datniveau): Verminderen van het aantal stalen van de meerderheidsklasse in de contextset om de grootte van de minderheidsklasse te matchen, waardoor de priors worden gelijkgesteld ($\pi_0 = \pi_1$) zonder nieuwe data te genereren.
3. Oversampling (Datniveau): Herhalen van stalen van de minderheidsklasse in de contextset om priors te balanceren.
4. Synthetische Upsampling (Datniveau): Genereren van kunstmatige minderheidsstalen met behulp van een generatormodel om de contextset aan te vullen.

De experimenten maken gebruik van TabPFN-2.5 op 11 binaire classificatietaken uit de OpenML-CC18-benchmark. De datasets zijn kunstmatig imbalant gemaakt met minderheidspriors ($\pi_1$) variërend van 0,05 tot 0,3, terwijl de testset gebalanceerd blijft. De prestaties worden geëvalueerd aan de hand van nauwkeurigheid per klasse, gebalanceerde nauwkeurigheid en Worst-Class Accuracy (WCA).

Belangrijkste Bevindingen en Resultaten
De studie levert enkele kritieke observaties op over PFN-gedrag en de effectiviteit van correctiemethoden:

• Kalibratiekenmerken: In tegenstelling tot veel niet-lineaire classifiers die oververzekerd of onderverzekerd zijn, vertonen PFN's een specifieke bias: ze zijn goed gekalibreerd op gebalanceerde data, maar worden bevooroordeeld ten gunste van de meerderheidsklasse wanneer data imbalant is. Deze bias is consistent en voorspelbaar, wat suggereert dat eenvoudige drempelwaarden deze effectief kunnen corrigeren.
• Prestaties van Drempelwaarden: Experimentele resultaten bevestigen dat de optimale beslissingsdrempel voor het maximaliseren van de gebalanceerde nauwkeurigheid nauw overeenkomt met de prior van de minderheidsklasse ($\tau = \pi_1$). Deze methode bereikt de beste algehele gebalanceerde nauwkeurigheid, verbetert de prestaties van de minderheidsklasse aanzienlijk met slechts een minimale daling in de nauwkeurigheid van de meerderheidsklasse.
• Effectiviteit van Downsampling: Downsampling presteert vergelijkbaar met drempelwaarden in termen van gebalanceerde nauwkeurigheid en bereikt de hoogste Worst-Class Accuracy (WCA). Een duidelijk voordeel van downsampling is de vermindering van de rekenkosten voor inferentie, aangezien de querycomplexiteit van TabPFN kwadratisch schaalt met de contextgrootte.
• Ondoelmatigheid van Herbemonstering: Zowel oversampling als synthetische upsampling (TabPFGen) presteren slechter dan het basismodel. Oversampling leidt tot een "piekerige" posterior-aanpassing door herhaalde stalen, terwijl synthetische upsampling de nauwkeurigheid niet verbetert omdat de gegenereerde stalen afkomstig zijn uit dezelfde modelklasse en dataverdeling, waardoor ze geen nieuwe informatie bieden.

Betekenis en Claims
Het artikel claimt dat de prestaties van state-of-the-art PFN-modellen op imbalante tabulaire data aanzienlijk kunnen worden verbeterd door eenvoudige, principiële correcties in plaats van complexe architecturale wijzigingen of datageneratie.

De primaire bijdrage is de identificatie dat de specifieke kalibratiebias van PFN's ten gunste van de meerderheidsklasse effectieve correctie mogelijk maakt via drempelwaarden (instellen van $\tau = \pi_1$) en downsampling. De auteurs benadrukken dat deze methoden:

• Eenvoudig te implementeren zijn: Ze vereisen geen hertraining of fine-tuning van het vooraf getrainde model.
• Effectief zijn: Ze verbeteren de detectie van minderheidsklassen drastisch terwijl een hoge gebalanceerde nauwkeurigheid behouden blijft.
• Rekenkundig efficiënt zijn: Met name downsampling, wat de inferentiekosten verlaagt.

De auteurs concluderen dat hoewel deze eenvoudige methoden het directe probleem van imbalans aanpakken, ze ruimte kunnen laten voor toekomstige prestatiewinst door methoden die specifiek zijn ontworpen voor de unieke sterktes van PFN's. Zij merken ook op dat het uitbreiden van deze strategieën naar meerklasse-classificatie een niet-triviale uitdaging blijft voor toekomstig werk.