LoFT: Parameter-Efficient Fine-Tuning for Long-tailed Semi-Supervised Learning in Open-World Scenarios

Probleemstelling

Het paper adresseert de uitdagingen van Long-Tailed Semi-Supervised Learning (LTSSL). In dit scenario moeten modellen leren van een dataset met een onbalans in klassen (veel voorbeelden voor 'head'-klassen, weinig voor 'tail'-klassen) waarbij slechts een klein deel van de data gelabeld is en een groot deel ongelabeld.

De bestaande methoden voor LTSSL hebben twee fundamentele tekortkomingen:

1. Trainen vanaf nul (From Scratch): Traditionele methoden trainen Convolutional Neural Networks (CNNs) vanaf nul. Dit leidt vaak tot overconfidence (het model geeft hoge zekerheid aan verkeerde voorspellingen, vooral bij tail-klassen) en onbetrouwbare pseudo-labels in de vroege trainingsfasen.
2. Aannames over distributie: De meeste methoden gaan ervan uit dat gelabelde en ongelabelde data uit dezelfde distributie komen. In realistische Open-World scenario's (bijv. wildlifeclassificatie) bevat de ongelabelde data vaak Out-of-Distribution (OOD) samples (onbekende of zeldzame soorten). Bestaande modellen kunnen deze OOD-samples niet effectief filteren, wat leidt tot corruptie van het feature-ruimte en negatieve overdracht.

Methodologie: LoFT en LoFT-OW

De auteurs introduceren een nieuw raamwerk dat Foundation Models (FMs) (zoals CLIP) combineert met Parameter-Efficient Fine-Tuning (PEFT) om de bovenstaande problemen op te lossen.

1. Theoretische Grondslag

De methode is gebaseerd op drie theoretische inzichten:

• Vermindering van Hypothesecompliciteit: Door PEFT (bijv. het fine-tunen van alleen adapters of de classifier-head) wordt de zoekruimte van het model drastisch beperkt ten opzichte van het trainen vanaf nul. Dit verkleint de generalisatiefout, zelfs bij zeer weinig tail-samples.
• Balanced Posterior Error (BPE): Een kleinere generalisatiefout leidt direct tot een lagere BPE. Dit betekent dat de pseudo-labels die het model genereert voor tail-klassen betrouwbaarder zijn, wat een "deugdelijke cyclus" voor self-training creëert.
• Geometrische Compactheid: Foundation models hebben van nature compacte feature-clusters. Dit comprimeert het acceptatiegebied voor OOD-samples, wat een geometrische garantie biedt voor het afwijzen van ruis in open-world scenario's.

2. LoFT (Long-Tailed Semi-Supervised Learning via PEFT)

Dit is het basisframe voor standaard LTSSL:

• Gebruik van Foundation Models: In plaats van een CNN vanaf nul te trainen, wordt een pre-getraind FM (zoals CLIP) gebruikt.
• Confidence-Aware Self-Training: Het model genereert pseudo-labels voor ongelabelde data.
  • Hoge confidentie: Krijgt een 'hard' pseudo-label (de meest waarschijnlijke klasse).
  • Lage confidentie: Krijgt een 'soft' pseudo-label (de volledige waarschijnlijkheidsverdeling) om overfitting te voorkomen en onzekerheid te benutten.
• Logit Adjustment: Er wordt gebruikgemaakt van Logit Adjustment op de gelabelde data om de onbalans in de klassen te compenseren.

3. LoFT-OW (LoFT under Open-World Scenarios)

Dit is een uitbreiding voor scenario's met OOD-data:

• Twee-staps filtermechanisme:
  1. Zero-shot filtering: De foundation model geeft een confidentiescore. Alleen samples boven een hoge drempel ($t_{HC}$) worden behouden.
  2. Fine-tuned filtering: Het gefine-tuned model gebruikt zijn ingebouwde OOD-detectiecapaciteit (gebaseerd op de compactheid van de features) om verdere OOD-samples te filteren via een drempelwaarde ($c_{ood}$).
• Dit zorgt ervoor dat alleen relevante, in-distribution samples worden gebruikt voor het trainen van het model, wat de representatielering zuiver houdt.

Belangrijkste Bijdragen

1. Theoretisch Bewijs: Het paper levert een wiskundig bewijs dat het gebruik van Foundation Models via PEFT de generalisatiegrens verstrakt en de Balanced Posterior Error (BPE) minimaliseert, wat leidt tot betere pseudo-labels.
2. Nieuw Framework (LoFT): Een nieuw paradigma dat LTSSL verplaatst van "trainen vanaf nul" naar "parameter-efficiënt fine-tunen", wat resulteert in beter gekalibreerde modellen.
3. Open-World Uitbreiding (LoFT-OW): De eerste methode die LTSSL effectief toepast in open-world omgevingen door een ingebouwd mechanisme voor OOD-detectie en filtering te integreren.
4. Empirische Validatie: Uitgebreide experimenten tonen aan dat de methode robuust is tegenover verschillende onbalansverhoudingen en OOD-risico's.

Resultaten

De auteurs hebben hun methode getest op meerdere benchmarks, waaronder CIFAR-100-LT en ImageNet-127, en vergeleken met state-of-the-art methoden zoals FixMatch, ACR, en BEM.

• Prestaties: LoFT en LoFT-OW behalen overtuigend de beste resultaten op alle geteste datasets.
  • Op ImageNet-127 bereikt LoFT-OW een nauwkeurigheid van 74.2% (met OpenCLIP), wat significant hoger is dan de beste bestaande methode (67.8%).
  • Op CIFAR-100-LT behaalt LoFT tot 83.2% nauwkeurigheid.
• Efficiëntie: Het model presteert superieur zelfs wanneer er slechts 10% van de ongelabelde data wordt gebruikt in vergelijking met eerdere werken, en vereist minder trainingsiteraties.
• Robuustheid: In open-world scenario's (met toegevoegde COCO-data als OOD-bron) slaagt LoFT-OW erin om de OOD-samples effectief te filteren en behoudt hoge nauwkeurigheid, terwijl andere methoden sterk achteruitgaan.
• Kalibratie: Visualisaties tonen aan dat modellen getraind met LoFT veel beter gekalibreerd zijn (lagere Expected Calibration Error) dan modellen die vanaf nul zijn getraind, met name voor tail-klassen.

Betekenis en Impact

Dit paper markeert een verschuiving in het veld van semi-supervised learning voor onbalansdata. Het demonstreert dat het opnieuw trainen van zware modellen vanaf nul niet langer noodzakelijk is en zelfs suboptimaal kan zijn. Door Foundation Models en PEFT te combineren, biedt LoFT een oplossing die:

1. Minder data-afhankelijk is (werkt goed met weinig tail-samples).
2. Veiliger en robuuster is in realistische, open-world omgevingen waar onbekende data voorkomt.
3. Theoretisch onderbouwd is, waardoor het een nieuwe standaard zet voor betrouwbaar en schaalbaar onbalansleren in de praktijk.