Semi-Supervised Few-Shot Adaptation of Vision-Language Models

Titel: Semi-supervisie voor Few-Shot Adaptatie van Vision-Language Modellen

Auteurs: Julio Silva-Rodríguez en Ender Konukoglu (ETH Zurich)

1. Het Probleem

Vision-Language Models (VLM's), zoals CLIP-achtige modellen, presteren goed bij het overdragen van kennis naar nieuwe taken met weinig voorbeelden (few-shot learning), vooral in de medische beeldvorming waar expertannotaties duur en schaars zijn. Echter, er zijn twee belangrijke beperkingen in de huidige state-of-the-art (SOTA) benaderingen:

• Class Imbalance in Few-Shot Regimes: Medische datasets vertonen vaak sterke class-imbalance. In een few-shot setting (bijv. 1 of 2 voorbeelden per klasse) kunnen zeldzame categorieën volledig ontbreken in de "support set" (de gelabelde trainingsdata). Dit leidt tot slechte prestaties voor deze ondervertegenwoordigde klassen.
• Onbenutte Ongelabelde Data: Hoewel er vaak voldoende ongelabelde data beschikbaar is in data-pipelines, wordt deze zelden gebruikt bij few-shot adaptatie. Bestaande methoden vertrouwen uitsluitend op de kleine set gelabelde voorbeelden, wat de prestaties beperkt wanneer de labelverdeling scheef is.

2. Methodologie: SS-Text-U

De auteurs stellen SS-Text-U voor, een semi-supervisie methode die ongelabelde data gebruikt om de few-shot adaptatie te verbeteren. De kern van de methode is het gebruik van "pseudo-labels" die worden gegenereerd op basis van tekstuele priors (de oorspronkelijke VLM-kennis) en deze verspreiden via een efficiënte optimizer.

Belangrijkste componenten:

• Doelfunctie: De methode combineert een few-shot loss (op gelabelde data) met een semi-supervised loss (op ongelabelde data).
  • Gelabelde data: Minimaliseert de cross-entropy loss tussen voorspellingen en echte labels, met een regularisatieterm die de geleerde prototypes dicht bij de tekstuele priors houdt.
  • Ongelabelde data: Minimaliseert de "tightness" loss tussen voorspellingen en geprojecteerde pseudo-labels ($z$). Cruciaal hierbij is een constraint: de geschatte labelverdeling van de pseudo-labels moet overeenkomen met de echte labelverdeling van de support set (om te voorkomen dat de model bias introduceert of klassen negeert).
• Optimalisatie (Block-wise Minimization): Omdat de loss afhangt van twee variabelen (de prototypes $W$ en de pseudo-labels $z$), gebruiken de auteurs een inexact block coordinate minimization (BCM) algoritme:
  1. Update $z$ (Pseudo-labels): Voor een vaste set prototypes wordt de toewijzing van ongelabelde data geoptimaliseerd. Dit wordt geformuleerd als een Optimal Transport probleem (met Sinkhorn-Knopp algoritme) om de pseudo-labels zo te verdelen dat ze consistent zijn met de bekende marginaal verdeling.
  2. Update $W$ (Prototypes): Met vaste pseudo-labels wordt er een gesloten vorm oplossing (closed-form solution) berekend voor de nieuwe class prototypes. Dit maakt de methode zeer snel en zonder gradiëntafstap (gradient-free) voor de prototypes.
• Aanpassing voor Imbalance: Voor extreem lage shot-regimes (K=1, 2) waar sommige klassen niet in de support set zitten, wordt een post-processing stap toegepast om een minimale basiswaarde toe te kennen aan ontbrekende klassen, zodat deze niet volledig worden genegeerd tijdens het optimalisatieproces.

3. Belangrijkste Bijdragen

1. Nieuwe Setting: Introduceert "semi-supervised few-shot learning" voor VLM's, specifiek gericht op het benutten van ongelabelde data om de annotatiekosten te verlagen.
2. SS-Text-U Solver: Een principieel, tekst-informeerd lineair probe dat simultaan prototypes en pseudo-labels leert via een efficiënte block-wise optimizer en Optimal Transport.
3. Efficiëntie: De methode is orders van grootte sneller dan gradiënt-gebaseerde few-shot methoden en vereist geen validatie-set voor hyperparameter-tuning.

4. Resultaten

De auteurs hebben hun methode getest op 12 datasets over 3 medische modaliteiten (histologie, oftalmologie en radiologie) met verschillende gespecialiseerde VLM's (CONCH, FLAIR, CONVIRT).

• Prestatieverbetering: SS-Text-U levert consistent betere resultaten op dan bestaande few-shot baselines (zoals SS-Text+, CLAP, LP++).
  • De gemiddelde verbetering in Class-wise Balanced Accuracy (ACA) bedraagt 10,9% bij 1-shot, 7,1% bij 2-shot, en 2,7% bij 4-shot ten opzichte van de beste training-free solver.
• Kostenreductie: De methode maakt het mogelijk om de annotatie-inspanning met ≥50% te verminderen. Bijvoorbeeld, SS-Text-U met 1-shot presteert vergelijkbaar met SS-Text+ met 4-shot.
• Snelheid: De solver is extreem snel (bijv. ~25 ms voor grote datasets op een standaard laptop), wat het ideaal maakt voor praktische toepassingen.
• Ablatie Studies:
  • Het gebruik van de Optimal Transport constraint (Sinkhorn) is cruciaal; zonder dit (0 iteraties) daalt de prestatie aanzienlijk.
  • De adaptieve schaling van de regularisatie-parameters ($\lambda$) op basis van het aantal shots ($K$) is essentieel voor stabiliteit.
  • Zelfs een klein aantal ongelabelde voorbeelden (M = C x 8) levert al significante verbeteringen op.

5. Betekenis en Conclusie

Dit paper adresseert een kritieke beperking in de toepassing van Vision-Language Models in de medische sector: de onhoudbaarheid van pure few-shot learning bij sterk onbalanserende datasets.

De significantie ligt in het feit dat SS-Text-U een praktische, goedkope en snelle oplossing biedt. Het stelt onderzoekers en clinici in staat om VLM's aan te passen aan nieuwe medische taken met een fractie van de gebruikelijke annotatiekosten, zonder in te leveren op prestaties. De methode maakt het mogelijk om ook zeldzame ziektepatronen (die vaak ontbreken in kleine trainingssets) effectief te detecteren door slim gebruik te maken van de overvloed aan ongelabelde data die vaak al beschikbaar is. De code is beschikbaar onder de naam SS-Text-U.