PromptGate Client Adaptive Vision Language Gating for Open Set Federated Active Learning

Het paper introduceert PromptGate, een adaptief framework voor Federated Active Learning dat met behulp van dynamische prompt-vectoren een BiomedCLIP-achtergrondmodel aanpast aan lokale klinische domeinen om uitval- en ruisdata (OOD) effectief te filteren en zo de privacy te waarborgen bij de ontwikkeling van medische AI.

De kern

PromptGate: De Slimme Poortwachter voor Medische AI

Stel je voor dat je een team van slimme artsen hebt die samenwerken om ziektes op te sporen in foto's van patiënten. Maar er is een groot probleem: ze mogen hun patiëntgegevens niet met elkaar delen vanwege privacywetten. Ze zitten ook verspreid over verschillende ziekenhuizen, elk met eigen apparatuur en eigen manieren van werken.

Daarnaast zit er in de bestaande foto-archieven veel "rommel": foto's van verkeerde onderdelen, vlekken op de lens, of zelfs foto's van dieren in plaats van mensen. Als de artsen proberen om de beste foto's te selecteren om te bestuderen (zodat ze minder tijd hoeven te besteden aan het labelen), raken ze vaak verstrikt in deze rommel. Ze besteden hun kostbare tijd aan het bekijken van onbruikbare foto's in plaats van de echte ziektes.

PromptGate is een nieuwe, slimme oplossing voor dit probleem. Hier is hoe het werkt, vertaald naar alledaagse termen:

1. Het Probleem: De Rommelige Bibliotheek

Stel je een enorme bibliotheek voor (het ziekenhuisarchief) vol boeken. De artsen willen alleen boeken lezen over "longkanker". Maar de bibliotheek zit vol met boeken over "katten", "recepten" en "verkeerde pagina's" (de rommel of Out-of-Distribution data).
Als je gewoon willekeurig een boek pakt om te lezen, pak je vaak die rommel. Je verspillat je tijd.

2. De Oplossing: De Slimme Poortwachter (PromptGate)

PromptGate is als een slimme poortwachter die voor de bibliotheek staat. Zijn enige taak is: "Laat alleen de boeken binnen die écht over longkanker gaan, en blokkeer de rest."

Maar hier is het slimme deel: deze poortwachter is niet star. Hij past zich aan elke bibliotheek aan.

• In Ziekenhuis A zijn de foto's vaak wazig door een oude camera.
• In Ziekenhuis B zijn er vaak vlekken door een andere machine.

De poortwachter leert van elke locatie wat hun specifieke "rommel" is, zonder dat ze hun eigen boeken hoeven te delen.

3. Hoe werkt het? (De Creatieve Analogieën)

De "Vaste Basis" en de "Aanpasbare Hoed"
Stel je voor dat de poortwachter een vaste uniformjas draagt (dit is de grote, slimme AI die al weet wat een longkanker-foto eruit ziet). Deze jas verandert nooit.
Maar hij kan ook een hoed opzetten.

• Er is een gemeenschappelijke hoed die door alle ziekenhuizen wordt gedeeld (voor de algemene regels).
• Maar elke locatie krijgt ook een eigen, persoonlijke hoed die ze zelf kunnen aanpassen.

Wanneer er nieuwe informatie binnenkomt (een arts zegt: "Kijk, deze vlek is geen ziekte, maar een artefact"), past de poortwachter zijn eigen hoed aan. Hij leert: "Ah, bij dit ziekenhuis betekent deze vlek 'geen ziekte', terwijl hij daar 'wel ziekte' betekent."

Het Federatieve Leren (Samenwerken zonder delen)
Elk ziekenhuis past zijn eigen hoed aan op basis van wat zij zien. Daarna sturen ze alleen de ideeën van die hoed (niet de foto's zelf!) naar een centrale plek. Daar worden alle ideeën samengevoegd tot een super-hoed, en die wordt weer naar iedereen teruggestuurd. Zo leren ze van elkaar, maar blijft de privacy van de patiënten gewaarborgd.

4. Waarom is dit zo goed?

• Geen Verspilling: De poortwachter gooit de rommel (de verkeerde foto's) er direct uit. De artsen krijgen alleen de "pure" foto's te zien om te beoordelen.
• Aanpasbaar: Omdat elke locatie zijn eigen hoed heeft, werkt het perfect voor ziekenhuizen met heel verschillende apparatuur.
• Plug-and-Play: Je kunt deze poortwachter voor elke bestaande methode van artsensamenwerking zetten. Het is als een extra filter dat je op je waterkraan schroeft om het water schoner te maken, zonder de kraan zelf te hoeven vervangen.

Het Resultaat

In tests met huidkanker- en borstkanker-foto's bleek dat oude methoden vaak verward raakten en ongeveer de helft van de tijd verspilden aan rommel. PromptGate haalde 95% tot 98% pure foto's. Het scheidde de "echte" ziektes van de "rommel" zo goed, dat de artsen hun tijd veel efficiënter konden besteden.

Kortom: PromptGate is een slimme, aanpasbare filter die ervoor zorgt dat medische AI-systemen niet verdrinken in rommel, maar zich focussen op wat er echt toe doet, terwijl ze samenwerken zonder privacy te schenden.

Technische samenvatting

Probleemstelling

De implementatie van medische AI in hulpbronnenbeperkte instellingen vereist leerpijplijnen die data-efficiënt zijn en de privacy van patiënten respecteren. Federated Learning (FL) maakt samenwerking mogelijk zonder data te centraliseren, maar klinische data in de realiteit zijn vaak open-set: ze bevatten niet alleen de doelklassen (in-distribution, ID), maar ook "out-of-distribution" (OOD) ruis zoals beeldartefacten, verkeerde modaliteiten of niet-relevante pathologieën.

Standaard Active Learning (AL) strategieën gaan er vaak ten onrechte van uit dat alle ongelabelde data tot de doelklassen behoren (closed-set). Hierdoor worden kostbare annotatiebudgetten verspild aan het labelen van OOD-stalen. Bestaande methoden voor Open-Set AL of Federated AL (FAL) vertrouwen vaak op statische kenmerken of globale OOD-definities, wat niet past bij de heterogeniteit van data tussen verschillende ziekenhuizen (verschillende scanners, kleuringen, protocollen).

Methodologie: PromptGate

Het paper stelt PromptGate voor, een dynamisch framework dat Vision-Language Models (VLMs) gebruikt als een adaptieve "poort" (gating mechanism) om ongelabelde pools te zuiveren voordat er gevraagd wordt om annotatie.

Kerncomponenten:

1. Federated Class-Specific Context Optimization (CSC):

   • Het systeem gebruikt een bevroren VLM-backbone (BiomedCLIP) die wordt aangepast via leerbare prompt-vectoren in de tekst-embeddingspace (geïnspireerd door CoOp).
   • Deze prompts worden opgesplitst in twee componenten:
     • Globale tokens ($p^g_c$): Deelbaar tussen alle cliënten via Federated Averaging (FedAvg) om een gedeelde semantische prior vast te leggen.
     • Lokale tokens ($p^k_c$): Persoonlijk per cliënt (site) om te adapteren aan lokale data-heterogeniteit en specifieke artefacten.
   • De tekst-embeddings worden gevormd door de concatenatie van globale en lokale tokens met een class-specifieke template.

2. VLM-Gated Pseudo-Labeling:

   • Voor elk ongelabeld beeld berekent de client de cosine-afstand met de prompt-embeddings van de doelklassen en een "OOD"-klasse.
   • Op basis van een temperatuur-geschaalde softmax wordt een pseudo-label gegenereerd.
   • Filtering: Alleen stalen waarvan het hoogst waarschijnlijke label een ID-klasse is, worden doorgegeven aan de downstream AL-strategie (bijv. Entropy, Random). Stalen die als OOD worden gelabeld, worden verworpen.

3. Iteratief Leerproces:

   • Nadat een cliënt een selectie van stalen heeft gekregen, worden de ware labels (van de "Oracle", d.w.z. de arts) gebruikt om zowel de globale als lokale prompt-tokens te updaten via gradient descent.
   • Alleen de updates van de globale tokens worden naar de server gestuurd voor aggregatie; lokale tokens blijven privé.
   • Dit proces scherpt de grens tussen ID en OOD geleidelijk aan, waardoor de VLM fungeert als een dynamische, strategie-onafhankelijke "gatekeeper".

Belangrijkste Bijdragen

1. Eerste Learnable-Prompt VLM voor OS-FAL: PromptGate is het eerste framework dat leerbare prompts toepast binnen Open-Set Federated Active Learning, met een decompositie in globale en lokale tokens om heterogene OOD-gedragingen te vangen.
2. Plug-and-Play Gating Mechanisme: Het fungeert als een voorafgaande filterlaag die elke bestaande AL-strategie kan verbeteren zonder de onderliggende acquisitiestrategie te hoeven wijzigen.
3. Privacy en Efficiëntie: Het vereist geen uitwisseling van patiëntdata, voegt slechts een minimale overhead toe (ongeveer 12.000 parameters per client) en past zich dynamisch aan aan lokale klinische realiteiten.

Resultaten

De methoden zijn getest op twee federale medische beeldvormingsbenchmarks: FedISIC (huidlaesies, 4 centra) en FedEMBED (borstdichtheid, 4 scanners).

• Zuiverheid (Purity): Waar statische VLM-prompting de zuiverheid van de ID-pool laat dalen tot ongeveer 50%, behoudt PromptGate een zuiverheid van >95% (tot 98,9% bij Entropy op FedISIC).
• OOD Recall: Het systeem bereikt een OOD-recall van 98%, wat betekent dat het zeer effectief is in het filteren van ruis.
• Prestatieverbetering:
  • Op FedISIC verbeterde PromptGate de gemiddelde zuiverheid met +22% ten opzichte van de baseline zonder filtering.
  • Op FedEMBED, waar de OOD-prevalentie lager is, leverde het nog steeds consistente verbeteringen op in query-precisie en accumulatieve recall.
• Adapter Strategie: Experimenten toonden aan dat de lokale aanpassing (Local tokens) vaak superieur is aan puur globale prompts, omdat het specifiek in staat is om lokale artefacten (zoals specifieke scanner-kenmerken) te onderscheiden. De "Mixed" configuratie (globaal + lokaal) boekte echter de beste algehele balans.
• Ablatie: Het uitbreiden van statische OOD-prompts leverde slechts marginale winst op, terwijl dynamische aanpassing (few-shot) de recall voor anomalieën met bijna 20% verbeterde.

Betekenis en Conclusie

PromptGate lost het fundamentele probleem op dat traditionele Active Learning-methoden in federale omgevingen te veel tijd en middelen verspillen aan het labelen van irrelevante data. Door een dynamische, client-adaptieve poort te creëren, transformeert het een open-set probleem effectief naar een gesloten-set probleem voor de downstream classifier.

Dit maakt het mogelijk om medische AI-modellen veel efficiënter te trainen in realistische, gedistribueerde ziekenhuisnetwerken met beperkte annotatiebudgetten. De aanpak is privacy-bewust, schaalbaar en kan direct worden ingezet ("plug-and-play") zonder dat ziekenhuizen hun data hoeven te delen of complexe engineering nodig hebben voor elke locatie. Het paper benadrukt dat VLMs in deze context beter fungeren als een filter dan als een standalone classifier, en dat adaptieve prompts essentieel zijn om de variatie in klinische data te beheersen.