UniPrompt-CL: Sustainable Continual Learning in Medical AI with Unified Prompt Pools

Het artikel introduceert UniPrompt-CL, een nieuwe methode voor continu leren in medische AI die door middel van een geünificeerde prompt-pool en een nieuwe regularisatieterm een betere stabiliteit-plasticiteit-balans bereikt met lagere rekenkosten en hogere nauwkeurigheid dan bestaande technieken.

De kern

UniPrompt-CL: De Slimme, Duurzame Arts van de Toekomst

Stel je voor dat een kunstmatige intelligentie (AI) als een jonge arts is die net begint te werken in een ziekenhuis. Normaal gesproken leert zo'n arts alleen uit een statisch boekje met oude foto's. Maar de echte wereld verandert snel: er komen nieuwe ziekenhuizen, nieuwe apparaten en nieuwe soorten ziektes bij. Als de arts alleen zijn oude boekje gebruikt, raakt hij in de war of vergeet hij wat hij eerder leerde. Dit probleem heet "Continuïteitsleren" (Continual Learning).

De meeste AI-modellen zijn getraind op foto's van alledaagse dingen (zoals honden, auto's en bloemen). Maar medische foto's (zoals van het netvlies of de huid) zijn heel anders. Ze zijn subtiel, vaak gemaakt met dezelfde apparatuur, en de verschillen tussen ziektestadia zijn heel klein.

De auteurs van dit paper, Gyutae Oh en Jitae Shin, hebben een nieuwe methode bedacht genaamd UniPrompt-CL. Hier is hoe het werkt, vertaald naar simpele beelden:

1. Het Probleem: De Verwarde Vertaler

Stel je voor dat de AI een vertaler is die een tekst moet vertalen.

• Huidige methoden (voor gewone foto's): Deze vertalers gebruiken een enorme, rommelige woordenlijst. Ze proberen voor elke nieuwe zin een heel nieuw, groot woordenboek te maken. Voor medische foto's is dit echter inefficiënt. Het is alsof je voor het verschil tussen een lichte en een zware vorm van een oogziekte een heel nieuw woordenboek maakt, terwijl je eigenlijk alleen maar een paar specifieke woorden hoeft aan te passen.
• Het resultaat: De AI wordt traag, verbruikt veel rekenkracht en vergeet soms wat hij eerder leerde (het "catastrophic forgetting" fenomeen).

2. De Oplossing: De Slimme, Geïntegreerde Notitieblok

UniPrompt-CL lost dit op met twee slimme trucjes:

A. Één Groot, Georganiseerd Notitieblok (Unified Prompt Pool)
In plaats van dat de AI op elke "laag" van zijn hersenen een apart, los notitieblok heeft (wat leidt tot dubbel werk en verwarring), maakt UniPrompt-CL één groot, centraal notitieblok.

• De analogie: Stel je voor dat je een bibliotheek hebt. De oude manier was: elke verdieping had zijn eigen, chaotische stapel boeken. UniPrompt-CL is als één perfecte, centrale bibliotheek waar alle boeken netjes op de juiste plek staan. De AI kan zo sneller en slimmer vinden wat hij nodig heeft, zonder dat er dubbele boeken (redundantie) zijn.

B. De "Kleine Aanvulling" Strategie (Few Prompt Expansion)
Wanneer de AI een nieuwe ziekte of een nieuw ziekenhuis leert, hoeft hij niet alles opnieuw te leren.

• De analogie: Stel je voor dat je een receptboek hebt. Als je een nieuw gerecht wilt leren, hoef je niet het hele boek opnieuw te schrijven. Je plakt er gewoon een paar nieuwe kaartjes in (ongeveer 20% extra). De oude recepten blijven veilig bewaard en worden niet overschreven.
• Dit zorgt ervoor dat de AI zijn oude kennis behoudt (stabiliteit) maar toch nieuw materiaal kan leren (plasticiteit), zonder dat het hele systeem zwaar wordt.

3. Waarom is dit zo goed voor de medische wereld?

• Subtiele verschillen: Medische foto's zijn vaak heel gelijkend (dezelfde camera, dezelfde houding). De echte verschillen zitten in heel kleine details (een klein vlekje op het netvlies). De oude AI's waren te "breed" en misten deze details. UniPrompt-CL is als een microscoop: hij richt zich precies op die kleine, belangrijke details.
• Snelheid en Kosten: Veel andere methoden moeten de AI twee keer laten "denken" (twee keer door het model lopen) om een antwoord te krijgen. UniPrompt-CL doet het in één keer. Dit bespaart enorm veel energie en tijd, wat cruciaal is voor ziekenhuizen.

4. De Resultaten in het Kort

De auteurs hebben hun methode getest op foto's van het netvlies (diabetes) en huidkanker.

• Betere scores: De AI werd 1% tot 3% slimmer dan de beste bestaande methoden.
• Minder vergeten: Hij vergeet veel minder snel wat hij eerder leerde.
• Efficiëntie: Hij doet dit met minder rekenkracht. Het is alsof je een Ferrari hebt die minder benzine verbruikt dan een oude bus, maar sneller rijdt.

Conclusie

UniPrompt-CL is als het opleiden van een arts die niet alleen slim is, maar ook duurzaam. Hij gebruikt een slim systeem om nieuwe kennis toe te voegen zonder zijn oude kennis te verliezen, en hij doet dit op een manier die perfect past bij de subtiele, precieze wereld van de geneeskunde. Het is een stap in de richting van AI die echt mee kan groeien met de veranderende wereld van de gezondheidszorg.

Technische samenvatting

Probleemstelling

Moderne AI-modellen worden doorgaans getraind op statische datasets, wat hun vermogen beperkt om zich continu aan te passen aan snel veranderende real-world omgevingen. Hoewel Continual Learning (CL) deze beperking moet oplossen, zijn de meeste bestaande methoden ontwikkeld voor natuurlijke afbeeldingen (zoals ImageNet of CIFAR) en presteren ze slecht op medische data. Dit komt door specifieke uitdagingen in de medische domain:

• Domain Bias en Institutionele Beperkingen: Medische beelden worden onder gestandaardiseerde protocollen opgenomen, wat leidt tot consistente opnamehoeken, maar subtiele variaties door apparatuurverschillen, ziekenhuisprocedures en patiëntfactoren.
• Subtiele Grenzen: De grenzen tussen ziektestadia zijn vaak subtiel (bijv. fijne laesies in retinopathie), in tegenstelling tot de grote intra-klassen variatie in natuurlijke afbeeldingen (hoeken, vormen).
• Inefficiëntie van Bestaande PCL: Bestaande Prompt-based Continual Learning (PCL) methoden leren vaak brede prompt-regio's om grote variatie te dekken. Dit leidt tot redundante codering van laag-niveau informatie over verschillende lagen heen en vereist vaak meerdere ViT-inferenties (forward passes) of meerdere backbones, wat de rekenkosten (computational overhead) onnodig verhoogt.

Methodologie: UniPrompt-CL

De auteurs stellen UniPrompt-CL voor, een medisch-georiënteerde PCL-methode die is ontworpen om de stabiliteit-plasticiteit trade-off te verbeteren met lagere rekenkosten. De kern van de methode rust op drie pijlers:

1. Unificatie van Prompt Pools (Unified Prompt Pool):

   • In plaats van onafhankelijke prompt-pools per laag (zoals bij eerdere methoden zoals OS-Prompt), introduceert UniPrompt-CL één geïntegreerde prompt pool die door alle lagen van het netwerk wordt gedeeld.
   • Dit vermindert cross-layer redundantie en zorgt voor een efficiënter gebruik van de beperkte prompt-capaciteit. De prompts worden nu centraal beheerd en genereren specifieke aanpassingen voor elke laag op basis van de [CLS]-token query.

2. Minimale Prompt Uitbreiding (Few Prompt Expansion):

   • Bij de overgang naar een nieuwe taak (nieuw dataset/stadium) wordt de prompt-pool niet volledig hergetraind of uitgebreid met een groot aantal nieuwe prompts.
   • Er wordt slechts een klein subset (empirisch bepaald op 20%) van de oorspronkelijke prompts toegevoegd. De eerder geleerde prompts blijven bevroren (frozen).
   • Dit strategie voorkomt catastrofale vergeetachtigheid en zorgt ervoor dat nieuwe prompts zich richten op het vastleggen van nieuwe, fijne details in plaats van overlap met bestaande kennis.

3. Nieuwe Regularisatie Term:

   • Om te voorkomen dat de nieuw toegevoegde prompts te weinig invloed hebben of redundantie creëren, wordt een nieuwe regularisatie term ($\mathcal{L}_s$) toegevoegd aan de loss functie.
   • Deze term straft overlappingen tussen de nieuwe en bestaande prompts af en zorgt ervoor dat nieuwe prompts unieke, complementaire kenmerken leren.
   • De totale loss is: $\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{CE}} + \lambda \mathcal{L}_s$.

4. Architectuur en Efficiëntie:

   • Het model gebruikt een sterke DINOv2-base backbone (voor betere generalisatie op medische data).
   • Cruciaal: Het vereist slechts één ViT-inferentie (single forward pass) en één backbone, in tegenstelling tot eerdere state-of-the-art (SOTA) methoden die vaak twee inferenties of meerdere backbones nodig hebben.

Belangrijkste Bijdragen

• Unificatie: Consolidatie van laag-voor-laag prompt pools tot één unified pool, gecombineerd met een nieuwe regularisatie voor effectieve training.
• Efficiëntie: Een ontwerp met één backbone en één inferentie dat aanzienlijk lagere rekenkosten (GFLOPs) biedt dan bestaande SOTA-methoden, terwijl het toch superieure prestaties levert.
• Medische Strategie: Een strategie die specifiek is ontworpen voor medische data, waarbij slechts een klein aantal prompts wordt uitgebreid om redundantie te verminderen en catastrofale vergeetachtigheid te mitigeren.

Resultaten

De methode is getest op twee domein-incrementele leer-scenario's:

1. Diabetische Retinopathie: Een reeks van APTOS $\rightarrow$ DDR $\rightarrow$ DRD.
2. Huidkanker: Een reeks van ISIC $\rightarrow$ HAM $\rightarrow$ DERM7.

Kernresultaten:

• Prestatieverbetering: UniPrompt-CL verbetert de gemiddelde nauwkeurigheid (AvgACC) met 1-3 procentpunten ten opzichte van sterke baselines (zoals OS-Prompt++, Coda-Prompt, en MoE-Adapters). In de beste gevallen wordt een toename van +10 pp in nauwkeurigheid en +9 punten in F1-score bereikt.
• Vergelijking met SOTA: Het model presteert consistent beter dan methoden gebaseerd op regularisatie, architectuur-aanpassingen en herhaling (rehearsal), zelfs zonder toegang tot historische data (rehearsal-free).
• Efficiëntie: Door het gebruik van slechts één inferentie, reduceert UniPrompt-CL de rekenkosten aanzienlijk (bijv. 44.17 GFLOPs vs. 66.42 GFLOPs voor OS-Prompt++).
• CARA (Cost-Adjusted Retained Accuracy): Het model behaalt de hoogste CARA-waarde, wat aangeeft dat het de beste balans biedt tussen nauwkeurigheid, stabiliteit (weinig vergeten) en reken-efficiëntie.
• Ablatie Studies:
  • Een sterke backbone (DINOv2) is essentieel, maar de verbeteringen komen vooral door de unieke prompt-pool design en uitbreidingsstrategie.
  • Een uitbreidingsratio van 20% bleek optimaal; hogere ratios (30%) leidden tot meer parameters zonder prestatiewinst.

Significantie

Dit paper is significant omdat het een brug slaat tussen de theorie van Prompt-based Continual Learning en de praktische eisen van medische AI.

• Domain-Specifieke Aanpassing: Het paper demonstreert dat strategieën die werken voor natuurlijke afbeeldingen (brede prompt-distributies) niet direct toepasbaar zijn op medische data. Medische data vereist juist compacte, fijne-granulaire aanpassingen.
• Duurzaamheid: Door de rekenkosten te verlagen en catastrofale vergeetachtigheid te voorkomen, maakt UniPrompt-CL het mogelijk om medische AI-modellen continu bij te werken met nieuwe data (bijv. van nieuwe ziekenhuizen of apparatuur) zonder dat deze opnieuw getraind moeten worden of privacy-gevoelige historische data nodig hebben.
• Toekomstperspectief: De methode biedt een schaalbaar kader dat kan worden uitgebreid naar andere medische modaliteiten (CT, MRI) en taken (segmentatie, detectie), wat een stap is naar echt adaptieve en duurzame medische AI-systemen.