An Empirical Analysis of Continual Learning for Heterogeneous Medical Visual Question Answering

Stel je voor dat je een superintelligente medische robotassistent hebt die röntgenfoto's, echo's en microscooppreparaten kan bekijken en er vragen over kan beantwoorden als een ervaren arts. Deze robot is gebouwd om door de tijd heen nieuwe trucjes te leren. Maar er is een addertje onder het gras: in de echte wereld krijgen artsen niet al hun trainingsdata in één keer te zien. Ze krijgen vandaag een nieuw type casus, morgen een ander soort en volgende week een totaal nieuwe uitdaging. Als de robot de nieuwe truc te hard leert, kan hij de oude trucs volledig vergeten. Dit wordt "catastrofale vergetelheid" genoemd, en het is als een student die zo hard studeert voor een wiskundetoets dat hij plotseling zijn moedertaal vergeet.

De onderzoekers in dit artikel besloten deze robot door een zware "continual learning" (voortdurend leren) bootcamp te sturen. Ze gaven hem niet alleen vergelijkbare taken; ze wierpen een chaotische mix van vijf zeer verschillende banen op hem af:

1. Classificatie: Eén antwoord kiezen uit een lijst (bijv. "Is dit een goedaardige of kwaadaardige laesie?").
2. Multi-label Classificatie: Meerdere antwoorden tegelijk kiezen (bijv. "Selecteer alle geconstateerde abnormaliteiten").
3. Detectie: Een kader tekenen rond een specifieke plek (bijv. "Waar is het foetale hoofd?").
4. Celtelling: Een exact aantal geven (bijv. "Hoeveel cellen zijn hier aanwezig?").
5. Rapportgeneratie: Een lange, vrije tekst beschrijven die de afbeelding beschrijft.

De Grote Ontdekking: De Robot Raakte in Verwarring
De belangrijkste bevinding van dit onderzoek is dat de huidige "toverspreuken" (algoritmen) die wetenschappers gebruiken om robots te helpen oude taken te onthouden terwijl ze nieuwe leren, worstelen wanneer deze taken zo verschillend zijn. De auteurs suggereren dat bestaande methoden de balans tussen de behoefte van de robot aan flexibiliteit (plasticiteit) en stabiliteit (stabiliteit) niet perfect kunnen vinden.

Denk aan een chef die uitstekend is in het maken van pizza. Plotseling krijgt hij de opdracht om een cake te bakken, daarna een vis te fileren, vervolgens rijstkorrels te tellen en tot slot een recensie van een voedingscriticus te schrijven. Als de chef probeert het recept voor de vis te leren met dezelfde "geheugenbesparende" trucs die hij voor de cake gebruikte, kan hij beginnen vissaus op de pizza te doen of vergeten hoe hij rijstkorrels moet tellen. Het papier laat zien dat wanneer deze verschillende "recepten" (taken) bij elkaar worden gemengd, het geheugen van de robot een rommeltje wordt.

Wat het Papier Uitsluit
De auteurs argumenteren expliciet tegen het idee dat we gewoon de oude trucjes kunnen gebruiken die werken voor vergelijkbare taken. Ze laten zien dat methoden die goed werken wanneer de robot "van makkelijk naar moeilijk" leert (zoals beginnen met eenvoudige classificatie en eindigen met complexe rapporten), moeite hebben wanneer de volgorde wordt door elkaar gehusseld of wanneer de taken te verschillend zijn.

Ze sluiten ook het idee uit dat simpelweg "reproduceren" van oude data (de robot oude afbeeldingen laten zien terwijl hij nieuwe leert) een wondermiddel is. Hoewel het een beetje helpt, voorkomt het niet dat de robot de rest van alles vergeet. Sterker nog, ze ontdekten dat één methode genaamd O-LoRA (die probeert elke taak zijn eigen aparte "notitieblok" te geven) grotere pieken in vergetelheid vertoonde, wat leidde tot significante prestatiedalingen in bepaalde scenario's.

De "LoRA" Rugzak Analogie
Om te begrijpen waarom dit gebeurt, stel je voor dat de rugzak van de robot een enorme, zware rugzak heeft (het hoofdmodel) die hij nooit verandert. Om nieuwe dingen te leren, voegt hij alleen kleine, lichtgewicht zakken of adapters toe aan de buitenkant van de rugzak, genaamd LoRA.

• Het Experiment: De onderzoekers observeerden hoe deze zakken verschoven en uitrekten terwijl de robot nieuwe taken leerde.
• De Observatie: Wanneer de robot de taak "Rapportgeneratie" leerde (het schrijven van lange verhalen), rekten zijn zakken zich in een wilde richting uit. Als dit vroeg in de training gebeurde, verpestte het het vermogen van de robot om de korte, precieze taken later uit te voeren.
• Het Resultaat: De methode genaamd EWC (Elastic Weight Consolidation) was het meest consistent. Het fungeerde als een rekbare elastische band die de zakken bij elkaar hield en voorkwam dat ze te ver uit elkaar dreven. Echter, zelfs EWC was niet perfect; het suggereerde nog steeds dat de robot sommige dingen vergat, zij het minder dan de andere.

De Cijfers Liegen Niet
Het papier mat precies hoeveel de robot vergat met behulp van een "Vergetelheidsratio" (FR), waarbij 0 staat voor geen vergetelheid en 1 voor totale amnesie.

• Wanneer de robot taken in een eenvoudige volgorde leerde (Makkelijk → Moeilijk), had de "naïeve" methode (gewoon leren zonder speciale geheugentrucs) een Vergetelheidsratio van 0,94 voor classificatie. Dat is bijna totale vergetelheid!
• Zelfs de beste methoden konden de Vergetelheidsratio voor classificatie niet naar nul brengen. Bijvoorbeeld, de EWC-methode verminderde de vergetelheid voor classificatie tot 0,40 in één specifieke volgorde, maar het was nog steeds niet perfect.
• De "Detectie"-taak (het tekenen van kaders) was een totale strijd voor iedereen. Welke methode ze ook gebruikten, de prestaties van de robot op detectie bleven consequent laag, met Vergetelheidsratio's die in verschillende gevallen de 1,00 bereikten (volledige vergetelheid).

De Volgorde Maakt (Een Boel) Verschil
De onderzoekers testten drie verschillende "curricula" (leerschema's):

1. Volgorde A (Makkelijk → Moeilijk): Classificatie → Multi-label → Detectie → Telling → Rapporten.
2. Volgorde B (Moeilijk → Makkelijk): Rapporten → Telling → Detectie → Multi-label → Classificatie.
3. Volgorde C (Gemengd): Een willekeurige volgorde.

Ze ontdekten dat de prestaties van de robot sterk afhankelijk waren van de volgorde. Als de robot eerst leerde om lange rapporten te schrijven (Volgorde B), raakte hij in de war en begon hij zelfs bij eenvoudige ja/nee-vragen lange paragrafen te schrijven. Deze "drift" was minder problematisch voor de KD (Knowledge Distillation) methode, die fungeerde als een strenge leraar die de student dwong zijn antwoorden kort te houden, maar het kon ook niet alles oplossen.

De Kern van het Verhaal
De auteurs concluderen dat we dit probleem nog niet hebben opgelost. De huidige "geheugenbesparende" technieken zijn niet sterk genoeg om de chaotische realiteit van een ziekenhuis aan te kunnen, waar taken constant veranderen en erg van elkaar verschillen. Ze suggereren dat we om dit op te lossen meer nodig hebben dan alleen het tweaken van de zakken van de robot; we moeten het gedrag van de robot afstemmen zodat hij precies weet wanneer hij van rol moet wisselen.

Voor nu suggereert het papier dat hoewel we vooruitgang boeken, de droom van een medische robot die continu leert zonder te vergeten nog steeds een werk in uitvoering is, vooral wanneer de taken variëren van het tellen van cellen tot het schrijven van essays. De auteurs zijn van plan hun code openbaar te maken zodat anderen deze cijfers kunnen proberen te verslaan, maar voor nu is de robot nog steeds een beetje vergeetachtig wanneer het menu te snel verandert.