Benchmarking the Domain Gap: Model Selection Instability Under Domain Shift in Video Capsule Endoscopy
Dit artikel toont aan dat modelselectie voor video-capsule-endoscopie zeer instabiel is onder domeinverschuiving, aangezien in-domain prestatierangschikkingen er niet in slagen om cross-target resultaten over verschillende datasets heen consistent te voorspellen, wat een verschuiving noodzakelijk maakt naar het evalueren van de cross-target rangschikkingsstabiliteit in plaats van de piekprestaties op een enkele dataset.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een robot probeert te leren om verschillende soorten fruit te herkennen. Je laat het de robot duizenden foto's van appels, sinaasappels en bananen zien, gemaakt in jouw eigen keuken, onder jouw specifieke lampen, met jouw specifieke camera. De robot wordt er heel goed in! Het wordt een fruit-expert in jouw keuken. Maar dan neem je diezelfde robot mee naar het huis van een vriend. Hun keuken heeft een andere verlichting, hun camera is een ander model, en misschien labelen zij "rijp" ook anders dan jij. Plotseling, de robot die in jouw keuken de kampioen was, kan struikelen over een banaan die er net even anders uitziet, terwijl een robot die je als middelmatig beschouwde plotseling uitblinkt. Dit is de kern van een probleem dat "domain shift" wordt genoemd in de informatica. Het is de kloof tussen hoe goed een computermodel werkt in het laboratorium waar het voor getraind is, versus hoe goed het werkt in de rommelige, echte wereld waar het daadwerkelijk voor wordt gebruikt. In de medische wereld doet dit er veel toe. Als een arts vertrouwt op AI om problemen in het lichaam van een patiënt op te sporen, moet die AI niet alleen slim zijn voor één specifiek ziekenhuis, maar voor elk ziekenhuis, met elke camera, en elke patiënt.
Dit artikel duikt diep in dat exacte probleem, maar in plaats van fruit, kijken de robots naar videocapsules—kleine, pilvormige cameraatjes die patiënten doorslikken om foto's van hun binnenkant te maken. De onderzoekers wilden weten: als we het "beste" AI-model kiezen op basis van hoe het presteert op één specifieke dataset (een collectie afbeeldingen), zal datzelfde model dan nog steeds het beste zijn wanneer we het testen op een compleet andere set afbeeldingen van een ander ziekenhuis? Ze gokten niet alleen; ze voerden een enorm experiment uit. Ze namen 11 verschillende "brein"-architecturen (de kernmotoren die de AI aansturen) en trainden deze op een standaard set capsulevideo's. Vervolgens testten ze deze dezelfde getrainde breinen op twee andere totaal verschillende videosets.
Hier is de wending die ze vonden: de "beste" modellen afhangen er volledig van aan wie je het vraagt. Wanneer ze de modellen rangschikten op basis van de eerste dataset, was de topperformer een model genaamd Swin-B. Het was de duidelijke winnaar. Maar toen ze diezelfde Swin-B-model namen en hem testten op een tweede dataset, zakte hij naar de vijfde plaats. Ondertussen werd een model genaamd ConvNeXt-Base, dat slechts zevende was in de eerste test, de nummer één kampioen in de tweede test. Het is alsoast of je 's ochtends een race hield en de winnaar een sprinter was, maar wanneer je 's middags een race houdt op een ander parcours, een marathonloper wint. Het artikel laat zien dat er niet één enkel "magisch wapen" model is dat overal wint. Als je een model kiest alleen omdat het de hoogste score heeft op één specifieke test, kies je misschien het verkeerde model voor het volgende ziekenhuis dat je bezoekt.
De onderzoekers probeerden ook een tweede experiment. Ze trainden een nieuwe batch modellen op de tweede dataset en testten deze op een derde. Het resultaat was hetzelfde: de rangschikkingen bleven verschuiven. Een model dat geweldig was bij de tweede test, was middelmatig bij de derde. Dit suggereert dat de "leaderboard" die je in een wetenschappelijk artikel ziet, vaak slechts een momentopname is van hoe goed een model bij die specifieke puzzel past, en geen garantie dat het de volgende wel zal oplossen. De auteurs concluderen dat we moeten stoppen met het zoeken naar de enkelvoudig hoogste score op één dataset. In plaats daarvan moeten we zoeken naar modellen die consistent blijven over veel verschillende tests heen. Als een model echt robuust is, zou het er niet om moeten geven of het licht verandert of de camera verandert; het zou zijn rangorde stabiel moeten houden. Totdat we die constante presteerders vinden, is het kiezen van een medische AI op basis van een enkele testscore alsof je een reisgids kiest op basis van hoe goed hij alleen jouw eigen buurt kent—hij kan de weg kwijtraken zodra je de stad verlaat.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.