Lightweight attention mechanisms in breast ultrasound lesion segmentation: parameter cost, protocol choice, data leakage, and what the data can resolve

Borstkanker is een belangrijke doodsoorzaak wereldwijd, en vroege detectie is vaak het verschil tussen leven en dood. Hoewel mammografieën de standaard screeningsmethode zijn, kunnen ze moeite hebben met het doorzien van dicht borstweefsel. Echografie biedt een nuttig alternatief; het maakt gebruik van geluidsgolven in plaats van straling, is breed beschikbaar en kan kankers opsporen die mammografieën missen. Echter, echografiebeelden zijn berucht moeilijk te interpreteren. Ze zijn sterk afhankelijk van de vaardigheid van de persoon die de probe vasthoudt, en zelfs experts zijn het soms oneens over waar een tumor precies begint en eindigt. Om te helpen, trainen wetenschappers computers om automatisch contouren rond deze tumoren te tekenen, een proces dat segmentatie wordt genoemd. De hoop is dat een computer dit sneller en consistenter kan doen dan een mens, als een tweede paar ogen voor artsen.

Om deze computerprogramma's te bouwen, hebben onderzoekers grote collecties afbeeldingen nodig met reeds aangegeven juiste antwoorden. Een dergelijke collectie, bekend als de BUSI-dataset, is de standaard speelplaats geworden voor het testen van deze nieuwe ideeën. Het bevat honderden echografiebeelden van borstlaesies, zowel goedaardig als kwaadaardig, met door experts getekende contouren. In de afgelopen jaren hebben tientallen onderzoeksteams nieuwe manieren voorgesteld om deze computerprogramma's te verbeteren, vaak door speciale "attention"-modules toe te voegen. Denk aan deze modules als een manier om de computer te vertellen om nauwkeuriger te focussen op specifieke delen van de afbeelding, zoals een menselijke lezer die zich concentreert op een verdachte plek. De aanname is geweest dat deze chique toevoegingen de computer slimmer en nauwkeuriger maken. Maar een nieuwe studie suggereert dat de realiteit veel complexer is, en dat de verbeteringen die we denken te zien, illusies zijn die worden gecreëerd door de manier waarop de tests worden uitgevoerd.

Een onderzoeker aan de Bilecik Şeyh Edebali Universiteit besloot deze claims aan een strenge test te onderwerpen. In plaats van simpelweg de eindscores van verschillende studies te vergelijken, bouwde hij één enkele, strikte testomgeving en liet hij elf verschillende versies van een computerprogramma door deze lopen. Hij gebruikte dezelfde afbeeldingen, dezelfde regels voor het splitsen van de data en dezelfde manier om succes te meten voor elke enkele test. Deze aanpak stelde hem in staat om precies te isoleren wat er veranderde en wat daadwerkelijk de oorzaak was van het verschil in prestaties. Hij richtte zich specifiek op vijf verschillende soorten "attention"-mechanismen, variërend van een zeer eenvoudig mechanisme dat slechts twaalf kleine stukjes code aan het programma toevoegde, tot een veel complexer mechanisme dat meer dan drieëndertigduizend stukjes toevoegde.

De resultaten waren verrassend. De onderzoeker ontdekte dat de kosten van het toevoegen van deze attention-mechanismen niet overeenkwamen met het voordeel. Het duurste mechanisme, dat de meeste complexiteit aan het computerprogramma toevoegde, leverde bijna geen verbetering in nauwkeurigheid op. Sterker nog, het eenvoudigste mechanisme, dat de minste stukjes code toevoegde, leverde juist de grootste winst in prestaties op. Echter, toen de onderzoekers nauwkeurig naar de cijfers keken, realiseerden zij zich dat zelfs deze beste verbetering zo klein was dat de data zelf niet kon bevestigen dat het echt was. Het verschil was kleiner dan de natuurlijke variatie in de testresultaten. Met andere woorden, de computer werd misschien iets beter, of het was misschien gewoon geluk met die specifieke set afbeeldingen; de studie was niet groot genoeg om het verschil te kunnen vaststellen. De onderzoekers concludeerden dat voor deze specifieke dataset de architecturale wijzigingen die door andere studies werden voorgesteld, te subtiel waren om door de beschikbare data bewezen te worden.

Hoewel de chique attention-mechanismen geen duidelijk voordeel lieten zien, ontdekte de studie dat twee andere factoren een enorme impact hadden. Ten eerste produceerde het simpelweg dieper maken van het computerprogramma — het toevoegen van meer lagen aan de structuur — een duidelijke, meetbare verbetering die drie keer groter was dan welk effect dan ook dat door de attention-modules werd gezien. Ten tweede, en misschien nog belangrijker, ontdekten de onderzoekers dat de manier waarop de test werd uitgevoerd belangrijker was dan het ontwerp van het programma zelf. Ze ontdekten dat als een onderzoeker de beste versie van zijn programma koos op basis van de testdata zelf, in plaats van een aparte set data achter te houden voor de laatste controle, de gerapporteerde nauwkeurigheid aanzienlijk zou stijgen. Deze sprong was groot genoeg om duidelijk zichtbaar te zijn, in tegen tegenstelling tot de kleine winsten van de attention-modules. Dit suggereert dat veel van de hoge scores die in eerdere studies werden gerapporteerd, het resultaat zijn van deze testmethode in plaats van een werkelijk superieur ontwerp.

Het team ontdekte ook een verborgen probleem binnen de dataset zelf. Ze vonden dat sommige afbeeldingen in de collectie bijna identieke kopieën van elkaar waren, waarschijnlijk omdat dezelfde patiënt meerdere keren is gescand of dezelfde afbeelding twee keer is opgeslagen. Wanneer deze duplicaten in zowel de trainings- als de testdelen van de studie terechtkwamen, memoriseerde het computerprogramma in feite het antwoord in plaats van te leren het probleem op te lossen. Toen de onderzoekers deze duplicaten verwijderden, daalden de algemene scores, wat bevestigde dat de eerdere resultaten licht opgeblazen waren. Echter, de relatieve verschillen tussen de verschillende computerprogramma's bleven grotendeels hetzelfde, wat betekende dat de conclusie over de attention-modules standhield zelfs nadat de data was opgeschoond.

Misschien wel het meest onthullende deel van de studie was een audit van hun eigen computercode. De onderzoeker wilde er absoluut zeker van zijn dat hij niet dezelfde fouten maakte als degenen die hij bekritiseerde. Hij controleerde zijn code om te verzekeren dat de computer de testafbeeldingen nooit had gezien vóór de uiteindelijke evaluatie. De code was perfect. Maar toen hij naar de bestanden op zijn harde schijf keek, zag hij iets anders: de computer had per ongeluk kopieën van de testafbeeldingen opgeslagen in een map die bedoeld was voor training. Als hij zijn werk zou hebben beoordeeld door naar de bestanden op de schijf te kijken in plaats van naar de code zelf, zou hij zijn eigen systeem onterecht van onjuiste gegevensverwerking hebben beschuldigd. Dit benadrukte een cruciale les: je kunt niet vertrouwen op wat je ziet op een harde schijf als het proces dat het heeft gecreëerd niet ook is geverifieerd. De bestanden kunnen liegen, maar de instructies die ze creëerden vertellen de waarheid.

Uiteindelijk dient deze studie als een reality check voor het vakgebied van de medische beeldvorming. Het laat zien dat op de huidige benchmark de kleine verbeteringen die worden geclaimd door het toevoegen van complexe attention-modules, waarschijnlijk te klein zijn om echt te zijn. De data is nog niet scherp genoeg om deze subtiele veranderingen te onderscheiden van willekeurige ruis. De studie suggereert dat onderzoekers zich minder moeten richten op het toevoegen van complexe functies en meer op het waarborgen dat hun testmethoden schoon en eerlijk zijn. De grootste winsten komen voort uit eenvoudige zaken, zoals het dieper maken van het programma of het waarborgen dat de testdata werkelijk gescheiden is van de trainingsdata. Totdat de data groot genoeg is om deze kleine verschillen te kunnen onderscheiden, is de meest nauwkeurige manier om een nieuwe methode te beoordelen niet het eindcijfer, maar hoe zorgvuldig deze is getest.