MUNNA: A Multi-strategy, Uncertainty-driven, Nested Neuro-ensemble Algorithm for Disease Diagnosis with Closed-loop Explainability Feedback

Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar in plaats van een plaats delict, kijk je naar het medische dossier van een patiënt. Dit dossier zit vol met honderden kleine aanwijzingen—getallen die celgroottes, vormen en texturen vertegenwoordigen. Het doel is om uit te zoeken of een patiënt ziek is of gezond. In de wereld van de wetenschap wordt dit "ziecediagnose" genoemd, en voor een lange tijd hebben computers artsen geholpen door te fungeren als supersnelle detectives. Echter, deze computerdetectives hadden een paar irritante gewoontes. Soms bleven ze steken bij de verkeerde aanwijzingen, denkend dat dit de belangrijkste waren terwijl dat niet zo was. Op andere tijden vertrouwden ze op de mening van één enkele "expert", zelfs wanneer een groep experts slimmer zou zijn. Ten slotte legden ze hun antwoorden vaak pas achteraf uit, zoals een detective een rapport schrijft nadat de zaak is afgesloten, in plaats van die uitleg te gebruiken om de mysterie tijdens het oplossen beter te begrijpen.

Om deze gewoontes te corrigeren, gebruiken wetenschappers een paar slimme trucs. Eén truc is "feature selection" (kenmerkselectie), wat lijkt op een detective die beslist welke aanwijzingen hij bewaart en welke hij weggooit, zodat hij niet overweldigd wordt door ruis. Een andere is "ensemble learning" (ensemble-leren), waarbij je in plaats van één detective een heel team van verschillende experts vraagt (sommigen zijn goed in wiskunde, anderen in patronen) en hen laat stemmen over het antwoord. De derde truc is "explainability" (uitlegbaarheid), wat simpelweg het vragen aan de computer is: "Waarom heb je die keuze gemaakt?", zodat mensen het kunnen vertrouwen. De grote vraag is: Kunnen we al deze trucs combineren in één superintelligent systeem dat leert van zijn eigen verklaringen om er nog beter van te worden?

Dit is precies waar een onderzoeker genaamd Md. Maruf Sharker Munna zich mee heeft beziggehouden in een nieuwe studie genaamd MUNNA. Denk aan MUNNA als een hoogtechnologisch detectivebureau dat de zaak niet alleen één keer oplost, maar zijn methoden blijft verfijnen tot ze perfect zijn. Het artikel stelt een driestappenproces voor om ziekten te diagnosticeren, specifiek getest op gegevens over borstkanker.

Stap 1: De Slimme Aanwijzingenzakker
Eerst moet MUNNA beslissen welke aanwijzingen uit het medische dossier daadwerkelijk nuttig zijn. Stel je voor dat je een tas hebt met 30 verschillende gereedschappen, maar je hebt er slechts een paar nodig om een specifiek probleem op te lossen. MUNNA gebruikt een hybride strategie genaamd GWO-SA. Stel je een roedel wolven voor die op jacht is. De "Alpha"-wolf is de leider en de roedel volgt hem om voedsel te vinden (de beste set aanwijzingen). Maar soms komt de Alpha vast te zitten in een lokale val, denkend dat een kleine struik de beste plek is. Om dit op te lossen, voegt MUNNA een "Simulated Annealing"-stap toe. Dit is als het geven van een plotselinge energieboost aan de Alpha-wolf om naar een compleet nieuwe plek te springen, puur om te zien of er daar iets beters is. Door de teamwork van de roedel te combineren met deze plotselinge sprongen, vindt MUNNA de perfecte set van 20 aanwijzingen uit de oorspronkelijke 30, waarbij de ruisachtige, nutteloze aanwijzingen worden weggegooid.

Stap 2: De Betrouwbare Teamstemming
Zodra de beste aanwijzingen zijn gekozen, roept MUNNA een team van vijf verschillende "base learners" (experts) op. Dit zijn verschillende soorten computermodellen: een Random Forest, een XGBoost, een Support Vector Machine, een K-Nearest Neighbors en een Multilayer Perceptron. In een normaal team krijgt iedereen een gelijkwaardige stem. Maar MUNNA is slimmer. Het gebruikt uncertainty-weighted stacking (onzekerheid-gewogen stapeling). Stel je voor dat elke expert een voorspelling doet, maar sommige zeer zelfverzekerd zijn (zoals zeggen: "Ik ben 99% zeker") terwijl anderen twijfelachtig zijn (zoals zeggen: "Misschien 55%"). MUNNA berekent hoe "verward" elke expert is met behulp van een wiskundig concept genaamd Shannon-entropie. Als een expert verward is, luistert MUNNA minder naar hen. Als ze zelfverzekerd zijn, luistert het meer naar hen. Op deze manier is de uiteindelijke beslissing niet zomaar een saai gemiddelde; het is een dynamische stemming waarbij de meest zelfverzekerde expert voor die specifieke patiënt de luidste stem heeft.

Stap 3: De Feedbackloop
Hier is het meest unieke deel. Meestal, nadat een model een beslissing heeft genomen, gebruiken wetenschappers een hulpmiddel genaamd SHAP om uit te leggen waarom het die keuze heeft gemaakt. Maar MUNNA stopt daar niet. Het neemt die verklaringen en voert ze terug naar de allereerste stap. Het is also eigenlijk een detective die een zaak oplost, opschrijft welke aanwijzingen het meest belangrijk waren, en die lijst vervolgens gebruikt om een nieuw team van detectives in te huren die al bevooroordeeld zijn naar die belangrijke aanwijzingen. Deze "closed-loop" (gesloten lus) vindt twee keer plaats. De eerste keer jagen de wolven op aanwijzingen. Daarna vertelt de SHAP-tool hen welke aanwijzingen de echte helden waren. De wolven jagen vervolgens opnieuw, beginnend met een voorsprong op die helden-aanwijzingen, waardoor de uiteindelijke selectie nog scherper wordt.

Wat hebben ze gevonden?
De onderzoekers testten dit hele systeem op een beroemde dataset met 569 monsters van borstkankercellen. De resultaten waren indrukwekkend. Het volledige MUNNA-systeem behaalde een score genaamd AUC van 0,998 en een F1-score van 0,976. Om dit in perspectief te plaatsen: standaard enkelvoudige modellen (zoals alleen een Random Forest) scoorden rond de 0,994, en zelfs een standaard teamstemming zonder de speciale trucs scoorde 0,995. MUNNA versloeg hen allemaal. Het slaagde erin dit te doen terwijl het slechts 20 van de oorspronkelijke 30 kenmerken gebruikte, wat bewijst dat minder vaak meer is.

De publicatie is echter ook zeer eerlijk over de beperkingen. De auteurs merken op dat het succes van MUNNA sterk afhangt van hoeveel "rekenkracht" (computing time) het mag besteden. Wanneer ze het testten met een kleiner budget (minder wolven en minder rondes van jagen), kromp het voordeel ten opzichte van een standaard teamstemming, en in sommige gevallen was het standaard team zelfs iets beter op gemiddelde basis. Dit suggereert dat MUNNA geen toverstaf is die direct werkt; het is een krachtig instrument dat een aanzienlijke hoeveelheid tijd en energie nodig heeft om te blinken.

De studie verduidelijkt ook dat hoewel de individuele onderdelen (zoals het wolf-algoritme of de SHAP-tool) geen nieuwe uitvindingen zijn, de specifieke manier waarop ze aan elkaar zijn gekoppeld—het gebruik van de verklaring om de volgende zoektocht te sturen, en het gebruik van zelfvertrouwen om de stemmen te wegen—een nieuwe combinatie is. De onderzoekers beweerden niet dat ze de volledige medische diagnose hadden opgelost, maar ze lieten zien dat deze specifieke, closed-loop benadering een zeer nauwkeurig systeem creëert voor dit specifieke type kankerdata. Ze hebben zelfs het uiteindelijke "ja of nee" beslissingspunt (de drempelwaarde) aangepast naar 0,530 in plaats van de gebruikelijke 0,5, om ervoor te zorgen dat het systeem gebalanceerd is voor medische risico's in de echte wereld.

Kortom, MUNNA is een slimme, zelfverbeterende detective die leert van zijn eigen fouten en van het zelfvertrouwen van zijn teamleden om medische mysteries met ongelooflijke precisie op te lossen, mits het genoeg tijd heeft om zijn huiswerk te doen.