A multi-objective evolutionary approach to neural architecture search for clinical tabular classification: balancing predictive performance and model compactness

Stel je voor dat je de perfecte robotkok probeert te bouwen om hartziekten te diagnosticeren of tumoren op te sporen. Je wilt dat deze chef ongelooflijk slim is (hoge nauwkeurigheid) maar ook klein genoeg is om in een broekzak te passen (lage complexiteit). Meestal, wanneer mensen deze AI-chefs proberen te bouwen, blijven ze maar meer en meer ingrediënten en gereedschappen toevoegen, denkend: "groter is beter." Dit artikel betoogt dat dat een slecht idee is. Het suggereert dat een model te groot maken is als het vullen van een rugzak met zoveel boeken dat hij te zwaar wordt om te dragen, zelfs als de boeken interessant zijn. Het resultaat? Een onhandige robot die over zijn eigen voeten struikelt en faalt om te werken op echte apparaten.

De auteurs, Ivan, Menhai en Safa, besloten een andere aanpak te proberen. In plaats van gewoon te gokken of het model groter te maken, creëerden ze een digitale "evolutionaire wedstrijd" genaamd MOGA-NAS. Denk aan dit als een overlevingsstrijd tussen de sterksten voor computerechters.

De Spelregels: Twee Doelen Tegelijkertijd
In de meeste spellen probeer je alleen maar de hoogste score te halen. In dit spel moeten de spelers twee doelen tegelijkertijd balanceren:

1. Wees Slim: Behaal de hoogst mogelijke score op een medische test (gemeten met iets dat de F1-score wordt genoemd).
2. Wees Klein: Gebruik zo min mogelijk "onderdelen" (parameters).

Het artikel betoogt dat het proberen te optimaliseren voor slechts één doel (zoals alleen slim zijn) leidt tot opgeblazen, inefficiënte modellen. In plaats daarvan gebruikten ze een speciaal scheidsreggersysteem genaamd NSGA-II. Deze scheidsrechter kiest niet zomaar één winnaar; hij vindt een heel "Pareto-front". Stel je een menu voor waarbij je kunt kiezen voor een model dat super slim is maar een beetje zwaar, of een model dat iets minder slim is maar in je broekzak past. Het doel is om artsen een menu aan keuzes te geven, zodat ze degene kunnen kiezen die past bij hun specifieke hardware.

De Geheime Wapens
Om deze evolutie te laten werken, heeft het team drie coole trucjes uitgevonden:

• De "Neuron-naar-Subnetwerk" Mutatie: Stel je voor dat een enkele Lego-steen in je robot plotseling besluit om uit te groeien tot een piepkleine, zelfvoorzienende machine met zijn eigen tandwielen. Dit stelt de robot in staat om complexiteit alleen toe te voegen waar dat nodig is, in plaats van het hele ding groter te maken.
• De "Belangrijkheidsgids": In plaats van willekeurig te kiezen welk deel van de robot te veranderen, controleert het systeem welke delen daadwerkelijk het zware werk doen. Het is als een coach die een speler vertelt: "Verander niet je schoenen; verander je loopvorm," omdat de schoenen niet het probleem zijn.
• De "8-Bit Code": Ze gebruikten een zeer compacte manier om het ontwerp van de robot op te schrijven (zoals het gebruiken van een korte code in plaats van een lang essay). Het artikel suggereert dat dit fungeert als een "regularisator", wat een chique manier is om te zeggen dat het de robot dwingt om simpel te blijven en voorkomt dat de robot de antwoorden van de test uit het hoofd leert in plaats van de les te leren.

De Resultaten: Klein maar Krachtig
Het team testte deze methode op vijf verschillende medische datasets, variërend van hartziektegegevens tot borstkankergegevens. Ze voerden het experiment 15 keer uit (met drie verschillende willekeurige startpunten en vijf verschillende dataspins) om er zeker van te zijn dat de resultaten niet alleen geluk waren.

Dit is wat ze vonden:

• Prestaties: Op vier van de vijf datasets behaalden hun geëvolueerde robots de hoogste gemiddelde scores. Op de vijfde dataset (Wisconsin Breast Cancer) haalden ze gelijk met de beste traditionele methode (een Support Vector Machine). Het artikel stelt dat op deze specifieke dataset het verschil zo klein was dat het statistisch ononderscheidbaar was.
• Grootte: Dit is de grote winst. De modellen die ze vonden waren minuscuul—ze bevatten slechts ongeveer 100 tot 480 parameters. Vergelijk dit met andere methoden die vaak duizenden gebruiken. Het artikel merkt op dat dit "één tot twee ordes van grootte kleiner" is.
• Betrouwbaarheid: Wanneer ze de wiskunde controleerden (met een statistische test genaamd de gepaarde Wilcoxon signed-rank test), kwamen ze erachter dat hun methode in 61 van de 65 vergelijkingen statistisch beter was dan de andere.

Wat Ze Expliciet Uitsluiten
Het artikel is zeer voorzichtig in het zeggen wat deze methode niet is.

• Het is geen wondermiddel dat alles oplost. De auteurs geven expliciet aan dat ze niet beweren een "nieuwe state of the art" te zijn in termen van pure kracht. Op sommige datasets was de verbetering een "statistische gelijkwaardigheid", geen enorme overwinning.
• Het is niet gratis. Het artikel betoogt dat hoewel de uiteindelijke robot klein en snel is, het proces van het bouwen ervan (de zoektocht) tijd kost. Het kost "op de orde van grootte van minuten per fold" op een standaardcomputer, wat veel langzamer is dan het trainen van een eenvoudig model dat "ruim onder een seconde" duurt. Als je haast hebt en niet kunt wachten tot de evolutie klaar is, kan een simpel, vooraf afgestemd model nog steeds de betere keuze zijn.
• Het is niet bewezen voor enorme datasets. Het artikel beperkt de claims expliciet tot "kleine tot middelgrote" datasets (de grootste had ongeveer 1.151 instanties). Ze geven toe dat ze nog niet weten of dit werkt op enorme data met miljoens records.

De Kern van het Verhaal
Het artikel suggereert dat het gebruik van deze multi-objective evolutionaire zoektocht een "gunstige en reproduceerbare afweging" is. Het biedt een manier om topkwaliteit medische voorspellingen te krijgen zonder een gigantisch, onhandelbaar model te bouwen. Het is als het vinden van een Zwitsers zakmes dat net zo scherp is als een volwaardig koksmes, maar in je broekzak past.

De auteurs zijn echter eerlijk over de kosten: je moet vooraf een "zoekbudget" (tijd en rekenkracht) betalen om dat perfecte, compacte ontwerp te vinden. Als je de tijd hebt om de evolutie uit te voeren, krijg je een piepklein, efficiënt model. Als je direct een antwoord nodig hebt, zijn de ouderwetse methoden misschien nog steeds je beste gok. De studie suggereert dat deze aanpak bijzonder waardevol is voor klinische omgevingen waar apparaten klein kunnen zijn of beperkte stroom hebben, maar het blijft een suggestie gebaseerd op deze specifieke tests, en geen universele wet voor alle medische AI.