A multi-objective evolutionary approach to neural architecture search for clinical tabular classification: balancing predictive performance and model compactness

Stellen Sie sich vor, Sie versuchen, den perfekten Roboter-Koch zu bauen, der Herzkrankheiten diagnostiziert oder Tumore aufspürt. Sie wollen, dass dieser Koch unglaublich intelligent ist (hohe Genauigkeit), aber gleichzeitig klein genug, um in eine Hosentasche zu passen (geringe Komplexität). Normalerweise versuchen die Leute, wenn sie solche KI-Köche bauen, einfach immer mehr Zutaten und Werkzeuge hinzuzufügen, in dem Glauben: „Größer ist besser“. Das hier beschriebene Paper argumentiert jedoch, dass das eine schlechte Idee ist. Es legt nahe, dass es, ein Modell zu groß zu machen, so ist, als würde man einen Rucksack mit so vielen Büchern vollstopfen, dass er zu schwer wird, um ihn zu tragen – selbst wenn die Bücher interessant sind. Das Ergebnis? Ein tollpatschiger Roboch, der über seine eigenen Füße stolpert und auf echten Geräten nicht funktionieren kann.

Die Autoren Ivan, Menhai und Safa beschlossen, einen anderen Ansatz zu wählen. Anstatt nur zu raten oder das Modell größer zu machen, erschufen sie ein digitales „evolutionäres Spiel“ namens MOGA-NAS. Betrachten Sie dies als einen Überlebenskampf nach dem Prinzip „Survival of the Fittest“ für Computergehirne.

Die Spielregeln: Zwei Ziele gleichzeitig
In den meisten Spielen versucht man nur, die höchste Punktzahl zu erreichen. In diesem Spiel müssen die Spieler zwei Ziele gleichzeitig jonglieren:

1. Intelligent sein: Die höchstmögliche Punktzahl bei einem medizinischen Test erzielen (gemessen an etwas, das F1-Score genannt wird).
2. Klein sein: So wenige „Teile“ (Parameter) wie möglich verwenden.

Das Paper argumentiert, dass der Versuch, nur ein Ziel zu optimieren (wie etwa nur intelligent zu sein), zu aufgeblähten, ineffizienten Modellen führt. Stattdessen verwendeten sie ein spezielles Schiedsrichtersystem namens NSGA-II. Dieser Schiedsrichter wählt nicht einfach nur einen einzelnen Gewinner aus; er findet eine ganze „Pareto-Front“. Stellen Sie sich ein Menü vor, bei dem Sie ein Modell wählen können, das super intelligent, aber etwas schwer ist, oder eines, das etwas weniger intelligent, aber in Ihre Tasche passt. Das Ziel ist es, Ärzten eine Auswahl an Möglichkeiten zu bieten, damit sie das Modell wählen können, das am besten zu ihrer jeweiligen Hardware passt.

Die Geheimwaffen
Um diese Evolution erfolgreich zu gestalten, erfand das Team drei coole Tricks:

• Die „Neuron-zu-Subnetzwerk“-Mutation: Stellen Sie sich vor, ein einzelner Lego-Stein in Ihrem Roboter entscheidet sich plötzlich dazu, zu einer winzigen, eigenständigen Maschine mit eigenen Zahnrädern heranzuwachsen. Dies ermöglicht es dem Roboter, Komplexität nur dort hinzuzufügen, wo sie wirklich benötigt wird, anstatt das gesamte System größer zu machen.
• Der „Wichtigkeits-Leitfaden“: Anstatt zufällig zu entscheiden, welchen Teil des Roboters man verändert, prüft das System, welche Teile tatsächlich die Hauptarbeit leisten. Es ist wie ein Trainer, der einem Spieler sagt: „Ändere nicht deine Schuhe, sondern deine Lauftechnik“, weil die Schuhe nicht das Problem sind.
• Der „8-Bit-Code“: Sie verwendeten eine sehr kompakte Art, das Design des Roboters aufzuschreiben (ähnlich wie die Verwendung eines kurzen Codes statt eines langen Essays). Das Paper legt nahe, dass dies wie ein „Regularisierer“ wirkt – ein schicker Begriff dafür, dass es den Roboter dazu zwingt, einfach zu bleiben und verhindert, dass er die Testfragen auswendig lernt, anstatt die Lektion zu verstehen.

Die Ergebnisse: Klein, aber oho
Das Team testete diese Methode an fünf verschiedenen medizinischen Datensätzen, die von Herzklat-Datensätzen bis hin zu Brustkrebsdaten reichten. Sie führten das Experiment 15 Mal durch (unter Verwendung von drei verschiedenen Zufallspunkten und fünf verschiedenen Datensplits), um sicherzustellen, dass die Ergebnisse nicht bloß Glück waren.

Dies fanden sie heraus:

• Leistung: Bei vier von fünf Datensätzen erzielten ihre evolvierten Roboter die höchsten Durchschnittswerte. Beim fünften Datensatz (Wisconsin Breast Cancer) übertrafen sie die traditionelle Methode (eine Support Vector Machine) nicht, sondern glichen mit ihr. Das Paper stellt fest, dass der Unterschied bei diesem spezifischen Datensatz so gering war, dass er statistisch nicht unterscheidbar war.
• Größe: Das ist der große Sieg. Die Modelle, die sie fanden, waren winzig – sie enthielten nur etwa 100 bis 480 Parameter. Vergleichen Sie das mit anderen Methoden, die oft Tausende nutzen. Das Paper merkt an, dass dies „eine bis zwei Größenordnungen kleiner“ ist.
• Zuverlässigkeit: Als sie die Mathematik überprüften (unter Verwendung eines statistischen Tests namens gepaarter Wilcoxon-Vorzeichen-Rang-Test), stellten sie fest, dass ihre Methode in 61 von 65 Vergleichen statistisch besser war als die anderen.

Was sie explizit ausschließen
Das Paper ist sehr vorsichtig bei der Aussage, was diese Methode nicht ist.

• Sie ist kein Allheilmittel, das alles löst. Die Autoren stellen explizit klar, dass sie nicht behaupten, eine „neue State-of-the-Art“-Lösung in Bezug auf die reine Leistungsfähigkeit zu sein. Bei einigen Datensätzen war die Verbesserung lediglich ein „statistischer Gleichstand“ und kein massiver Sieg.
• Sie ist nicht kostenlos. Das Paper argumentiert, dass der finale Roboter zwar klein und schnell ist, der Prozess des Erstellens (die Suche) jedoch Zeit benötigt. Die Suche dauert „in der Größenordnung von Minuten pro Fold“ auf einem Standardcomputer, was wesentlich langsamer ist als das Training eines einfachen Modells, das „deutlich unter einer Sekunde“ dauert. Wenn Sie in Eile sind und nicht warten können, bis die Evolution abgeschlossen ist, könnte ein einf-acheres, vorab optimiertes Modell immer noch die bessere Wahl sein.
• Sie ist nicht bewiesen für riesige Datensätze. Das Paper begrenzt seine Ansprüche explizit auf „kleine bis moderate“ Datensätze (der größte hatte etwa 1.151 Instanzen). Die Autoren geben zu, dass sie noch nicht wissen, ob dies auch bei massiven Daten mit Millionen von Datensätzen funktioniert.

Das Fazit
Das Paper legt nahe, dass die Verwendung dieser Multi-Objective-Evolutionärsuche ein „günstiger und reproduzierbarer Kompromiss“ ist. Es bietet eine Möglichkeit, erstklassige medizinische Vorhersagen zu treffen, ohne ein riesiges, unhandliches Modell bauen zu müssen. Es ist wie das Finden eines Schweizer Taschenmessers, das genauso scharf ist wie ein vollwertiges Kochmesser, aber in die Tasche passt.

Die Autoren sind jedoch ehrlich über die Kosten: Man muss im Voraus ein „Suchbudget“ (Zeit und Rechenleistung) investieren, um das perfekte, kompakte Design zu finden. Wenn man die Zeit hat, die Evolution laufen zu lassen, erhält man ein winziges, effizientes Modell. Wenn man eine Antwort sofort benötigt, sind die herkömmlichen Methoden vielleicht immer noch die beste Wahl. Die Studie deutet darauf an, dass dieser Ansatz besonders wertvoll für klinische Umgebungen ist, in denen die Geräte klein oder die Energieversorgung begrenzt sein könnten, bleibt aber eine auf diesen spezifischen Tests basierende Empfehlung und kein universelles Gesetz für alle medizinischen KIs.