What composition selection buys in heterogeneous ensembles, and why oracle bounds overstate it

In der Welt des maschinellen Lernens, in der Computer lernen, Muster zu erkennen und Vorhersagen zu treffen, gibt es eine gängige Strategie namens Ensemble-Learning. Stellen Sie sich ein Team von Experten vor, die versuchen, ein schwieriges Rätsel zu lösen. Anstatt sich auf einen einzelnen Spezialisten zu verlassen, kombiniert das Team die Antworten vieler verschiedener Individuen, um zu einem genaueren Schluss zu gelangen. Dieser Ansatz funktioniert deshalb, weil die Fehler einer Person oft durch die Weisheit der Gruppe korrigiert werden. Manchmal bestehen diese Teams aus Mitgliedern, die alle dieselbe Methode des Denkens verwenden, wie etwa eine Gruppe von Statistikern. Andere Male ist das Team gemischt und bringt Experten zusammen, die völlig unterschiedliche Werkzeuge und Ansätze nutzen. Diese Mischung aus verschiedenen Methoden wird als heterogenes Ensemble bezeichnet. Die zentrale Frage für Forscher war lange Zeit, wie man ein solches Team am besten aufbaut, wenn die Ressourcen begrenzt sind. Wenn Sie ein Budget haben, um dreihundert Computermodelle zu trainieren, wie viele sollten Sie für den ersten Typ von Experten aufwenden, wie viele für den zweiten, wie viele für den dritten? Das Finden der perfekten Balance scheint ein logischer Weg zu sein, um zusätzliche Leistung herauszukitzeln, und viele Forscher haben Jahre damit verbracht, komplexe Algorithmen zu entwickeln, um nach dieser idealen Mischung zu suchen.

Eine neue Studie von Muhammetalp Erdem von der Trabzon University stellt genau diese Prämisse der Suche infrage. Der Forscher setzte sich zum Ziel zu testen, ob sich der Aufwand, der in die Jagd nach dem perfekten Verhältnis verschiedener Modelltypen gesteckt wird, tatsächlich in einem realen Nutzen niederschlägt. Um dies zu tun, baute er ein massives Experiment mit dreißig verschiedenen öffentlichen Datensätzen auf, die von medizinischen Aufzeichnungen bis hin zu Finanzdaten reichten, und führte die Tests zehnmal auf jedem Datensatz durch, um sicherzustellen, dass die Ergebnisse kein Zufall waren. Er legte die Gesamtzahl der Computermodelle auf dreihundert fest und verteilte sie auf drei verschiedene Familien von Lernalgorithmen: Random Forests, Extremely Randomized Trees und Bagged Nearest Neighbors. Dies sind Standardwerkzeuge, die im Fachbereich gut bekannt sind. Die Studie verglich sechs verschiedene Wege, die Aufteilung der dreihundert Modelle zu entscheiden. Einige Methoden nutzten eine einfache, feste Regel, während andere komplexe Suchverfahren einsetzten, um die beste Kombination basierend auf ihrer Leistung auf einem Testdatensatz zu finden.

Die Ergebnisse waren eindeutig und überraschend. Die Studie bestätigte, dass ein Team mit einer festen, gleichen Mischung aller drei Modelltypen schlechter abschnitt als jede Methode, die versuchte, eine spezifische Mischung zu wählen. Im Durchschnitt verbesserte der bloße Versuch, eine Mischung auszuwählen, die Genauigkeit um fast sieben Zehntel eines Prozentpunkts im Vergleich zu einer zufälligen, gleichmäßigen Aufteilung. Dies bewies, dass die Zusammensetzung des Teams tatsächlich eine Rolle spielt. Die Suche nach der perfekten Zusammensetzung erwies sich jedoch als Sackgasse. Keine der anspruchsvollen Suchmethoden, einschließlich derer, die versuchten, Fehler zu glätten oder viele verschiedene Vermutungen zu mitteln, konnte eine viel einfachere Strategie schlagen: die beste Modellfamilie auszuwählen und das gesamte Budget nur für diesen einen Typ zu verwenden. Tatsächlich schnitten die komplexesten Suchmethoden statistisch gesehen genauso gut ab wie die einfache Wahl der besten einzelnen Familie. Die Forscher fanden heraus, dass der zusätzliche Aufwand zur Ermittlung einer Mischung verschiedener Modelle keinen messbaren Gewinn an Genauigkeit brachte.

Das Paper geht weiter und erklärt, warum dies der Fall ist, indem es aufzeigt, dass das wahrgenommene Verbesserungspotenzial weitgehend eine Illusion war, die durch die Art und Weise entsteht, wie Forscher den Erfolg messen. In vielen Studien wird das „bestmögliche“ Ergebnis berechnet, indem man alle Kandidaten-Mischungen betrachtet und diejenige auswählt, die auf den Testdaten am höchsten punktete. Dies wird oft als „Oracle Bound“ bezeichnet, eine theoretische Obergrenze, die reale Methoden anstreben sollten. Erdem zeigte, dass diese Decke künstlich hoch angesetzt ist. Da die verschiedenen Mischungen der Modelle sich so ähnlich sind – sie unterscheiden sich nur um wenige Modelle unter Hunderten –, sind ihre Leistungswerte hoch korreliert und verrauscht. Wenn man den Maximalwert aus einer großen Gruppe verrauschter, ähnlicher Schätzungen wählt, ist man fast garantiert dabei, eine Zahl zu wählen, die höher ist als das wahre Potenzial. Die Studie führte eine ehrlichere Methode zur Messung dieses Potenzials ein, indem sie die Testdaten in zwei Hälften aufteilte: Eine Hälfte wurde zur Auswahl der besten Mischung verwendet und die andere Hälfte, um zu sehen, wie diese tatsächlich abschneidet. Als dieser fairere Test angewendet wurde, verschwand der vermeintliche „Spielraum“ für Verbesserungen vollständig. Der scheinbare Vorteil des Findens einer perfekten Mischung entpuppte sich als reiner Selection Bias, ein statistisches Artefakt statt einer realen Chance.

Die Studie untersuchte auch, ob das Hinzufügen von mehr Diversität zum Team das Ergebnis ändern würde. Die Forscher fügten einen vierten Typ von Modell hinzu, eine lineare Familie, um zu sehen, ob eine vielfältigere Gruppe die Suche nach einer Mischung lohnenswerter machen würde. Selbst mit dieser zusätzlichen Diversität blieben die Ergebnisse stabil. Obwohl die potenziellen Unterschiede zwischen den Mischungen etwas größer wurden, konnten die komplexen Suchmethoden die einfache Strategie, die einzige beste Modellfamilie zu wählen, nicht schlagen. Tatsächlich wuchs mit der Anzahl der möglichen Mischungen der scheinbare Vorteil der Suche nach einer perfellen Mischung zwar an, aber der ehrliche, reale Vorteil blieb negativ. Dies bestätigte, dass das Problem nicht ein Mangel an Diversität der Modelle war, sondern die grundlegende Schwierigkeit, zwischen sehr ähnlichen Optionen bei verrauschten Daten zu unterscheiden. Die Leistungslandschaft ist kein scharfer Gipfel, an dem eine spezifische Mischung deutlich hervorsticht; sie ist ein breites, flaches Plateau, auf dem viele verschiedene Mischungen fast identisch abschneiden und die winzigen Unterschiede zwischen ihnen leicht im Rauschen der Daten untergehen.

Für jeden, der diese Computermodelle baut, ist der praktische Rat eindeutig. Verschwenden Sie keine Zeit oder Ingenieursleistung damit, das perfekte Verhältnis verschiedener Modelltypen zu berechnen. Wählen Sie statattdessen die eine beste Modellfamilie und nutzen Sie Ihr gesamtes Budget, um ein großes Team nur dieser einen Art aufzubauen. Die einzige Entscheidung, die wirklich zählt, ist die Vermeidung einer Standard-Gleichverteilung aller Typen, welche zuverlässig die schlechteste Option ist. Die Studie legt nahe, dass das Feld des Ensemble-Learnings einem Phantom nachgejagt ist. Die Überzeugung, dass eine komplexe Suche nach der idealen Zusammensetzung notwendig ist, basiert auf einem Messfehler, der die potenziellen Gewinne überbewertet. Durch die Verwendung einer strengeren Testmethode zeigt die Forschung, dass das Signal einer besseren Mischung oft zu schwach ist, um über dem Rauschen der Daten gefunden zu werden. Der effektivste Weg nach vorne besteht nicht darin, nach einer komplexen Kombination zu suchen, sondern das stärkste Einzelwerkzeug auszuwählen und es voll auszuschöpfen.