Stellen Sie sich eine Welt vor, in der Wissenschaftler „lernende Maschinen“ bauen, die eine Tabelle mit Daten betrachten können – wie etwa eine Liste von Hauspreisen oder medizinischen Aufzeichnungen – und herausfinden können, wie man die Zukunft vorhersagt. Dieses Feld wird AutoML (Automated Machine Learning) genannt. Das Ziel ist es, den Computer tausende verschiedene mathematische Tricks auf eigene Faust ausprobieren zu lassen, um das zu finden, was am besten funktioniert. Normalt werden diese Maschinen in langen, sorgfältigen Marathons getestet, die Stunden dauern, wobei sie streng überwacht werden, um sicherzustellen, dass sie nicht gegen die Regeln verstoßen. Doch in der realen Welt wollen Entwickler oft schnelle Ergebnisse. Sie lassen diese Maschinen nur 30 oder 60 Sekunden lang laufen, um zu sehen, welcher der schnellste Gewinner ist. Es ist wie ein Sprint statt eines Marathons. Das Problem ist: Wenn man so ein kurzes Rennen läuft, ist es sehr leicht, versehentlich die Regeln zu brechen, ohne es überhaupt zu merken, wodurch ein langsamer, tollpatschiger Läufer wie ein Weltrekordbrecher aussieht.

Dieses Paper erzählt die Geschichte eines Forschers, der seine eigene kleine, einfache lernende Maschine namens „Orcetra“ gebaut hat. Er stellte sie in einer Serie von 513 schnellen 60-Sekunden-Rennen gegen zwei berühmte, schwere Schwergewichte (FLAML und AutoGluon) zur Schau. Auf den ersten Blick sahen die Ergebnisse erstaunlich aus: Orcetra gewann mehr als die Hälfte der Rennen und schlug die Giganten mit riesigen Vorsprüngen. Die Zahlen waren so perfekt und die Mathematik so überzeugend, dass es wie ein massiver Durchbruch aussah. Doch die Autoren erkannten, dass sie von ihrem eigenen Experiment getäuscht worden waren. Sie entdeckten, dass Orcetra gar nicht klüger war; es verstieß lediglich auf zwei sehr hinterlistige Arten gegen die Regeln. Erstens spähte es in den „Lösungsschlüssel“ (die Testdaten), während es noch übte, was es ihm ermöglichte, den Gewinner basierend auf Glück statt auf Können auszuwählen. Zweitens ignorierte es die Stoppuhr und lief doppelt so lange wie die anderen Maschinen, während es vorgab, zur gleichen Zeit aufzuhören. Als die Forscher die Regeln korrigierten, das Spähen unterbanden und das Zeitlimit durchsetzten, verschwanden Orcetras „Superkräfte“. Es wandelte sich vom Champion zum Durchschnittlichen, was bewies, dass es in der Welt der schnellen KI-Tests genauso sehr darauf ankommt, wie man das Rennen misst, wie darauf, wie schnell man läuft.

Das Setup: Ein Rennen mit einer kaputten Stoppuhr

Um die Geschichte zu verstehen, schauen wir uns die drei Rennfahrer an. FLAML und AutoGluon sind wie Profisportler, die stundenlang trainieren. Es sind komplexe, leistungsstarke Systeme, die darauf ausgelegt sind, über einen langen Zeitraum die beste Lösung zu finden. Orcetra, das System, das von den Autoren des Papers gebaut wurde, ist der Außenseiter. Es ist ein winziges, einfaches Skript, das aus nur 1.661 Zeilen Code besteht. Es besitzt keine ausgeklügelten Tricks; es probiert einfach eine Reihe von Standard-Mathematikmodellen aus, wählt das beste aus und macht weiter.

Die Forscher richteten einen „Sprint“-Wettbewerb ein. Sie nahmen 513 verschiedene Datensätze (Datensammlungen) und gaben jeder Maschine genau 60 Sekunden Zeit, um die beste Vorhersage zu treffen. In der ersten Runde, unter Anwendung ihrer ursprünglichen Regeln, wirkte Orcetra wie ein Wunder. Es gewann 57,1 % der Rennen gegen die anderen beiden, während die Giganten jeweils nur 21,6 % und 10,9 % gewannen. Gegen nur FLAML in einem 30-Sekunden-Sprint gewann Orcetra in unglaublichen 78,4 % der Fälle. Die Mathematik besagte, dass dies ein gewaltiger, unbestreitbarer Sieg war.

Doch die Autoren vermuteten, dass etwas nicht stimmte. Sie beschlossen, ihr eigenes Experiment zu prüfen und nach den „Geistern“ in der Maschine zu suchen, die diese Scheinsiege verursacht haben könnten.

Der erste Fehler: Das „Späh-Problem“

Der erste große Fehler lag darin, wie Orcetra seinen Gewinner auswählte. Stellen Sie sich einen Schüler vor, der einen Übungstest macht. Ein fairer Schüler lernt, macht den Test und erhält dann eine Note. Aber Orcetra machte etwas anderes. Es machte den Übungstest, schaute sich die Antworten an, machte den Test dann noch einmal, und noch einmal, und noch einmal.

In technischer Hinschrift betrachtete die Maschine jedes Modell, das sie ausprobierte, im Verhältnis zum Test-Split (den Daten, die für die Abschlussprüfung gedacht waren). Sie probierte in diesen 60 Sekunden Dutzende von Modellen aus, prüfte, wie gut sie auf den Testdaten abschnitten, und meldete dann einfach den besten Wert, den sie je gesehen hatte. Dies ist eine klassische Falle, die man Selektionsbias (Selection Bias) nennt.

Denken Sie an das Werfen eines Würfels. Wenn Sie einmal würfeln, erhalten Sie eine Zufallszahl. Aber wenn Sie 50 Mal würfeln und mir nur die höchste Zahl zeigen, die Sie erhalten haben, könnte ich denken, Sie hätten einen magischen Würfel, der immer eine Sechs zeigt. In Wirklichkeit sind Sie nur so oft gewürfelt worden, dass Sie Glück hatten. Da Orcetra so viele Modelle ausprobierte und das „glücklichste“ basierend auf den Testdaten auswählte, wurde sein Wert künstlich aufgebläht. Die anderen Maschinen, FLAML und AutoGluon, waren ehrlich: Sie wählten ihr bestes Modell nur anhand der Trainingsdaten (Übungsdaten) aus und betrachteten die Testdaten erst ganz am Ende.

Der zweite Fehler: Die „Schlupfloch“-Stoppuhr

Der zweite Fehler war sogar noch physischer Natur. Das Experiment hatte die Regel: „Stopp nach 60 Sekunden.“

FLAML und AutoGluon respektierten diese Regel. Wenn sie mitten in einer Berechnung waren, als die Zeit ablief, stoppten sie oder versuchten, schnell abzuschließen. Sie waren diszipliniert. Orcetra hingegen hatte einen Fehler in seiner Logik. Es prüfte die Zeit vor dem Start einer neuen Aufgabe, aber sobald es eine Aufgabe begonnen hatte, war es ihm egal, ob die Zeit ablief. Es ließ eine Berechnung so lange laufen, wie es wollte.

Die Daten zeigten, dass, obwohl das Budget auf 60 Sekunden gesetzt war, Orcetra im Median tatsächlich 120 Sekunden lief – doppelt so lange wie das Limit! Tatsächlich überschritt es das Zeitlimit bei 78 % der Datensätze. Währenddessen blieben die anderen Maschinen nahe an der 60-Sekunden-Marke. Es ist wie bei einem Rennen, bei dem die anderen Läufer an der Ziellinie stehen bleiben, aber Orcetra noch eine weitere Runde läuft und sich so viel mehr Zeit hat, das Problem zu lösen. Das Label „60 Sekunden“ war für Orcetra nur ein Vorschlag, keine Regel.

Der dritte Fehler: Die „zusammengesetzten“ Ergebnisse

Es gab noch ein drittes, kleineres Problem, das den Autoren beim Schreiben des Papers auffiel. Die Forscher hatten später ein zweites Experiment durchgeführt, aber sie hatten versehentlich die Ergebnisse des ersten Durchlaufs mit denen des zweiten Durchlaufs vermischt, als sie die Siege zählten. Dieses „Zusammensetzen“ (Splicing) ließ Orcetra noch besser aussehen, als es war, und trieb seine Gewinnrate in einigen Zählungen auf 61,2 %. Als sie die Durchläufe trennten, sanken die Zahlen wieder ab. Dies war ein einfacher menschlicher Fehler, aber er zeigte, wie leicht Ergebnisse verzerrt werden können, wenn man nicht vorsichtig mit seinen Dateien umgeht.

Die große Korrektur: Das Rennen fair führen

Um die Wahrheit zu finden, führten die Autoren das gesamte Experiment mit einem neuen, strengen Protokoll erneut durch. Sie behoben die drei Probleme:

1. Kein Spähen mehr: Orcetra musste sein bestes Modell unter Verwendung eines „Validierungs-Sets“ (einer Übungsprüfung) auswählen und durfte den „Test-Split“ (die Abschlussprüfung) erst ein einziges Mal ganz am Ende betrachten, genau wie die anderen Maschinen.
2. Strikte Zeitlimits: Sie nutzten einen externen Timer, um den Prozess zu stoppen, falls er über 60 Sekunden hinausging, um sicherzustellen, dass niemand zusätzliche Zeit erhielt.
3. Gerechte Ressourcen: Sie stellst sicher, dass alle Maschinen exakt die gleiche Rechenleistung erhielten, damit niemand nur deshalb schneller war, weil er mehr Kerne zur Verfügung hatte.

Das Ergebnis: Die Magie verschwindet

Als sie das Rennen fair austrugen, verschwand das „Wunder“.

• Ursprüngliche (Regelverletzende) Gewinnrate: Orcetra gewann 59,4 % des neu durchgeführten Teilbereichs.
• Korrigierte (Faire) Gewinnrate: Orcetras Gewinnrate stürzte auf 34,3 % ab.

Im fairen Rennen war Orcetra nicht länger der Überlegene gegenüber den Giganten. Es gewann 34,3 % der Zeit, während FLAML 28,0 % und AutoGluon 27,3 % gewannen. Der Unterschied war so gering, dass er leicht auf reinem Zufall beruhen konnte. Die statistische „Signifikanz“, die das ursprüngliche Ergebnis wie eine massive Entdeckung aussehen ließ, verschwand völlig. Die p-Werte (ein Maß dafür, wie wahrscheinlich ein Ergebnis durch Glück zustande kommt) gingen von astronomisch klein (wie 9,5 × 10⁻⁴⁶) zu völlig unbedeutend (wie 0,39) über, was im Grunde einem Münzwurf entspricht.

Was haben wir gelernt?

Das Paper kommt zu dem Schluss, dass der „Sieg“ eine Illusion war, die durch zwei Hauptfaktoren erzeugt wurde:

1. Spähen (Selektionsbias): Dies war für etwa 4,8 Prozentpunkte der Gewinnrate verantwortlich. Es war real, aber geringfügig.
2. Extratzeit (Rechenleistung): Dies war der entscheidende Faktor. Da Orcetra doppelt so lange lief wie die anderen, konnte es mehr Modelle ausprobieren. Dieser unfaire Vorteil erklärte den Rest der massiven Gewinnrate.

Die Autoren maßen auch genau, wie sehr „Spähen“ hilft. Sie fanden heraus, dass Spähen zwar einen leichten Boost gibt, dieser aber nicht so riesig ist, wie einige mathematische Theorien vorhersagten. Da alle Modelle auf denselben Daten getestet wurden, hob sich das „Glück“ weitgehend auf. Der Boost betrug etwa 0,27 Genauigkeitspunkte, was im Vergleich zu den ursprünglich beobachteten massiven Abständen winzig war.

Das Fazit für alle

Diese Geschichte handelt nicht nur über einen einzelnen Codeabschnitt; sie ist eine Warnung für jeden, der schnelle KI-Tools vergleicht. Wenn Sie einen 60-Sekunden-Test durchführen, müssen Sie extrem vorsichtig sein.

• Lassen Sie die Testdaten nicht spähen: Stellen Sie sicher, dass die Maschine ihren Gewinner wählt, bevor sie die endgültigen Antworten sieht.
• Setzen Sie das Zeitlimit strikt durch: Wenn Sie 60 Sekunden sagen, stellen Sie sicher, dass sie auch nach 60 Sekunden stoppt.
• Prüfen Sie die Uhr: Berichten Sie immer, wie lange die Maschine tatsächlich gelaufen ist, nicht nur, wie lange Sie sie laufen lassen wollten.

Das Paper endet mit einer Checkliste für jeden, der solche schnellen Vergleiche anstellt. Es legt nahe: Wenn Sie ein System sehen, das in kurzer Zeit mit einem riesigen Vorsprung gewinnt, ist es wahrscheinlich nicht deshalb so, weil es klüger ist – sondern wahrscheinlich, weil es gegen die Regeln verstoßen hat. Der „Gewinner“ des ursprünglichen Rennens war kein Genie; er war nur ein Läufer, der das Pfeifen des Schiedsrichters ignorierte.