Stellen Sie sich vor, Sie sind der Chefrichter eines riesigen, hochkarätigen Kochwettbewerbs. Sie haben zwanzig unglaubliche Köche, aber Sie haben nur Zeit und Geld, um eine begrenzte Anzahl von Gerichten zu probieren. In den alten Tagen war die Standardmethode, diesen Wettbewerb durchzuführen, jeden einzelnen Koch jedes einzelne Gericht auf der Speisekarte kochen zu lassen, dann aber jedes einzelne Teller von jedem Koch zu probieren. Das war zwar fair, aber es war auch unglaublich langsam und teuer. Bis Sie das letzte Gericht vom zweiundzwanzigsten Koch probiert hatten, hatten Sie vielleicht schon das Geld ausgegeben und stünden immer noch vor der Frage, welcher der drei besten Köche tatsächlich der Beste war, weil Sie zu viel Zeit mit dem Probieren der Gerichte der Köche verschwendet hatten, die offensichtlich nicht gewinnen würden.

Dies ist genau das Problem, vor dem die Welt der Künstlichen Intelligenz gerade steht. Wissenschaftler bauen jedes Jahr Dutzende neuer KI-Modelle, aber sie alle gründlich zu testen, ist so, als würde man versuchen, jedes Gericht von jedem Koch zu probieren. Es kostet ein Vermögen an menschlicher Zeit und Rechenleistung. Das Papier, das Sie gleich lesen werden, befasst sich mit diesem „Verkostungsbudget“-Problem. Es schlägt einen klügeren Weg des Bewertens vor: Anstatt alles von jedem zu probieren, sollten wir von jedem ein wenig probieren, um einen groben Eindruck zu bekommen, und dann all unsere verbleibende Energie in das Probieren der Gerichte der Köche stecken, die so aussehen, als würden sie gewinnen. Auf diese Weise finden wir den wahren Champion schneller, günstiger und mit größerer Zuversicht, ohne Ressourcen für die Köche zu verschwenden, die offensichtlich verlieren.

Der große KI-Geschmackstest: Ein neuer Weg, den Gewinner zu küren

Wie entscheidet man also, welches KI-Modell das beste ist, wenn man über ein begrenztes Budget verfügt? Die Autoren dieses Papiers, ein Team von Forschern von Orten wie der ETH Zürich und Microsoft, entschieden sich, das Problem wie ein Spiel mit Spielautomaten zu behandeln, oder wie die Mathematiker sagen: wie ein „Multi-Armed Bandit“.

Stellen Sie sich eine Reihe von Spielautomaten (die „Arme“) vor. Jede Maschine repräsentiert ein anderes KI-Modell. Sie haben eine feste Anzahl von Münzen (Ihr „Budget“) zum Spielen. Ihr Ziel ist es nicht, insgesamt das meiste Geld zu gewinnen; Ihr Ziel ist es, mit höchster Sicherheit herauszufinden, welche Maschine die beste ist. In der traditionellen Art und Weise würde man jeden Hebel genau gleich oft ziehen. Sie würden Maschine A zehnmal spielen, Maschine B zehnmal und so weiter. Aber hier ist der Haken: Wenn Maschine A bei den ersten paar Zügen große Gewinne ausschüttet und Maschine B Ihnen immer wieder nichts liefert, verschwenden Sie trotzdem Ihre Münzen an Maschine B, nur um „fair“ zu sein.

Die Autoren schlagen einen dynamischen Ansatz vor. Anstatt jeden Hebel gleich oft zu ziehen, beginnen Sie damit, jeden Hebel ein paar Mal zu ziehen, um ein Gefühl für die Maschinen zu bekommen. Dann beginnen Sie, Ihre Münzen auf die Maschinen zu konzentrieren, die anscheinend am meisten auszahlen. Wenn eine Maschine wie ein Verlierer aussieht, hören Sie auf, sie zu spielen. Wenn eine Maschine wie ein Gewinner aussieht, spielen Sie weiter, um sicherzugehen, dass sie wirklich die Beste ist.

Die „Bandit“-Strategie in Aktion

Das Papier stellt einige clevere Wege vor, um zu entscheiden, welche „Maschine“ (KI-Modell) als Nächstes getestet werden soll. Eine ihrer Lieblingsstrategien wird Weighted Sampling (gewichtete Stichprobenziehung) genannt. Denken Sie an das wie an einen Popularitätswettbewerb, bei dem das populärere Modell mit höherer Wahrscheinlichkeit eine weitere Chance bekommt. Aber es geht nicht nur darum, wer derzeit gewinnt; es geht darum, wer wahrscheinlich der Gewinner sein wird.

Sie haben mathematisch bewiesen, dass man, wenn man wirklich sicher bei den Top-Rankings sein will, nicht einfach den aktuellen Spitzenreiter wählen sollte. Stattdessen sollten Sie Modelle basierend auf einer spezifischen Formel auswählen: Die Wahrscheinlichkeit, ein Modell auszuwählen, sollte mit der Quadratwurzel der Wichtigkeit seines Rangs zusammenhängen. Auf einfache Deutsch ausgedrückt bedeutet dies, dass Sie sich stark auf die Top-Kandidaten konzentrieren, aber die anderen nicht völlig ignorieren. Sie prüfen sie gerade so oft, dass sichergestellt ist, dass sie nicht heimlich besser geworden sind.

Sie haben auch eine Methode namens Confusion Minimization (Minimierung der Verwirrung) ausprobiert. Stellen Sie sich vor, Sie müssen sich zwischen zwei Läufern entscheiden, die Kopf an Kopf liegen. Sie müssen denjenigen, der bereits meilenweit führt, nicht genauer stoppen; Sie müssen mehr Rennen zwischen den beiden führen, die um den ersten Platz kämpfen, um zu sehen, wer tatsächlich gewinnt. Dieser Algorithmus schaut sich die Modelle an, die in der Punktzahl am nächsten beieinander liegen, und fragt: „Welchen dieser beiden muss ich mehr testen, um nicht mehr verwirrt zu sein?“ Und leitet das Budget dann dorthin.

Was sie fanden (und was sie nicht fanden)

Die Forscher testeten diese Ideen anhand von Daten aus realen Übersetzungswettbewerben (bei denen KI versucht, Texte zwischen Sprachen zu übersetzen). Sie simulierten den Prozess, ein Budget für diese Tests auszuge-geben.

Hier sind die großen Neuigkeiten: Sie fanden heraus, dass sie dieselbe genaue Rangliste der Top-Modelle mit nur 40 % des Budgets erstellen konnten.

In ihren Simulationen konnten sie unter Verwendung ihrer neuen dynamischen Methode die Reihenfolge der Top-Drei-Modelle aus zwanzig mit einer Sicherheit von 95 % zuverlässig bestimmen – und das mit weniger als der Hälfte des Geldes und der Zeit, die es normalerweise dauert. Die traditionelle „faire“ Methode, bei der jeder die gleiche Anzahl an Tests erhält, verschwendete eine enorme Menge an Aufwand für Modelle, die offensichtlich nicht die besten waren.

Es gibt jedoch einige wichtige Einschränkungen zu beachten. Das Papier sagt nicht, dass diese Methode in jeder Situation perfekt funktioniert.

• Es ist eine Simulation: Die Ergebnisse stammen aus Computersimulationen unter Verwendung bestehender Daten. Sie haben noch keinen brandneuen, Echtzeit-Wettbewerb von Grund auf mit dieser Methode durchgeführt (obwohl sie das planen).
• Es ist keine Magie: Die Methode funktioniert am besten, wenn es Ihnen darum geht, die Top-Modelle zu finden. Wenn es Ihnen wichtig ist, jedes einzelne Modell mit gleicher Präzision von der besten zur schlechtesten zu ranken, ist diese Methode vielleicht nicht die beste Wahl. Sie ist darauf ausgelegt, effizient für das Finden der Gewinner zu sein, nicht um eine perfekte Liste von allen anderen zu erstellen.
• Es braucht ein Aufwärmprogramm: Sie können nicht einfach direkt zu den Favoriten springen. Der Algorithmus muss jedes Modell zuerst ein paar Mal testen (eine „Warmup“-Phase), um eine Basis zu erhalten. Wenn Sie diesen Schritt überspringen, könnten Sie versehentlich einen langsamen Starter ignorieren, der ein Gewinner hätte sein können.

Warum das wichtig ist

Dieser Ansatz ist wie eine intelligente Einkaufsliste. Anstatt jeden Artikel im Supermarkt zu kaufen, um zu sehen, welcher am besten schmeckt, kaufen Sie eine kleine Probe von allem, probieren sie und gehen dann zurück, um drei Säcke von dem zu kaufen, der fantastisch geschmeckt hat. Sie sparen Geld und erhalten dennoch das beste Produkt.

Für die Welt der KI bedeutet dies, dass wir aufhören können, Millionen von Dollar und unzählige Arbeitsstunden damit zu verschwenden, Modelle zu testen, von denen wir bereits wissen, dass sie schlecht sind. Wir können unsere Energie auf die Modelle konzentrieren, die tatsächlich um den Titel „Beste KI“ konkurrieren. Dies macht den Prozess der Verbesserung von KI schneller, günstiger und fokussierter auf das, was wirklich zählt: das Finden der besten Werkzeuge für die Aufgabe.

Die Autoren schlagen sogar vor, dass dies auch in anderen Bereichen eingesetzt werden könnte, wie etwa bei der Auswahl der besten Konfiguration für eine neue KI während ihrer Entwicklung oder sogar in turnierähnlichen Wettbewerben, in denen Modelle gegeneinander antreten. Aber für den Moment ist die Hauptbotschaft einfach: Hören Sie auf, alle KI-Modelle gleich zu behandeln. Schenken Sie den Gewinnern mehr Aufmerksamkeit, und Sie werden die wahren Champions viel früher finden.