Model Capability Dominates: Inference-Time Optimization Lessons from AIMO 3

Die große Entdeckung: Der stärkste Spieler gewinnt, nicht die beste Taktik

Stellen Sie sich vor, Sie haben eine Gruppe von Genies, die versuchen, die schwierigsten Mathematik-Aufgaben der Welt zu lösen (wie bei einer Olympiade). Die Forscher haben eine spannende Frage untersucht: Ist es besser, viele Genies mit unterschiedlichen Denkweisen zu haben, oder einen einzigen Super-Genie, der einfach sehr gut ist?

Die Antwort des Papers ist überraschend klar: Der Super-Genie gewinnt immer.

Hier ist die Geschichte dahinter, erklärt mit ein paar einfachen Bildern:

1. Das Problem: Wenn alle Genies denselben Fehler machen

Normalerweise denkt man: "Wenn ich 8 Genies habe, die alle dasselbe Problem lösen, und wir nehmen die Antwort, die die meisten von ihnen geben, dann müssen wir richtig liegen!" Das nennt man "Mehrheitsabstimmung".

Aber es gibt ein Problem: Alle Genies lernen oft auf die gleiche Weise. Wenn sie alle denselben Lehrer hatten, machen sie oft denselben Fehler, auch wenn sie zufällig unterschiedliche Antworten geben. Es ist wie bei einer Gruppe von Freunden, die alle denselben Film gesehen haben: Wenn sie alle denselben Fehler im Film bemerken, hilft es nicht, sie zu fragen, ob sie sich einig sind. Sie sind sich alle falsch einig.

2. Der Versuch: "Der Mix aus verschiedenen Denkweisen"

Die Forscher dachten sich einen cleveren Trick aus: Der "Diverse Prompt Mixer".
Stellen Sie sich vor, Sie schicken Ihre 8 Genies nicht alle mit derselben Anweisung los.

• Genie A soll: "Zuerst kleine Beispiele durchgehen."
• Genie B soll: "Rückwärts vom Ergebnis her denken."
• Genie C soll: "Zuerst den Code schreiben."

Die Idee war: Wenn sie unterschiedliche Wege gehen, machen sie auch unterschiedliche Fehler. Dann ist die Mehrheitsentscheidung viel sicherer.

3. Das Ergebnis: Der Plan scheiterte

Das Paper zeigt, dass dieser Plan nicht funktioniert hat. Warum?

• Der Zufall ist schon stark genug: Die Genies (die KI-Modelle) waren so eingestellt, dass sie von Natur aus schon ein bisschen "verrückt" oder kreativ dachten (hohe Temperatur). Sie hatten also schon genug unterschiedliche Wege im Kopf, ohne dass man ihnen neue Anweisungen geben musste.
• Die neuen Wege waren schwächer: Als man den Genies neue, spezielle Anweisungen gab (wie "Denke rückwärts"), wurden sie plötzlich schlechter im eigentlichen Rechnen. Es war, als würde man einem Weltklasse-Schachspieler sagen: "Versuche heute, nur mit den Bauern zu spielen." Er wird zwar einen anderen Weg gehen, aber er wird das Spiel verlieren.
• Die Fehler waren schon unkorreliert: Die Forscher haben gemessen, dass die Fehler der Genies ohnehin schon zufällig verteilt waren. Es gab keinen "Fehler-Verbund", den man aufbrechen musste.

4. Die wahre Lektion: Größe zählt mehr als Tricks

Der wichtigste Satz des Papers ist: Die Fähigkeit des Modells ist alles.

Stellen Sie sich vor, Sie haben zwei Teams:

1. Team A: Ein einziger, riesiger, extrem intelligenter Roboter (das Modell "gpt-oss-120b").
2. Team B: Drei kleinere, weniger intelligente Roboter, die aber alle versuchen, mit den cleversten Tricks der Welt zu arbeiten.

Das Paper zeigt: Team A gewinnt mit einem riesigen Vorsprung.
Selbst wenn Team B alle möglichen Tricks anwendet (andere Denkweisen, verschiedene Temperaturen, Code-Generierung), können sie den Vorsprung von Team A nicht aufholen. Der Unterschied in der Intelligenz ist so groß (wie ein Riese gegenüber einem Kind), dass keine Taktik das ausgleichen kann.

5. Was bedeutet das für uns?

Wenn Sie versuchen, eine KI für schwierige Aufgaben zu nutzen:

• Hören Sie auf, nach perfekten Tricks zu suchen. Das "Prompt-Engineering" (das Schreiben von perfekten Anweisungen) bringt kaum noch einen Vorteil, wenn das Modell schon gut eingestellt ist.
• Nehmen Sie das größte Modell, das Sie bekommen können. Ein stärkeres Gehirn ist besser als ein schwächeres Gehirn mit vielen Tricks.
• Wetten Sie auf Glück, nicht auf Strategie. Da die Tricks nicht funktionieren, ist die beste Strategie, das gleiche starke Modell einfach oft genug laufen zu lassen (wie beim Lotto), um zu hoffen, dass es einmal die perfekte Lösung findet.

Zusammenfassung in einem Satz

Ein einzelner, sehr starker Denker ist besser als eine Gruppe von schwächeren Denkern, die versuchen, durch unterschiedliche Taktiken klüger zu wirken. Die Intelligenz des Modells ist der König, und alle anderen Tricks sind nur Diener, die ihm nicht helfen können, ihn zu besiegen.