OpenDeepThink: Parallel Reasoning via Bradley--Terry Aggregation
OpenDeepThink ist ein populationsbasiertes Framework für die Berechnung zur Laufzeit, das das Schlussfolgern von LLMs verbessert, indem es paarweise Bradley-Terry-Vergleiche aggregiert, um Kandidatenlösungen auszuwählen, zu mutieren und weiterzuentwickeln, wodurch auf objektiven Benchmarks wie Codeforces signifikante Leistungssteigerungen erzielt werden, ohne dass eine Nachjustierung des Modells erforderlich ist.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, ein sehr schwieriges Rätsel zu lösen, wie etwa ein komplexes mathematisches Problem oder eine knifflige Programmieraufgabe. Normalerweise versucht eine KI, wenn Sie sie bitten, es zu lösen, das Problem in einer einzigen, langen, geraden Linie durchzudenken. Wenn sie früh einen kleinen Fehler macht, bricht die gesamte Antwort zusammen, und sie muss von vorne beginnen.
Die Arbeit stellt eine neue Methode namens OpenDeepThink vor. Anstatt die KI zu bitten, in einer einzigen Linie zu denken, fordert diese Methode die KI auf, in einer Menge zu denken.
Hier ist die Funktionsweise, in einfachen Schritten mit Analogien aufgeschlüsselt:
1. Die „Brainstorming-Party" (Paralleles Sampling)
Anstatt die KI nach einer einzigen Antwort zu fragen, fordert OpenDeepThink sie auf, 20 verschiedene Antworten gleichzeitig zu generieren.
- Analogie: Stellen Sie sich vor, Sie sind ein Lehrer, der 20 Schüler bittet, ein mathematisches Problem zu lösen. Sie warten nicht nur auf das klügste Kind; Sie lassen alle sofort ihre Lösung aufschreiben. Einige werden brillant sein, einige werden okay sein, und einige werden völlig falsch liegen.
2. Das „Turnier" (Paarweiser Vergleich)
Jetzt haben Sie 20 Lösungen, aber wie wählen Sie die beste aus? Normalerweise würden Sie die KI fragen: „Ist diese Antwort gut?" Doch die Arbeit besagt, dass die KI schlecht darin ist, ihre eigene Arbeit im Vakuum zu beurteilen (sie neigt dazu, übermäßig selbstbewusst oder voreingenommen zu sein).
- Die Lösung: Anstatt zu fragen „Ist das gut?", wird die KI aufgefordert, zwei Antworten nebeneinander zu vergleichen. „Welche ist besser, Lösung A oder Lösung B, und warum?"
- Die Analogie: Denken Sie an ein Sportturnier. Es ist schwer zu sagen, wer der „beste Spieler der Welt" ist, nur indem man sie betrachtet. Aber wenn Sie Spieler A gegen Spieler B in einem Match antreten lassen, ist es viel einfacher zu sehen, wer gewinnt. Die KI fungiert als Schiedsrichter, beobachtet, wie Paare von Lösungen gegeneinander antreten, und erklärt für jedes Paar einen Sieger.
3. Die „Tafel" (Bradley–Terry-Aggregation)
Nachdem die KI viele Paare verglichen hat, zählt sie nicht einfach nur Siege. Sie verwendet eine spezielle mathematische Formel (genannt Bradley–Terry), um ein globales Ranking zu erstellen.
- Die Analogie: Stellen Sie sich eine Ligatabelle im Fußball vor. Wenn Team A Team B schlägt und Team B Team C schlägt, weiß die Mathematik, dass Team A wahrscheinlich stärker ist als Team C, selbst wenn sie noch nicht gegeneinander gespielt haben. Dies erstellt eine zuverlässige „Bestenliste" der 20 Lösungen.
4. Die „Evolution" (Mutation und Selektion)
Hier passiert die Magie. Das System wählt nicht nur den Gewinner und stoppt. Es entwickelt die Lösungen über mehrere Runden (Generationen) weiter.
- Die unteren 25 % (Die Verlierer): Die schlechtesten Lösungen werden in den Müll geworfen.
- Die oberen 25 % (Die Eliten): Die besten Lösungen werden sicher aufbewahrt, erhalten aber auch die Chance, sich zu verbessern.
- Die mittleren 75 % (Die Mutatoren): Die KI nimmt die „Kritiken" (die Gründe, warum eine Lösung die andere geschlagen hat) und nutzt sie, um die Lösungen umzuschreiben.
- Die Analogie: Stellen Sie sich einen Trainer vor, der mit den Spielern spricht. Anstatt nur zu sagen „Sie haben sich gut geschlagen", sagt der Trainer: „Sie haben verloren, weil Ihre Laufgeschwindigkeit zu langsam war." Die Spieler nutzen dieses spezifische Feedback, um ihre Strategie zu ändern. Die KI könnte eine Lösung komplett neu schreiben, wenn das Feedback einen völlig neuen Ansatz erfordert.
5. Das „Finale Duell"
Nach einigen Runden dieser „Turnier- und Trainings"-Schleife führt das System einen letzten, sehr detaillierten Vergleich der verbleibenden Top-Lösungen durch, um die beste einzelne Antwort zur Einreichung auszuwählen.
Warum ist das eine große Sache?
- Kein „Spickzettel" erforderlich: Normalerweise benötigen Sie, um zu wissen, ob eine KI richtig liegt, einen Menschen oder ein Computerprogramm, das die Antwort überprüft (ein „Verifizierer"). OpenDeepThink braucht das nicht. Es ermittelt die beste Antwort allein dadurch, dass die KI sich mit sich selbst vergleicht.
- Besser bei schwierigen Problemen: Die Arbeit testete dies an sehr schwierigen Programmieraufgaben (wie sie im Wettkampfprogrammieren vorkommen). Sie stellten fest, dass diese Methode eine KI der Spitzenklasse (Gemini 3.1 Pro) so performen ließ, als wäre sie ein viel höherstufiger Experte, und ihre „Fähigkeitsbewertung" um über 400 Punkte steigerte.
- Es kennt seine Grenzen: Die Methode funktioniert großartig bei Themen mit klaren richtigen/falschen Antworten (wie Mathematik oder Programmieren). Bei subjektiven Themen (wie dem Verfassen eines Essays oder der Diskussion von Geschichte) wird sie jedoch manchmal schlechter. Das liegt daran, dass das Vergleichen von „Meinungen" schwieriger ist als das Vergleichen von „Fakten". Wenn der Schiedsrichter (die KI) nicht den Unterschied zwischen einer guten und einer schlechten Meinung erkennen kann, gerät das gesamte System in Verwirrung.
Die Kosten
Der Kompromiss ist Geschwindigkeit und Kosten. Da die KI 20 Antworten generieren, sie paarweise vergleichen und sie mehrmals umschreiben muss, benötigt sie viel Rechenleistung und Zeit (in ihrem Test etwa 27 Minuten pro Problem). Es ist, als würde man ein ganzes Team von Experten und ein Gremium von Richtern einstellen, um ein Problem zu lösen, anstatt nur eine Person zu fragen.
Kurz gesagt: OpenDeepThink verwandelt das KI-Reasoning von einem „Solo-Sprint" in ein „Team-Turnier". Indem die KI gegen sich selbst antritt und durch Vergleich aus ihren eigenen Fehlern lernt, löst sie schwierige Probleme viel besser, als sie es allein könnte.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.