💻 computer science

OpenDeepThink: Parallel Reasoning via Bradley--Terry Aggregation

OpenDeepThink is een op populatie gebaseerd compute-framework voor de testfase dat de redeneercapaciteit van LLM's verbetert door het aggregeren van paarwijze Bradley-Terry-vergelijkingen om kandidaatoplossingen te selecteren, muteren en evolueren, wat aanzienlijke prestatiewinst oplevert op objectieve benchmarks zoals Codeforces zonder dat modelherafstemming vereist is.

Oorspronkelijke auteurs: Shang Zhou, Wenhao Chai, Kaiyuan Liu, Huanzhi Mao, Qiuyang Mang, Jingbo Shang

Gepubliceerd 2026-05-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shang Zhou, Wenhao Chai, Kaiyuan Liu, Huanzhi Mao, Qiuyang Mang, Jingbo Shang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer moeilijk raadsel probeert op te lossen, zoals een complex wiskundeprobleem of een lastige programmeeruitdaging. Normaal gesproken, wanneer je een AI vraagt dit op te lossen, probeert de AI het probleem in één lange, rechte lijn te doordenken. Als het vroeg een kleine fout maakt, valt het hele antwoord uit elkaar en moet het helemaal opnieuw beginnen.

Het artikel introduceert een nieuwe methode genaamd OpenDeepThink. In plaats van de AI te vragen in één lijn na te denken, vraagt deze methode de AI om in een menigte na te denken.

Hier is hoe het werkt, opgesplitst in eenvoudige stappen met behulp van analogieën:

1. De "Brainstormsessie" (Parallelle Steekproeven)

In plaats van de AI om één antwoord te vragen, vraagt OpenDeepThink het om 20 verschillende antwoorden tegelijkertijd te genereren.

Analogie: Stel je voor dat je een leraar bent die 20 leerlingen vraagt een wiskundeprobleem op te lossen. Je wacht niet alleen op het slimste kind; je laat iedereen direct zijn of haar oplossing opschrijven. Sommigen zullen briljant zijn, sommigen zullen het goed doen, en sommigen zullen volledig fout zijn.

2. Het "Toernooi" (Paarwijze Vergelijking)

Nu heb je 20 oplossingen, maar hoe kies je de beste? Normaal gesproken zou je de AI kunnen vragen: "Is dit antwoord goed?" Maar het artikel stelt dat AI slecht is in het beoordelen van zijn eigen werk in een vacuüm (het neigt tot overmatig zelfvertrouwen of bias).

De Oplossing: In plaats van te vragen "Is dit goed?", wordt de AI gevraagd twee antwoorden naast elkaar te vergelijken. "Welke van de twee is beter, Oplossing A of Oplossing B, en waarom?"
De Analogie: Denk aan een sporttoernooi. Het is moeilijk om te zeggen wie de "beste speler ter wereld" is, alleen maar door ze te bekijken. Maar als je Speler A tegen Speler B in een wedstrijd laat spelen, is het veel makkelijker om te zien wie wint. De AI fungeert als scheidsrechter, kijkt toe terwijl paren van oplossingen het tegen elkaar opnemen en verklaart een winnaar voor elk paar.

3. Het "Scorebord" (Bradley–Terry Aggregatie)

Nadat de AI veel paren heeft vergeleken, telt het niet alleen de overwinningen. Het gebruikt een speciale wiskundige formule (Bradley–Terry genoemd) om een globale rangschikking te maken.

De Analogie: Stel je een competitietabel in het voetbal voor. Als Team A Team B verslaat, en Team B verslaat Team C, weet de wiskunde dat Team A waarschijnlijk sterker is dan Team C, zelfs als ze elkaar nog niet hebben ontmoet. Dit creëert een betrouwbare "leaderboard" van de 20 oplossingen.

4. De "Evolutie" (Mutatie en Selectie)

Hier gebeurt de magie. Het systeem kiest niet alleen de winnaar en stopt. Het evolueert de oplossingen over meerdere rondes (generaties).

De Onderste 25% (De Verliezers): De slechtste oplossingen worden weggegooid.
De Bovenste 25% (De Elites): De beste oplossingen worden veilig bewaard, maar krijgen ook een kans om te verbeteren.
De Midden 75% (De Mutatoren): De AI neemt de "kritieken" (de redenen waarom één oplossing beter was dan een andere) en gebruikt ze om de oplossingen te herschrijven.
- De Analogie: Stel je voor dat een coach met de spelers praat. In plaats van alleen te zeggen "Goed gedaan", zegt de coach: "Je hebt verloren omdat je loopsnelheid te laag was." De spelers gebruiken die specifieke feedback om hun strategie aan te passen. De AI kan een oplossing volledig herschrijven als de feedback suggereert dat een totaal nieuwe aanpak nodig is.

5. De "Finale Showdown"

Na een paar rondes van deze "toernooi- en trainings"lus, maakt het systeem één laatste, zeer gedetailleerde vergelijking van de overgebleven topoplossingen om het allerbeste antwoord te kiezen dat wordt ingediend.

Waarom is dit een groot nieuws?

Geen "Spiekbriefje" Nodig: Normaal gesproken heb je, om te weten of een AI het goed heeft, een mens of een computerprogramma nodig om het antwoord te controleren (een "verifier"). OpenDeepThink heeft dat niet nodig. Het vindt het beste antwoord zelf door de AI tegen zichzelf te laten vergelijken.
Beter in Moeilijke Problemen: Het artikel testte dit op zeer moeilijke programmeerproblemen (zoals die in competitie-programmering). Ze ontdekten dat deze methode een top-tier AI (Gemini 3.1 Pro) liet presteren alsof het een veel hoger niveau expert was, waardoor zijn "vaardigheidsrating" met meer dan 400 punten steeg.
Het Kent Zijn Grenzen: De methode werkt uitstekend op onderwerpen met duidelijke juiste/foute antwoorden (zoals wiskunde of programmeren). Echter, op subjectieve onderwerpen (zoals het schrijven van een essay of het bespreken van geschiedenis) wordt het soms slechter. Dit komt omdat het vergelijken van "meningen" moeilijker is dan het vergelijken van "feiten". Als de scheidsrechter (de AI) het verschil niet kan zien tussen een goede mening en een slechte, raakt het hele systeem in de war.

De Kosten

De ruil is snelheid en kosten. Omdat de AI 20 antwoorden moet genereren, ze paarwijze moet vergelijken en ze meerdere keren moet herschrijven, kost het veel rekenkracht en tijd (ongeveer 27 minuten per probleem in hun test). Het is alsof je een heel team van experts en een panel van rechters huurt om één probleem op te lossen, in plaats van gewoon één persoon te vragen.

Kortom: OpenDeepThink verandert AI-redeneren van een "solo-sprint" in een "teamtoernooi". Door de AI tegen zichzelf te laten concurreren en van zijn eigen fouten te leren via vergelijking, lost het moeilijke problemen veel beter op dan het alleen zou kunnen.

Technische Samenvatting: OpenDeepThink

Probleemstelling

Huidige paradigma's voor het schalen van compute tijdens de testfase in Large Language Models (LLM's) richten zich voornamelijk op het verlengen van de diepte van een enkele redeneertrace (bijvoorbeeld langere denkketens of boomzoektochten). Hoewel deze sequentiële benaderingen effectief zijn, lijden ze onder een kritieke kwetsbaarheid: een enkele vroege fout kan de hele trajectie doen ontsporen. Omgekeerd staan parallelle benaderingen zoals Best-of-N-sampling, waarbij meerdere kandidaten worden gegenereerd, voor een "selectiefles". Het selecteren van de beste kandidaat uit een pool vereist doorgaans ground-truth-verificatoren (die niet beschikbaar zijn bij open-ended taken), getrainde beloningsmodellen of puntsgewijze LLM-rechters. Het artikel merkt op dat puntsgewijze LLM-beoordeling inherent ruisend en positief bevooroordeeld is, waardoor het onbetrouwbaar is om correcte van incorrecte oplossingen te onderscheiden bij afwezigheid van externe verificatie.

Methodologie: OpenDeepThink

De auteurs introduceren OpenDeepThink, een populatiegebaseerd framework voor compute tijdens de testfase, ontworpen om de breedte van redenering te schalen zonder externe verificatoren of domeinspecifieke infrastructuur. Het systeem onderhoudt een populatie van $n$ kandidaatoplossingen en evolueert deze over $T$ generaties met behulp van één LLM ( $\pi$ ) die fungeert als zowel generator als rechter.

De pijplijn werkt in drie distincte fasen per generatie:

Parallelle Sampling en Paarsgewijze Vergelijking:
- Het systeem start met $n$ kandidaatoplossingen.
- In elke generatie worden kandidaten willekeurig gepaard ( $K$ peers per kandidaat).
- De LLM-rechter voert paarsgewijze vergelijkingen uit en bepaalt welke oplossing waarschijnlijker zal worden geaccepteerd door een hypothetische online rechter. Cruciaal is dat de rechter ook natuurlijke taal-rationales (critiques) produceert die het oordeel verklaren.
- Om positiebias te mitigeren, wordt de presentatievolgorde van de kandidaten gerandomiseerd.
Bradley–Terry Aggregatie:
- In plaats van te vertrouwen op ruwe winpercentages, aggregeert het systeem paarsgewijze uitkomsten met het Bradley–Terry (BT)-model.
- Het BT-model schat een globale vaardigheidsscore ( $s_i$ ) voor elke kandidaat door de log-likelihood van waargenomen vergelijkingen te maximaliseren, rekening houdend met de sterkte van de tegenstanders. Deze "zachte verifier" zet ruisende paarsgewijze stemmen om in een coherent globaal ranking.
- Selectie: De top 25% van de kandidaten wordt behouden als "elites". De onderste 25% wordt verworpen. De middelste 50% en de elites (totaal de top 75%) gaan door naar mutatie.
Feedback-gedreven Mutatie:
- Kandidaten in de top 75% worden gemuteerd op basis van de geaggregeerde natuurlijke taal-critiques uit hun paarsgewijze vergelijkingen.
- De mutatieprompt staat het model expliciet toe om de huidige oplossing te verfijnen of deze volledig te verlaten voor een fundamenteel andere aanpak. Dit is ontworpen om te voorkomen dat het model slechts een gebrekkige strategie "repareert".
- Het proces wordt herhaald voor $T$ generaties.
Finale Selectie:
- Na de laatste generatie wordt een dichter rondje paarsgewijze vergelijkingen ( $M$ peers) uitgevoerd op de resterende populatie.
- Een finale Bradley–Terry-ranking selecteert de ingediende oplossing.

De hele pijplijn is ontworpen om "embarrassingly parallel" te zijn binnen elke ronde, waarbij slechts een sequentiële diepte van acht LLM-aanroepen nodig is (één initiële sample, twee rondes per generatie voor $T=3$ , en één finale selectieronde).

Belangrijkste Bijdragen

Een Verifier-vrij Framework: OpenDeepThink elimineert de noodzaak van ground-truth testcases of getrainde beloningsmodellen door paarsgewijze LLM-beoordelingen te gebruiken die via Bradley–Terry worden geaggregeerd als een zachte verifier.
Populatiegebaseerde Evolutie: In tegenstelling tot zelf-verfijningsmethoden die itereren op een enkel traject, onderhoudt OpenDeepThink een diverse populatie, waardoor fouten aan het licht komen via head-to-head vergelijking in plaats van zelfevaluatie.
Cross-Model Transferabiliteit: Het framework demonstreert dat één set hyperparameters effectief redenering kan schalen over modellen met verschillende capaciteiten (Gemini 3.1 Pro, 3 Flash en 2.5 Pro) zonder opnieuw te tunen.
CF-73 Dataset: De auteurs publiceren CF-73, een gecureerde set van 73 door experts geannoteerde Codeforces-problemen (beoordeeld 2000–3100) met 99% overeenstemming tussen lokale evaluatie en officiële uitspraken, specifiek ontworpen om pretraining-contaminatie te voorkomen.

Experimentele Resultaten

Het framework werd geëvalueerd op 192 competitieve programmeerproblemen (CF-73 en NOI-119) en 82 vragen uit de multi-domein HLE-benchmark, met Gemini 3.1 Pro als basismodel.

Competitief Programmeren (Codeforces):
- OpenDeepThink verhoogde de effectieve Codeforces Elo van Gemini 3.1 Pro met +405 punten (van ~~2851 naar ~3256) over acht sequentiële rondes (~~27 minuten wandkloktijd).
- Deze winst is vergelijkbaar met de +411 punten verbetering die "Gemini 3 Deep Think" behaalde ten opzichte van het basismodel op LiveCodeBench Pro.
- Op "Moeilijke" problemen (waar de basis pass@1 ~11% is), verbeterde het framework het slagingspercentage tot 36% via evolutie en 50% via selectie.
- Het framework slaagde erin over te dragen naar zwakkere (Gemini 3 Flash) en sterkere (Gemini 2.5 Pro) modellen zonder hyperparameter-tuning.
Cross-Domein (HLE Benchmark):
- De resultaten waren gemengd en domein-afhankelijk. In objectief verifieerbare domeinen (Wiskunde, Biologie, Fysica) toonde het framework winst (bijvoorbeeld +17 punten in Fysica).
- In subjectieve domeinen (Geesteswetenschappen, Sociale Wetenschappen) daalde de prestatie aanzienlijk (bijvoorbeeld -25 punten in Geesteswetenschappen).
- De auteurs schrijven dit toe aan de betrouwbaarheid van de paarsgewijze rechter: waar de rechter betrouwbaar correctheid kan onderscheiden, versterkt BT-aggregatie het signaal; waar beoordeling dubbelzinnig is, versterkt iteratieve selectie ruis.
Ablatiestudies:
- Paarsgewijs versus Puntsgewijs: Paarsgewijze beoordeling behaalde 86% nauwkeurigheid op een diagnostische set vergeleken met 59% voor puntsgewijze beoordeling, wat de superioriteit van relatieve vergelijking boven absolute scoring bevestigt.
- Feedbacksignaal: Negatieve feedback (critiques van wat er misging) dreef bijna alle mutatieverbeteringen; positieve feedback bood verwaarloosbaar voordeel.
- Evolutie versus Selectie: Bij makkelijke problemen was selectie (BT-aggregatie) de dominante factor. Bij moeilijke problemen was het evolutionaire mutatieproces de primaire drijfveer voor verbetering.

Betekenis en Claims

Het artikel stelt dat OpenDeepThink een fundamentele bottleneck in het schalen van compute tijdens de testfase aanpakt: het onvermogen om de beste kandidaat te selecteren uit een parallelle pool zonder externe verificatie. Door paarsgewijze Bradley–Terry-aggregatie te combineren met feedback-gedreven mutatie, stelt het framework LLM's in staat om de kwaliteit van redenering in open-ended domeinen iteratief te verbeteren.

De auteurs claimen dat de effectiviteit van het framework nauw gekoppeld is aan de betrouwbaarheid van de paarsgewijze rechter. Het fungeert als een "zachte verifier" die de prestaties aanzienlijk kan verhogen in domeinen met objectieve correctheidscriteria (zoals competitief programmeren), maar de prestaties kan verslechteren in subjectieve domeinen waar de rechter niet betrouwbaar correct van incorrect redeneren kan onderscheiden. Het werk suggereert dat toekomstige schaalinspanningen zich moeten richten op populatiegebaseerde ontwerpen die relatieve vergelijking benutten in plaats van absolute zelfevaluatie, mits het onderliggende beoordelingsmechanisme robuust is.