🤖 machine learning

The Growing Pains of Frontier Models: When Leaderboards Stop Separating and What to Measure Next

Dit artikel stelt een diagnostisch kader voor dat de prestaties van frontiermodellen ontleedt in populatiekoppelings-trends en per-release-residuen om te onthullen hoe coderings- en redeneercapaciteiten met elkaar interageren, per laboratorium variëren en in de loop van de tijd evolueren, wat uiteindelijk een strategisch handboek biedt voor het selecteren van de volgende meest informatieve benchmarks naarmate de huidige leaderboards verzadigen.

Oorspronkelijke auteurs: Adil Amin

Gepubliceerd 2026-05-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Adil Amin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je de wereld van AI-modellen voor als een enorme, hoog-risico sportliga. Elke keer als een nieuwe speler (een model) wordt vrijgegeven, kijken de media en fans naar twee hoofdstatistieken: Hoe goed coderen ze? (zoals het slaggemiddelde van een speler) en Hoe goed redeneren ze? (zoals hun strategische IQ).

Traditioneel kijken we naar deze statistieken apart. "Speler A heeft een hoog slaggemiddelde! Speler B heeft een hoog IQ!" Maar dit paper stelt dat het isoleren van deze statistieken het echte verhaal mist. De auteur, Adil Amin, suggereert dat de belangrijkste vraag niet is "Wie wint?", maar eerder, "Hoe beïnvloedt het beter worden in coderen hun vermogen om te redeneren?"

Hier is de uiteenzetting van de bevindingen uit het paper met behulp van eenvoudige analogieën:

1. De "Teamchemie"-ontdekking

Het paper analyseerde 34 verschillende AI-modellen van 10 verschillende laboratoria (zoals Google, OpenAI, Anthropic, enz.). Ze vonden een verrassende trend: Coderen en Redeneren zijn beste vrienden.

De bevinding: Wanneer een model beter wordt in coderen, wordt het bijna altijd ook beter in redeneren. Ze "werken samen".
De analogie: Denk hierbij aan een sportschoolbezoeker. Meestal, als je sterker wordt in het tillen van gewichten, word je ook beter in rennen. Je hoeft niet te kiezen; het verbeteren van het een helpt het ander. Het paper noemt dit Coöperatieve Koppeling.

2. De "Vingerafdruk" (het h-veld)

Hoewel ze elkaar helpen, heeft elk laboratorium een unieke "stijl" of "vingerafdruk". Sommige laboratoria trainen hun modellen tot coderingsmachines, terwijl anderen zich richten op het maken van super-slimme redenaars.

De tool: De auteur heeft een eenvoudige score ontwikkeld, het h-veld. Denk hierbij aan een "afwijkmeter".
- Als een model precies op de gemiddelde lijn zit, is het "in evenwicht".
- Als de meter negatief gaat, is het model een Coderingsspecialist (geweldig in code, misschien iets zwakker in redeneren vergeleken met de trend).
- Als de meter positief gaat, is het model een Redeneerspecialist (super slim, misschien iets minder gefocust op code).
Het drama: Het paper toont aan dat laboratoria niet statisch zijn.
- DeepSeek was ooit een redeneergenie, maar draaide toen plotseling om om een coderingsspecialist te worden. Het is alsof een basketbalteam dat bekend stond om zijn verdediging, plotseling besloot om alleen nog maar aan te vallen.
- Anthropic is als een slinger. Ze zwaaien hard naar codering, dan terug naar redeneren, dan weer terug. Ze "oscilleren".
- Google is de stabiele hand. Ze bouwen consequent modellen die iets beter zijn in redeneren dan het gemiddelde, release na release.

3. De "Krimp" (Saturatie)

Hier komt het lastige deel: Je kunt niet eeuwig overal beter in worden.

Het probleem: De "Codering"-statistiek (SWE-bench) stuitert tegen een plafond. De top 5 coderingsmodellen zitten nu zo dicht bij elkaar dat het moeilijk is om ze uit elkaar te houden. Het is als een race waarbij de top 5 lopers allemaal binnen 0,01 seconde van elkaar finishen. De statistiek heeft zijn vermogen verloren om de winnaars van de verliezers te onderscheiden.
De oplossing: Wanneer een statistiek niet meer werkt, roteert het "spel" naar een nieuwe statistiek. Het paper voorspelt dat terwijl "Codering" vastzit, een nieuwe statistiek genaamd HLE (Humanity's Last Exam, een zeer moeilijke test) en Opdrachtvolging de nieuwe manieren worden om modellen uit elkaar te houden.
De analogie: Stel je een videospel voor waarin de statistiek "Snelheid" vroeger het enige was dat er toe deed. Maar nu is iedereen zo snel dat snelheid niet meer uitmaakt. De spelontwerpers moeten een nieuwe statistiek introduceren, zoals "Magische Kracht", om te beslissen wie het volgende niveau wint.

4. De "Cascaderende" Overgangen

Het paper suggereert dat AI-ontwikkeling in "golven" of "cascades" plaatsvindt.

Golf 1: Bij kleine maten kunnen coderen en redeneren elkaar bestrijden (als je beter wordt in het een, word je slechter in het ander).
Golf 2: Naarmate modellen groter worden (rond de 30–72 miljard parameters), beginnen ze plotseling weer elkaar te helpen.
Golf 3 (Huidige grens): We zijn nu op het punt waar de oude statistieken (Codering) vol zitten en nieuwe statistieken (Redeneren/Complexe Examens) de overname doen.

5. Het "Speelboek" voor de Toekomst

De auteur geeft een drie-stappenhandleiding voor iedereen die deze modellen volgt:

Loceren: Kijk naar de twee scores (Coderen en Redeneren). Is je model een specialist of in evenwicht?
Diagnose: Is het model plotseling van persoonlijkheid veranderd? (Is het van redeneren naar coderen geschakeld?)
Roteren: Als de huidige statistieken te dicht bij elkaar liggen om te onderscheiden (gesatureerd), stop dan met ze te bekijken en begin met het meten van de volgende moeilijke test (zoals HLE of opdrachtvolging).

Samenvatting

Het paper stelt dat we moeten stoppen met alleen naar een ranglijst te kijken en te vragen "Wie staat er op #1?". In plaats daarvan moeten we kijken naar de relatie tussen vaardigheden.

Goed nieuws: Coderen en Redeneren helpen elkaar meestal.
Slecht nieuws: De "Codering"-statistiek raakt de ruimte op om te groeien.
Wat nu volgt: De grens verschuift. De volgende grote doorbraken gaan niet over wie het beste codeert, maar over wie de meest complexe, mensachtige redeneertaken kan aanpakken.

De auteur heeft zelfs een live dashboard (een digitaal hulpmiddel) gebouwd waar je twee scores kunt invoeren en direct kunt zien of een model een "Coderingsspecialist", een "Redeneerspecialist" is, of dat het gewoon de menigte volgt.

Technische Samenvatting: De Groeipijnen van Frontier-modellen

Probleemstelling

De huidige evaluatie van frontier-modellen is gebaseerd op onafhankelijke leaderboards die modellen rangschikken op specifieke assen (bijvoorbeeld SWE-bench voor codering, GPQA Diamond voor redeneren), maar falen in het blootleggen van hoe vaardigheden interactie aangaan tussen verschillende releases. De gemeenschap vraagt zich doorgaans af of een model goed codeert of goed redeneert, maar onderzoekt zelden of het verbeteren van de ene vaardigheid de andere versterkt of ondermijnt. Aan de frontier, waar modellen in snelle opeenvolging worden uitgebracht door verschillende laboratoria, biedt deze interactie – de koppeling tussen vaardigheden – een informatiever signaal dan geïsoleerde scores. Het artikel adresseert de noodzaak om te diagnosticeren of vaardigheden samenwerken of ten koste van elkaar gaan, hoe deze koppeling varieert per laboratorium en in de tijd, en hoe te identificeren wanneer benchmark-assen verzadigen en een rotatie vereisen.

Methodologie

De auteurs stellen een diagnostisch kader voor op basis van gekoppelde benchmark-scores van openbare modelkaarten en geverifieerde leaderboards. De methodologie rust op drie kernkwantiteiten die zijn afgeleid uit de relatie tussen twee assen: SWE-bench Verified (autonome codering) en GPQA Diamond (wetenschappelijk redeneren op universitair niveau).

Populatiekoppeling ( $r$ ): De Pearson-correlatiecoëfficiënt berekend over een paneel van modellen. Een positieve $r$ duidt op wederzijdse versterking tussen vaardigheden, terwijl een negatieve $r$ een antagonistische afweging aangeeft.
Het $h$ -veld (Lab-gerelateerd Residu): Voor een gegeven model $i$ $i$ is het $h$ $h$ -veld het getekende residu van de populatieregressielijn ( $\hat{B}_2 = \beta_1 B_1 + \beta_0$ $\hat{B}_{2} = β_{1} B_{1} + β_{0}$ ).
- $h_i = B_{2,i} - (\beta_1 B_{1,i} + \beta_0)$
- Een positieve $h$ geeft een redeneringsrijke prestatie aan ten opzichte van de codering-redeneringstrend; een negatieve $h$ geeft een coderingsrijke prestatie aan.
- De gemiddelde $h$ per lab ( $\bar{h}_{lab}$ ) vat de karakteristieke afwijking van een lab van de populatietrend samen.
Faseclassificatie: Modellen worden ingedeeld in drie regimes op basis van hun $h$ $h$ -veldwaarde ten opzichte van de regressielijn:
- Coöperatief: $|h| \le 10$ procentpunten (pp).
- Coderingsspecialist-excursie: $h < -10$ pp.
- Redeneringsspecialist: $h > +10$ pp.
Verzadigingsratio ( $\sigma$ ): Gedefinieerd als de verhouding van de spreiding (max-min) van een oude benchmark-as tot een nieuwe kandidaat-as onder de topmodellen. Een ratio $\sigma < 0,2$ signaleert dat de oude as zijn onderscheidend vermogen heeft verloren, wat een rotatie naar een nieuwe as noodzaakt.

De dataset omvat 34 frontier-modellen van 10 laboratoria (waaronder Anthropic, OpenAI, Google, DeepSeek, enz.) over de periode juni 2024 tot maart 2026. De analyse maakt gebruik van een geverifieerde kernsubset ( $n=23$ ) en een uitgebreide set ( $n=34$ ), waarbij leave-one-lab-out cross-validatie wordt toegepast om generaliseerbaarheid te testen.

Belangrijkste Resultaten

1. Coöperatieve Koppeling aan de Frontier

Over het volledige paneel van 34 modellen vertonen SWE-bench en GPQA Diamond een sterke positieve koppeling ( $r = +0,72, p < 10^{-6}$ ). Deze coöperatieve structuur blijft bestaan over alle geteste subsets en is robuust ten opzichte van heterogeniteit in architecturen en trainingspijplijnen. Het signaal is alleen meetbaar wanneer beide benchmarks voldoende dynamisch bereik hebben (SWE-scores $\ge 40$ ), wat beschikbaar kwam in releases van 2025.

2. Per-Lab Diagnostiek en Trajecten

Hoewel vaardigheden globaal samenwerken, varieert het patroon van samenwerking aanzienlijk per lab, gekwantificeerd door het $h$ -veld en koppelingshellingen:

Google: Handhaaft een consistente redeneringsrijke nadruk ( $\bar{h} \approx +5,5$ ) met een hoge koppelingshelling (1,15), wat wijst op een efficiënte omzetting van coderingswinst in redenering.
DeepSeek: Toont een dramatische omkering, schommelend van redeneringsrijk ( $h = +11,2$ ) naar codering-voorop ( $h = -4,7$ ) over vier releases, een verschuiving van 15,9 pp.
Anthropic: Toont oscillatie tussen codering-excursies (bijvoorbeeld Sonnet 4.6, $h = -13,1$ ) en herstel naar redeneringsrijke toestanden (bijvoorbeeld Opus 4.6, $h = +3,5$ ).
Koppelings-efficiëntie: Per-lab koppelingshellingen variëren met een factor 5 (Google 1,15 versus DeepSeek 0,23), wat kwantificeert hoe efficiënt verschillende "recepten" coderingsverbeteringen omzetten in redeneringswinst.

3. Vaardigheidskaskades en Verzadiging

Het artikel identificeert dat samenwerking niet statisch is, maar kaskades doorloopt waarbij oude assen samenkomen en nieuwe ontstaan:

Asymmetrische Verzadiging: Onder de top 5 coderingsmodellen zijn de SWE-bench scores bijna gelijk (1,3 pp spreiding), terwijl GPQA-scores aanzienlijke variantie behouden (9,1 pp). Deze compressie signaleert dat SWE verzadigt.
Asrotatie: Naarmate SWE verzadigt, activeren HLE (Humanity's Last Exam) en IFEval als nieuwe onafhankelijke assen. De koppelingsmatrix toont aan dat SWE en GPQA samenwerken ( $r \approx +0,85$ ), GPQA en HLE samenwerken ( $r \approx +0,72$ ), maar dat SWE en HLE ontkoppeld zijn ( $r \approx -0,25$ ).
De $N_{c2}$ -Transitie: Zes open-weight architecturen bevestigen een tweede vaardigheidsovergang bij 30–72B parameters waarbij de samenwerking instort (daling van ~59%) voordat deze gedeeltelijk herstelt, wat wijst op een limiet in hoeveel interacties verborgen toestanden op deze schaal coöperatief kunnen representeren.

4. Predictieve Validatie

Het kader is gevalideerd tegen vijf modellen die na de datacut-off van maart 2026 (april 2026) zijn uitgebracht. Deze out-of-sample modellen bevestigden de diagnose, waarbij de populatiecorrelatie bij opnieuw aanpassen steeg van $+0,72$ naar $+0,75$ . Het $h$ -veld voorspelde succesvol het traject van DeepSeek's pivot en Anthropic's herstel.

Betekenis en Bijdragen

Het artikel claimt de eerste grootschalige, cross-lab meting te bieden van coöperatieve frontier-koppeling, verder gaand dan "wie vooroploopt" naar "wat voor soort vooruitgang is dit". De primaire bijdragen zijn:

Een Diagnostisch Kader: Een drie-niveau playbook (Loceren, Diagnosticeren, Roteren) dat practitioners in staat stelt modelreleases te classificeren, herverdelingen van vaardigheden te identificeren (via $h$ -veldverschuivingen $>10$ pp) en te detecteren wanneer benchmarks hun onderscheidend vermogen verliezen (via $\sigma < 0,2$ ).
Kwantificering van Labstrategieën: Het $h$ -veld en de koppelingshellingen bieden een samenvatting in één getal van de karakteristieke nadruk van een lab (redeneringsrijk versus coderingsrijk) en de efficiëntie van hun trainingsrecept.
Falsifieerbare Voorspellingen: Het artikel biedt zeven getimestampede voorspellingen voor de komende 12 maanden, waaronder de verzadiging van SWE-bench tegen december 2026, de activering van IFEval, en de verdiepende ontkoppeling van SWE en HLE.
Operationele Bruikbaarheid: Het kader vereist slechts twee openbare benchmark-scores om bruikbare inzichten te genereren, waardoor het toegankelijk is zonder toegang tot proprietaire trainingsdata of modelinterne details.

De auteurs benadrukken dat het $h$ -veld beschrijvend is, niet causaal; het identificeert wat er veranderde in een reeks releases, maar verklaart niet waarom (bijvoorbeeld specifieke data-curatie of architectuurwijzigingen). Door deze verschuivingen echter zichtbaar te maken, stelt het kader laboratoria in staat om afwegingen in vaardigheden te monitoren en de volgende noodzakelijke rotatie in evaluatiemetrics te anticiperen.