🤖 machine learning

The Growing Pains of Frontier Models: When Leaderboards Stop Separating and What to Measure Next

Ce papier propose un cadre de diagnostic qui décompose la performance des modèles de pointe en tendances de couplage populationnel et en résidus par version pour révéler comment les capacités de codage et de raisonnement interagissent, varient selon les laboratoires et évoluent dans le temps, offrant ainsi in fine un guide stratégique pour sélectionner les prochains benchmarks les plus informatifs à mesure que les classements actuels saturent.

Auteurs originaux : Adil Amin

Publié 2026-05-20

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Adil Amin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez le monde des modèles d'IA comme une ligue sportive massive à haut risque. À chaque fois qu'un nouveau joueur (un modèle) est lancé, les médias et les supporters examinent deux statistiques principales : Comment codent-ils ? (comme la moyenne de coups d'un joueur) et Comment raisonnent-ils ? (comme leur QI stratégique).

Traditionnellement, nous examinons ces statistiques séparément. « Le Joueur A a une moyenne de coups élevée ! Le Joueur B a un QI élevé ! » Mais cet article soutient que les examiner isolément manque la véritable histoire. L'auteur, Adil Amin, suggère que la question la plus importante n'est pas « Qui gagne ? » mais plutôt, « Comment l'amélioration du codage affecte-t-elle leur capacité à raisonner ? »

Voici la décomposition des conclusions de l'article en utilisant des analogies simples :

1. La découverte de la « Chimie d'équipe »

L'article a analysé 34 modèles d'IA différents provenant de 10 laboratoires (comme Google, OpenAI, Anthropic, etc.). Ils ont découvert une tendance surprenante : Le Codage et le Raisonnement sont les meilleurs amis.

La Découverte : Lorsqu'un modèle s'améliore en codage, il s'améliore presque toujours aussi en raisonnement. Ils « coopèrent ».
L'Analogie : Pensez-y comme à une personne fréquentant une salle de sport. Habituellement, si vous devenez plus fort pour soulever des poids, vous devenez aussi meilleur pour courir. Vous n'avez pas à choisir l'un ; améliorer l'un aide l'autre. L'article appelle cela le Couplage Coopératif.

2. L'« Empreinte digitale » (le champ h)

Même s'ils s'aident mutuellement, chaque laboratoire a un « style » ou une « empreinte digitale » unique. Certains laboratoires entraînent leurs modèles pour qu'ils deviennent des machines à coder, tandis que d'autres se concentrent sur la création de raisonneurs sur-intelligents.

L'Outil : L'auteur a créé un score simple appelé le champ h. Pensez-y comme à un « mètre de déviation ».
- Si un modèle se situe exactement sur la ligne moyenne, il est « équilibré ».
- Si le mètre indique une valeur négative, le modèle est un Spécialiste du Codage (excellent en code, peut-être légèrement plus faible en raisonnement par rapport à la tendance).
- Si le mètre indique une valeur positive, le modèle est un Spécialiste du Raisonnement (super intelligent, peut-être légèrement moins concentré sur le code).
Le Drame : L'article montre que les laboratoires ne sont pas statiques.
- DeepSeek était autrefois un génie du raisonnement, mais ils ont soudainement pivoté pour devenir un spécialiste du codage. C'est comme une équipe de basket-ball autrefois célèbre pour sa défense qui décide soudainement de ne jouer que l'attaque.
- Anthropic est comme un pendule. Ils oscillent fortement vers le codage, puis reviennent au raisonnement, puis à nouveau. Ils sont en « oscillation ».
- Google est la main stable. Ils construisent constamment des modèles légèrement meilleurs en raisonnement que la moyenne, de publication en publication.

3. La « Compression » (Saturation)

Voici la partie délicate : On ne peut pas s'améliorer indéfiniment en tout.

Le Problème : La statistique « Codage » (SWE-bench) atteint un plafond. Les 5 meilleurs modèles de codage sont maintenant si proches les uns des autres qu'il est difficile de les distinguer. C'est comme une course où les 5 meilleurs coureurs terminent tous à moins de 0,01 seconde les uns des autres. La statistique a perdu sa capacité à séparer les gagnants des perdants.
La Solution : Lorsqu'une statistique cesse de fonctionner, le « jeu » bascule vers une nouvelle statistique. L'article prédit que tandis que le « Codage » est bloqué, une nouvelle statistique appelée HLE (Humanity's Last Exam, un test très difficile) et le Suivi des Instructions deviennent les nouvelles façons de distinguer les modèles.
L'Analogie : Imaginez un jeu vidéo où la statistique « Vitesse » était autrefois la seule chose qui comptait. Mais maintenant, tout le monde est si rapide que la vitesse ne compte plus. Les concepteurs de jeux doivent introduire une nouvelle statistique, comme la « Puissance Magique », pour décider qui gagne le niveau suivant.

4. Les transitions en « Cascade »

L'article suggère que le développement de l'IA se produit par « vagues » ou « cascades ».

Vague 1 : À de petites tailles, le codage et le raisonnement peuvent s'affronter (si vous vous améliorez dans l'un, vous vous détérioriez dans l'autre).
Vague 2 : À mesure que les modèles deviennent plus grands (autour de 30 à 72 milliards de paramètres), ils commencent soudainement à s'aider à nouveau.
Vague 3 (Frontière actuelle) : Nous sommes maintenant au point où les anciennes statistiques (Codage) sont pleines, et de nouvelles statistiques (Raisonnement/Examens complexes) prennent le relais.

5. Le « Manuel » pour l'avenir

L'auteur propose un guide en trois étapes pour quiconque observe ces modèles :

Localiser : Examinez les deux scores (Codage et Raisonnement). Votre modèle est-il un spécialiste ou équilibré ?
Diagnostiquer : Le modèle a-t-il soudainement changé de personnalité ? (A-t-il oscillé du raisonnement vers le codage ?)
Basculer : Si les statistiques actuelles sont trop proches pour être tranchées (saturées), arrêtez de les regarder et commencez à mesurer le prochain test difficile (comme HLE ou le suivi des instructions).

Résumé

L'article soutient que nous devons arrêter de simplement regarder un classement et demander « Qui est n°1 ? ». Au lieu de cela, nous devrions examiner la relation entre les compétences.

Bonne nouvelle : Le Codage et le Raisonnement s'aident généralement mutuellement.
Mauvaise nouvelle : La statistique « Codage » manque d'espace pour se développer.
Prochaines étapes : La frontière se déplace. Les prochaines grandes percées ne porteront pas sur qui code le mieux, mais sur qui peut gérer les tâches de raisonnement les plus complexes et les plus humaines.

L'auteur a même créé un tableau de bord en direct (un outil numérique) où vous pouvez entrer deux scores et voir instantanément si un modèle est un « Spécialiste du Codage », un « Spécialiste du Raisonnement », ou s'il suit simplement la foule.

Résumé technique : Les douleurs de la croissance des modèles de pointe

Énoncé du problème

L'évaluation actuelle des modèles de pointe repose sur des classements indépendants qui rangent les modèles selon des axes spécifiques (par exemple, SWE-bench pour le codage, GPQA Diamond pour le raisonnement), mais ne parviennent pas à révéler comment les capacités interagissent entre les versions. La communauté se demande généralement si un modèle code bien ou raisonne bien, mais enquête rarement sur le fait que l'amélioration d'une capacité renforce ou sape l'autre. À la pointe, où les modèles sont publiés en succession rapide par différents laboratoires, cette interaction — le couplage entre les capacités — fournit un signal plus informatif que des scores isolés. L'article répond au besoin de diagnostiquer si les capacités coopèrent ou s'échangent, comment ce couplage varie selon le laboratoire et au fil du temps, et comment identifier lorsque les axes de référence saturent et nécessitent une rotation.

Méthodologie

Les auteurs proposent un cadre de diagnostic basé sur des scores de référence appariés issus de cartes de modèles publiques et de classements vérifiés. La méthodologie repose sur trois grandeurs fondamentales dérivées de la relation entre deux axes : SWE-bench Verified (codage autonome) et GPQA Diamond (raisonnement scientifique de niveau master).

Couplage de population ( $r$ ) : Le coefficient de corrélation de Pearson calculé sur un panel de modèles. Un $r$ positif indique un renforcement coopératif entre les capacités, tandis qu'un $r$ négatif indique un compromis antagoniste.
Le champ $h$ (résidu relatif au laboratoire) : Pour un modèle donné $i$ $i$ , le champ $h$ $h$ est le résidu signé par rapport à la ligne de régression de la population ( $\hat{B}_2 = \beta_1 B_1 + \beta_0$ $\hat{B}_{2} = β_{1} B_{1} + β_{0}$ ).
- $h_i = B_{2,i} - (\beta_1 B_{1,i} + \beta_0)$
- Un $h$ positif indique une performance riche en raisonnement par rapport à la tendance codage-raisonnement ; un $h$ négatif indique une performance riche en codage.
- La moyenne $h$ par laboratoire ( $\bar{h}_{lab}$ ) résume l'écart caractéristique d'un laboratoire par rapport à la tendance de la population.
Classification des phases : Les modèles sont classés en trois régimes basés sur leur valeur de champ $h$ $h$ par rapport à la ligne de régression :
- Coopératif : $|h| \le 10$ points de pourcentage (pp).
- Excursion spécialisée en codage : $h < -10$ pp.
- Spécialiste du raisonnement : $h > +10$ pp.
Ratio de saturation ( $\sigma$ ) : Défini comme le rapport de l'étendue (max-min) d'un ancien axe de référence à un nouvel axe candidat parmi les meilleurs modèles. Un ratio $\sigma < 0,2$ signale que l'ancien axe a perdu son pouvoir discriminant, incitant à une rotation vers un nouvel axe.

L'ensemble de données comprend 34 modèles de pointe provenant de 10 laboratoires (dont Anthropic, OpenAI, Google, DeepSeek, etc.) couvrant la période de juin 2024 à mars 2026. L'analyse utilise un sous-ensemble vérifié central ( $n=23$ ) et un ensemble étendu ( $n=34$ ), en employant une validation croisée en laissant un laboratoire de côté pour tester la généralisabilité.

Résultats clés

1. Couplage coopératif à la pointe

Sur l'ensemble complet de 34 modèles, SWE-bench et GPQA Diamond présentent un couplage positif fort ( $r = +0,72, p < 10^{-6}$ ). Cette structure coopérative persiste dans tous les sous-ensembles testés et est robuste à l'hétérogénéité des architectures et des pipelines d'entraînement. Le signal n'est mesurable que lorsque les deux références ont une plage dynamique suffisante (scores SWE $\ge 40$ ), ce qui est devenu disponible avec les versions de 2025.

2. Diagnostics et trajectoires par laboratoire

Bien que les capacités coopèrent globalement, le modèle de coopération varie considérablement selon le laboratoire, quantifié par le champ $h$ et les pentes de couplage :

Google : Maintient un accent constant riche en raisonnement ( $\bar{h} \approx +5,5$ ) avec une pente de couplage élevée (1,15), indiquant une conversion efficace des gains de codage en raisonnement.
DeepSeek : Présente un renversement dramatique, passant d'un état riche en raisonnement ( $h = +11,2$ ) à une priorité au codage ( $h = -4,7$ ) sur quatre versions, soit un déplacement de 15,9 pp.
Anthropic : Montre une oscillation entre des excursions en codage (par exemple, Sonnet 4.6, $h = -13,1$ ) et un retour à des états riches en raisonnement (par exemple, Opus 4.6, $h = +3,5$ ).
Efficacité du couplage : Les pentes de couplage par laboratoire varient d'un facteur 5 (Google 1,15 contre DeepSeek 0,23), quantifiant l'efficacité avec laquelle différentes « recettes » convertissent les améliorations de codage en gains de raisonnement.

3. Cascades de capacités et saturation

L'article identifie que la coopération n'est pas statique mais se propage par étapes où les anciens axes se verrouillent ensemble et de nouveaux émergent :

Saturation asymétrique : Parmi les 5 meilleurs modèles de codage, les scores SWE-bench sont presque à égalité (étendue de 1,3 pp), tandis que les scores GPQA conservent une variance significative (9,1 pp). Cette compression signale que SWE sature.
Rotation d'axes : Alors que SWE sature, HLE (Humanity's Last Exam) et IFEval s'activent comme nouveaux axes indépendants. La matrice de couplage montre que SWE et GPQA coopèrent ( $r \approx +0,85$ ), que GPQA et HLE coopèrent ( $r \approx +0,72$ ), mais que SWE et HLE sont découplés ( $r \approx -0,25$ ).
La transition $N_{c2}$ : Six architectures à poids ouverts confirment une deuxième transition de capacité entre 30 et 72 milliards de paramètres où la coopération s'effondre (chute d'environ 59 %) avant de se rétablir partiellement, suggérant une limite quant au nombre d'interactions que les états cachés peuvent représenter de manière coopérative à cette échelle.

4. Validation prédictive

Le cadre a été validé contre cinq modèles publiés après la date de coupure des données de mars 2026 (avril 2026). Ces modèles hors échantillon ont confirmé le diagnostic, la corrélation de population passant de +0,72 à +0,75 après réajustement. Le champ $h$ a prédit avec succès la trajectoire du pivot de DeepSeek et du rétablissement d'Anthropic.

Importance et contributions

L'article prétend fournir la première mesure à grande échelle, inter-laboratoires, du couplage coopératif de pointe, allant au-delà de « qui est en tête » pour répondre à « quel type de progrès est-ce ». Ses contributions principales sont :

Un cadre de diagnostic : Un guide à trois niveaux (Localiser, Diagnostiquer, Rotater) permettant aux praticiens de classer les versions de modèles, d'identifier les réallocation de capacités (via des déplacements du champ $h$ > 10 pp) et de détecter lorsque les références perdent leur pouvoir discriminant (via $\sigma < 0,2$ ).
Quantification des stratégies de laboratoire : Le champ $h$ et les pentes de couplage fournissent un résumé en un seul chiffre de l'accent caractéristique d'un laboratoire (riche en raisonnement vs riche en codage) et de l'efficacité de leur recette d'entraînement.
Prédictions falsifiables : L'article propose sept prédictions datées pour les 12 prochains mois, incluant la saturation de SWE-bench d'ici décembre 2026, l'activation de IFEval, et le découplage croissant de SWE et HLE.
Utilité opérationnelle : Le cadre ne nécessite que deux scores de référence publics pour générer des informations exploitables, le rendant accessible sans accès à des données d'entraînement propriétaires ou aux internals des modèles.

Les auteurs soulignent que le champ $h$ est descriptif, non causal ; il identifie ce qui a changé dans une séquence de versions, mais n'explique pas pourquoi (par exemple, des changements spécifiques de curation de données ou d'architecture). Cependant, en rendant ces déplacements visibles, le cadre permet aux laboratoires de surveiller les compromis de capacités et d'anticiper la prochaine rotation nécessaire des métriques d'évaluation.