🤖 AI

Two AI Metrics Diverged: Will it Make All the Difference?

Cet article soutient que la question de savoir si les capacités d'IA de pointe resteront concentrées entre les mains d'acteurs fortunés ou se propageront aux développeurs plus modestes dépend de manière critique de savoir si les mesures de performance spécifiques utilisées pour évaluer ces capacités sont mathématiquement bornées ou non bornées par rapport aux ressources de calcul.

Auteurs originaux : Alex Fogelson, Zachary A. Brown, Hans Gundlach, Jayson Lynch, Neil Thompson

Publié 2026-07-02

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Alex Fogelson, Zachary A. Brown, Hans Gundlach, Jayson Lynch, Neil Thompson

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La grande question : Les riches deviendront-ils plus riches, ou tout le monde rattrapera-t-il son retard ?

Imaginez le monde de l'Intelligence Artificielle comme une course géante. D'un côté, vous avez les coureurs de la « Frontière » : de grandes entreprises avec un argent illimité, achetant les supercalculateurs les plus coûteux et entraînant leurs modèles d'IA avec une puissance exponentiellement plus grande chaque année. De l'autre côté, vous avez les coureurs « Modestes » : de petits développeurs, des passionnés de l'open-source et des chercheurs qui disposent d'un budget fixe et modeste. Ils ne peuvent pas acheter de nouveaux supercalculateurs, mais ils bénéficient des améliorations générales de la technologie (comme de meilleures routes ou des chaussures plus rapides) qui aident tout le monde.

La grande question que pose cet article est la suivante : Les coureurs riches vont-ils finir par prendre tellement d'avance que les coureurs pauvres ne pourront jamais les rattraper ? Ou bien l'écart va-t-il se réduire jusqu'à ce que tout le monde coure à peu près à la même vitesse ?

La réponse surprenante de l'article est : Cela dépend entièrement de la façon dont vous mesurez la course.

Les deux types de « règles » (métriques)

Les auteurs soutiennent que nous regardons souvent le progrès de l'IA à l'aide de différentes « règles » (métriques), et ces règles racontent deux histoires complètement différentes. Ils classent ces règles en deux catégories : les Métriques Modestes et les Métriques Puissantes.

1. Métriques Modestes : L'effet de « plafond »

Considérez une Métrique Modeste comme un niveau de jeu vidéo où l'objectif est simplement d'atteindre la ligne d'arrivée.

L'analogie : Imaginez une course où la ligne d'arrivée se trouve à 100 mètres. Le coureur de la « Frontière » a un jetpack et arrive en 10 secondes. Le coureur « Modeste » a un vélo et arrive en 20 secondes.
Le piège : Une fois que le coureur de la Frontière atteint la marque des 100 mètres, il s'arrête. Il ne peut pas courir au-delà de la ligne d'arrivée. Même s'il obtient un meilleur jetpack l'année prochaine, il sera toujours simplement arrêté à 100 mètres. Finalement, le cycliste atteint aussi les 100 mètres.
Le résultat : À long terme, l'écart entre le jetpack et le vélo disparaît. Les deux sont à la ligne d'arrivée.
Exemples concrets :
- Scores de tests (0-100 %) : Si un modèle obtient 99 % à un test, il ne peut pas vraiment être « plus » correct. Un modèle moins cher pourrait obtenir 98 % ou 99 % aussi. L'écart se réduit.
- Perte de validation (Validation Loss) : C'est une mesure de l'erreur qui devient de plus en plus petite jusqu'à atteindre zéro. Une fois proche de zéro, avoir plus d'argent ne rendra pas le modèle « plus » zéro.

La thèse de l'article : Si ce qui vous importe est une « Métrique Modeste », alors les modèles riches et coûteux finiront par paraître aussi bons que les modèles modestes et peu coûteux. « Les modèles modestes hériteront de la terre ».

2. Métriques Puissantes : L'effet de « l'échelle infinie »

Considérez une Métrique Puissante comme une échelle que l'on grimpe indéfiniment.

L'analogie : Imaginez une course où l'objectif n'est pas d'atteindre une ligne d'arrivée, mais de grimper aussi haut que possible. Le coureur de la « Frontière » a un jetpack et grimpe à 1 000 pieds. Le coureur « Modeste » a une échelle et grimpe à 100 pieds.
Le piège : Il n'y a pas de plafond. L'année prochaine, le coureur de la Frontière utilise un meilleur jetpack pour atteindre 10 000 pieds. Le coureur Modeste, même avec de meilleures chaussures, n'atteint que 200 pieds. L'écart ne fait pas que stagner ; il s'élargit de plus en plus.
Le résultat : Le coureur riche reste infiniment en tête. Le coureur « Modeste » ne rattrape jamais son retard.
Exemples concrets :
- Classements de jeux (ELO) : Aux échecs, on peut toujours s'améliorer. Un super-ordinateur peut battre un humain, mais un super-ordinateur plus puissant peut battre le premier. Il n'y a pas de score « parfait » ; on peut toujours être plus fort.
- Longueur des tâches : Quelle longueur de projet complexe une IA peut-elle terminer ? Si un modèle bon marché peut réaliser une tâche d'une heure, et qu'un modèle riche peut réaliser une tâche de 10 heures, le modèle riche pourra continuer à réaliser des tâches de 100 heures, 1 000 heures, et ainsi de suite. Le écart de capacité continue de croître.

La thèse de l'article : Si ce qui vous importe est une « Métrique Puissante », alors les modèles riches resteront en tête pour toujours. L'écart ne se refermera jamais.

Le rebondissement : Tout dépend de la façon dont vous posez la question

La partie la plus importante de l'article est que la même compétence peut être mesurée comme étant soit Modeste, soit Puissante, selon la façon dont vous formulez la question.

Les auteurs donnent un excellent exemple utilisant le Génie Logiciel :

Scénario A (Modeste) : Vous demandez : « L'IA peut-elle écrire du code qui fonctionne sans bugs ? »
- Si l'IA réussit 99 % du code, c'est généralement « suffisant ». L'écart entre un modèle à 99 % et un modèle à 99,9 % n'a pas beaucoup d'importance. C'est une vision Modeste.
Scénario B (Puissante) : Vous demandez : « Combien de lignes de code l'IA peut-elle écrire parfaitement d'affilée avant de commettre une erreur ? »
- Ici, le modèle riche pourrait écrire 1 million de lignes parfaitement, tandis que le modèle modeste en écrit 10 000. Le modèle riche peut continuer. C'est une vision Puissante.

La leçon : Si vous mesurez l'IA par « A-t-elle réussi le test ? » (Modeste), l'avenir est démocratique et ouvert. Si vous la mesurez par « Quelle complexité de problème peut-elle résoudre ? » (Puissante), l'avenir est dominé par quelques privilégiés fortunés.

Pourquoi cela importe dans le monde réel

L'article conclut que nous devons être très prudents quant à la « règle » que nous utilisons pour établir les lois et les politiques.

Si nous utilisons des Métriques Modestes : Nous pourrions penser que l'IA devient sûre et accessible pour tous. Nous pourrions assouplir les réglementations parce que « tout le monde peut maintenant le faire ».
Si nous utilisons des Métriques Puissantes : Nous pourrions réaliser que les entreprises riches prennent tellement d'avance en termes de complexité qu'elles contrôlent l'avenir de la science, de l'économie et de la sécurité, laissant tous les autres derrière.

Le point essentiel :
L'article ne dit pas que l'IA deviendra définitivement un monopole ou une démocratie. Il dit que la réponse dépend de ce que nous valorisons.

Si nous valorisons la précision parfaite sur des tâches simples, l'écart se réduira et les petits acteurs rattraperont leur retard.
Si nous valorisons la résolution de problèmes de plus en plus difficiles et complexes, l'écart s'élargira et seuls les plus riches posséderont les outils.

Les auteurs nous mettent en garde : beaucoup de gens regardent la « règle Modeste » (comme les scores de tests) et pensent que l'écart se réduit, alors que la « règle Puissante » (comme la résolution de problèmes scientifiques complexes) montre que l'écart devient en réalité immense. Pour comprendre l'avenir de l'IA, nous devons choisir la bonne règle pour la tâche.

Résumé technique : Deux métriques d'IA divergent : cela fera-t-il toute la différence ?

Énoncé du problème

Alors que le développement de l'IA croît de manière exponentielle en termes de calcul, une question critique se pose pour la gouvernance et l'économie : les capacités des modèles frontières (ceux dotés de budgets de calcul massifs et en croissance exponentielle) dépasseront-elles de façon permanente les modèles « meek » (ceux ayant un budget de calcul fixe ou à croissance lente, mais bénéficiant de gains d'efficacité matérielle et algorithmique partagés) ?

La littérature empirique existante offre des réponses contradictoires. Certaines études suggèrent que l'écart de performance s'élargira, menant à une concentration oligopolistique des capacités. D'autres, spécifiquement Gundlach et al. (2025b), soutiennent que l'écart se réduira, permettant aux modèles « meek » de finir par « hériter de la terre ». Ce document postule que ces conclusions divergentes ne sont pas nécessairement contradictoires, mais sont des artefacts des métriques de performance spécifiques choisies pour mesurer les capacités de l'IA. Le problème central est que différentes métriques, même lorsqu'elles mesurent des capacités ostensiblement similaires, possèdent des formes fonctionnelles différentes par rapport au calcul, conduisant à des propriétés de convergence à long terme fondamentalement différentes.

Méthodologie

Les auteurs emploient un cadre théorique pour catégoriser les métriques de performance en fonction de leur comportement mathématique sous une mise à l'échelle exponentielle du calcul effectif.

Définitions :
- Métrique de performance normale : Une fonction différentiable et faiblement monotone croissante faisant correspondre le calcul d'entraînement à la performance.
- Métrique « Meek » (modeste) : Une métrique où l'écart de performance entre un modèle frontière (croissance exponentielle de l'investissement) et un modèle « meek » (croissance constante de l'investissement, mais bénéficiant de gains d'efficacité partagés) converge vers zéro lorsque le temps tend vers l'infini.
- Métrique « Mighty » (puissante) : Une métrique où l'écart de performance ne converge pas vers zéro (il peut persister comme une constante ou diverger).
Approche analytique :
Le document généralise l'argument de Gundlach et al. (2025b) concernant la perte de validation. Il analyse la limite de la différence $P(C_{frontière}) - P(C_{meek})$ lorsque $t \to \infty$ , où $C$ représente le calcul effectif. Les auteurs dérivent des conditions mathématiques strictes pour déterminer si une métrique est « meek » ou « mighty » en fonction de son taux de croissance et de sa bornitude.
Cadre de classification :
Les auteurs construisent un arbre de décision (Figure 1) pour classer les métriques :
- Si une métrique est bornée (possède une limite supérieure), elle est toujours meek.
- Si une métrique est non bornée, elle est meek si et seulement si elle croît plus lentement que $\log \log C$ (spécifiquement, $\lim_{C \to \infty} \frac{P(C)}{\log \log C} = 0$ ). Sinon, elle est mighty.

Principales contributions

Classification théorique des métriques : Le document fournit les premières conditions mathématiques rigoureuses distinguant les métriques « meek » (où les écarts se comblent) des métriques « mighty » (où les écarts persistent). Il établit que la bornitude est une condition suffisante pour la nature « meek ».
Réinterprétation des benchmarks courants : Les auteurs démontrent que de nombreux indicateurs standards sont « meek » uniquement sous certaines interprétations, tandis que des transformations étroitement liées de la même capacité sous-jacente sont « mighty ».
- Exemple : La précision du benchmark (0-100 %) est bornée et donc « meek ». Cependant, le taux d'erreur sous-jacent $\epsilon$ ou le « nombre de neuf » de fiabilité ( $\log(1/\epsilon)$ ) est non borné et donc « mighty ».
- Exemple : Les taux de victoire dans les jeux sont bornés (meek), mais la force de Bradley-Terry sous-jacente (ELO) est non bornée (mighty).
Extension à l'échelle d'inférence : Le cadre est étendu aux budgets de calcul au moment de l'inférence, montrant que si la précision du benchmark reste « meek » sous l'échelle d'inférence, la « marche des neuf » correspondante (réduction de l'erreur) reste « mighty ».
Pertinence politique : Le document soutient que déterminer la métrique « appropriée » pour un domaine spécifique est un prérequis à une politique efficace. Les métriques bornées et non bornées suggèrent des réponses politiques opposées concernant le contrôle du calcul et la régulation.

Résultats clés

Convergence des métriques bornées : Pour toute métrique bornée (ex: précision de classification, pass@k, perte de validation), l'écart de performance entre les modèles frontières et les modèles « meek » finira par disparaître. À long terme, les modèles « meek » atteindront une performance indiscernable de celle des modèles frontières sur ces échelles.
Divergence des métriques non bornées : Pour les métriques non bornées qui croissent plus vite que $\log \log C$ (ex: force ELO, longueur de l'horizon des tâches, ordres de grandeur du taux d'erreur), l'écart persiste ou s'élargit. Les modèles frontières maintiendront un avantage permanent.
Sensibilité aux fonctions d'utilité : Le choix entre une métrique « meek » et « mighty » dépend souvent de l'utilité de l'utilisateur.
- Si un utilisateur se soucie de savoir si une tâche est accomplie dans un seuil fixé (utilité bornée), les modèles « meek » suffisent.
- Si un utilisateur se soucie de combien la performance est meilleure (ex: réduire les taux d'erreur de plusieurs ordres de grandeur, étendre les horizons de tâches), la capacité est non bornée, et les modèles frontières dominent.
Métriques positionnelles : Le document note que dans les scénarios de type « gagnant rafle tout » (métriques positionnelles), même si la capacité sous-jacente est bornée, la récompense peut toujours revenir au modèle frontière grâce à des avantages infinitésimaux, créant un résultat « mighty » en termes de récompense économique malgré une convergence « meek » sous-jacente.

Signification et affirmations

Le document affirme que le débat sur la question de savoir si les capacités de l'IA vont se concentrer ou se diffuser est souvent un débat sur la métrique utilisée, et non nécessairement sur la physique sous-jacente de la mise à l'échelle de l'IA.

Pour la gouvernance : Si la capacité sociétale pertinente est mesurée par une métrique bornée (ex: « le modèle peut-il écrire un script fonctionnel ? »), les réglementations devront tenir compte de la prolifération éventuelle de ces capacités auprès de nombreux acteurs (modèles « meek »). Si la capacité est mesurée par une métrique non bornée (ex: « avec quelle efficacité peut-il synthétiser une protéine inédite ? »), les capacités resteront probablement concentrées entre les mains d'acteurs fortunés disposant de budgets de calcul massifs.
Pour la politique : Les contrôles du calcul (restrictions à l'exportation) peuvent agir comme un retard plutôt que comme un plafond permanent pour les capacités mesurées par des métriques « meek », car les modèles « meek » finiront par rattraper leur retard via le matériel partagé et les progrès algorithmiques. Cependant, pour les métriques « mighty », de tels contrôles pourraient maintenir un écart durable.
Pour la sécurité : Le document souligne que les capacités dangereuses ont souvent une nature de « seuil ». Si une capacité est bornée (meek), le seuil pourra éventuellement être franchi par de nombreux acteurs, et pas seulement par les laboratoires frontières. Inversement, si le degré de dangerabilité croît de manière non bornée (ex: vitesse d'exploitation), le risque restera concentré.

Les auteurs concluent que les analystes et les décideurs politiques doivent dépasser la lecture naïve de la convergence ou de la divergence à partir d'une seule métrique. Au lieu de cela, ils doivent explicitement définir la fonction d'utilité du domaine pour déterminer si la métrique pertinente est « meek » ou « mighty », car cette distinction dicte si l'avenir de l'IA sera celui de la concentration ou de la prolifération.