The Rise and Fall of $G$ in AGI

En appliquant l'analyse en composantes principales aux batteries de benchmarks de modèles de langage, cette étude révèle que la « G-factor » de l'intelligence artificielle, initialement forte, s'affaiblit et se transforme avec l'émergence de modèles spécialisés en raisonnement, illustrant une inversion psychométrique où l'intelligence générale masque désormais des intelligences spécialisées au sein d'une architecture de plus en plus complexe.

L'essentiel

🧠 Le G, c'est quoi ? (L'intelligence générale)

Imaginez que vous passez un examen scolaire. Si vous êtes très bon en mathématiques, vous avez de fortes chances d'être aussi bon en physique, en histoire et même en sport. En psychologie, on appelle cette capacité à être bon à tout la « G » (pour General Intelligence ou intelligence générale). C'est comme un moteur unique qui fait tourner toutes les roues de votre cerveau.

Pendant des années, les chercheurs ont cru que les modèles d'IA (comme les chatbots) suivaient la même règle : plus ils devenaient intelligents, plus ils devenaient bons partout, de manière uniforme. C'était l'idée de l'IA Générale (AGI) : une intelligence unique et parfaite.

📈 La Montée : L'ère de la « Croissance Magique »

L'auteur a analysé les résultats de 39 modèles d'IA différents entre 2019 et 2025 sur 14 tests différents (maths, code, culture générale, etc.).

L'analogie du ballon :
Imaginez que tous les modèles d'IA sont des ballons de baudruche. Pendant plusieurs années (de 2023 à début 2024), on a simplement gonflé tous les ballons en même temps.

• Le ballon A (GPT-4) grossit.
• Le ballon B (Claude) grossit.
• Le ballon C (Llama) grossit.

Résultat ? Tous les ballons sont devenus plus gros, plus ronds et plus brillants en même temps. Si vous regardiez les résultats, tout semblait parfaitement corrélé : si un modèle était bon en maths, il était aussi bon en code. C'était la « Montée du G ». On pensait que l'IA devenait un super-héros universel.

📉 La Chute : Le grand éclatement

Mais attention, l'histoire ne s'arrête pas là. Vers la fin 2024, quelque chose a changé. Les chercheurs ont remarqué que la « G » (l'intelligence générale) commençait à faiblir.

L'analogie de l'orchestre :
Pendant la « Montée », l'orchestre jouait tous la même partition, juste un peu plus fort. Mais soudain, les musiciens ont commencé à improviser des solos différents.

• Certains modèles sont devenus des génies du raisonnement (comme des mathématiciens qui réfléchissent longuement avant de répondre).
• D'autres sont devenus des experts de l'exécution (comme des artisans rapides qui codent ou écrivent vite).

Ce qui est fascinant, c'est que ces deux types d'intelligence ne vont plus toujours de pair. Un modèle peut être excellent pour résoudre des problèmes complexes (le « Renard » qui sait beaucoup de choses) mais moins bon pour exécuter des tâches simples et rapides (le « Hérisson » qui sait une seule chose très bien).

🔄 Le Grand Tour de Piste (La rotation du G)

L'auteur utilise une métaphore puissante : la rotation.

Imaginez que l'intelligence générale est une boussole.

• Avant 2024 : La boussole pointait droit vers le « Nord » (l'amélioration globale). Tout le monde avançait dans la même direction.
• Après 2024 : La boussole a tourné ! Pourquoi ? Parce que les IA ont commencé à utiliser des outils.

Au lieu de tout faire avec leur « cerveau » interne, les IA modernes utilisent des calculatrices, des moteurs de recherche et des interpréteurs de code.

• Si vous demandez à un humain de faire un calcul complexe sans papier, il est lent.
• Si vous lui donnez une calculatrice, il devient un génie des maths.

L'IA fait pareil. Elle « externalise » ses tâches. Elle délègue le calcul à une machine et garde son cerveau pour la stratégie. Cela change la nature de son intelligence. Elle n'est plus un bloc unique, mais une société d'outils.

🦊 Les Renards et les Hérissons

L'auteur fait référence à un célèbre essai d'Isaiah Berlin :

• Le Hérisson sait une grande chose (il est spécialisé).
• Le Renard sait beaucoup de petites choses (il est polyvalent).

Autrefois, les IA ressemblaient à des hérissons géants qui grandissaient uniformément. Aujourd'hui, elles ressemblent à une société de renards. Certaines sont spécialisées dans la logique pure, d'autres dans la créativité, d'autres dans la programmation. L'intelligence « générale » (le G) n'est plus un seul moteur, mais une combinaison complexe de compétences spécialisées qui travaillent ensemble.

🌍 Conclusion : L'IA n'est plus seule

Le message final de l'article est crucial : L'intelligence n'est pas une propriété isolée.

Penser que l'IA a une « intelligence générale » pure, comme un humain seul dans une pièce, est une erreur. L'IA moderne est comme un humain avec un smartphone, un ordinateur et internet dans la poche. Son intelligence dépend de ses outils.

Si on veut vraiment comprendre l'IA, il faut arrêter de chercher un seul score magique (comme le QI) et accepter qu'elle est devenue une intelligence étendue, faite de plusieurs dimensions qui évoluent à leur propre rythme. Le « G » n'est pas mort, mais il a changé de forme : il est devenu plus complexe, plus diversifié, et surtout, plus dépendant de ce qui l'entoure.

En résumé : L'IA a arrêté de grandir comme un ballon unique pour devenir une équipe d'experts qui s'entraident avec des outils. C'est moins simple, mais beaucoup plus intéressant !

Résumé technique

1. Problématique et Contexte

L'article s'attaque à la définition et à la mesure de l'Intelligence Artificielle Générale (AGI) en la confrontant aux concepts psychométriques de l'intelligence humaine, spécifiquement le facteur g (intelligence générale) de Spearman.

• Le paradoxe : Dans la psychométrie humaine, le facteur g est observé comme une « manifiste positive » : les scores à divers tests cognitifs sont positivement corrélés, suggérant une capacité latente unique. Dans le domaine de l'IA, les modèles de langage (LLM) montrent une amélioration corrélée sur de multiples benchmarks, ce qui a conduit à des affirmations sur l'émergence de l'AGI.
• La question centrale : Cette corrélation positive dans les performances des LLM reflète-t-elle une véritable intelligence générale (un mécanisme causal unique) ou est-elle un artefact statistique dû à l'amélioration temporelle globale des modèles et à des corpus d'entraînement partagés ?
• L'objectif : Analyser l'évolution de la structure factorielle des benchmarks LLM au fil du temps (2019–2025) pour déterminer si l'AGI se rapproche d'un facteur unique (G) ou si l'intelligence se diversifie et se spécialise.

2. Méthodologie

L'auteur applique des techniques de psychométrie et d'analyse en composantes principales (PCA) à un ensemble de données temporelles de modèles d'IA.

• Données : Une matrice de scores $X$ ($N=39$ modèles $\times$ $K=14$ benchmarks) couvrant la période de février 2019 à décembre 2025. Les modèles proviennent d'OpenAI, Anthropic, Google, Meta, DeepSeek, etc. Les benchmarks incluent MMLU, GSM8K, MATH, HumanEval, GPQA, etc.
• Analyse Factorielle :
  • Calcul du facteur G (première composante principale, PC1) sur des batteries de benchmarks.
  • Mesure de la variance expliquée ($\rho_1$) et du rapport de dominance ($\delta = \lambda_1 / \lambda_2$).
  • Calcul de la dimensionnalité effective ($d_{eff}$) pour évaluer la compression de l'espace des tâches.
• Approches Temporelles :
  • Fenêtre glissante (Expanding-window) : Ajout chronologique des modèles pour observer la dynamique de G.
  • Analyse par Époques : Segmentation des modèles en quatre époques algorithmiques distinctes (de l'échelle pure à l'inférence avec raisonnement).
  • Dé-trendage : Régression linéaire pour éliminer la tendance temporelle globale (l'amélioration naturelle des modèles au fil du temps) et isoler la structure intrinsèque.
  • Corrélations Partielles : Projection hors de la composante G pour révéler la structure résiduelle (corrélations entre benchmarks une fois l'effet général retiré).
  • Analyse de Rotation : Mesure de la stabilité du vecteur propre (direction de G) lors de l'ajout de nouveaux modèles.

3. Résultats Clés

A. Confirmation de la Manifiste Positive (mais éphémère)

• Sur une batterie de 5 benchmarks centraux, une forte manifiste positive est confirmée : toutes les corrélations par paires sont positives ($\bar{r} = 0.82$).
• La première composante principale (PC1) explique 90 % de la variance totale sur l'ensemble des données brutes, suggérant un facteur G dominant.

B. La « Chute » de G : Divergence Architecturale

• L'analyse par époques révèle une baisse significative de la cohérence du facteur G.
  • Époque II (2023–2024.03) : L'ère de l'échelle pure (scaling). G explique 92 % de la variance. Les modèles s'améliorent de manière synchrone sur toutes les tâches.
  • Époque III/IV (2024.09+) : L'ère des modèles spécialisés (raisonnement, outils, MoE). La variance expliquée par G chute à 77 %.
• Le rapport de dominance ($\delta$) chute de 15:1 à 1.8:1, indiquant l'émergence d'une deuxième dimension significative.

C. Rotation du Facteur G et Spécialisation

• Rotation du vecteur propre : L'ajout de modèles comme DeepSeek V3 provoque une rotation angulaire de 6,4° du vecteur G, bien supérieure aux variations précédentes. Cela signifie que la définition même de l'« intelligence générale » (selon les benchmarks) change : elle se déplace des tâches d'exécution procédurale vers le raisonnement complexe.
• Outsourcing du raisonnement : Les modèles modernes délèguent les tâches procédurales (code, calcul) à des outils externes, modifiant la charge des benchmarks sur le facteur G.

D. Structure Résiduelle : « Renards » vs « Hérissons »

• Une fois le facteur G retiré, les corrélations résiduelles révèlent une structure de suppression :
  • Un cluster de Raisonnement (MATH, GPQA) est positivement corrélé.
  • Un cluster d'Exécution/Fluence (GSM8K, HumanEval) est positivement corrélé.
  • Ces deux clusters sont négativement corrélés entre eux.
• Cela suggère que les modèles ne sont pas de simples « hérissons » (une seule grande compétence), mais des « renards » (spécialisations multiples) qui s'équilibrent. L'apparence de généralité masque des compromis (trade-offs) sous-jacents.

E. Dimensionnalité Croissante

• La dimensionnalité effective ($d_{eff}$) augmente de 1,3 à 1,9 avec l'arrivée des modèles de raisonnement. L'espace des capacités ne se comprime pas vers un point unique (AGI pure), mais s'étend dans de nouvelles dimensions.

4. Contributions Principales

1. Cadre Psychométrique pour l'IA : Application rigoureuse des méthodes de Spearman et de l'analyse factorielle aux benchmarks LLM, établissant un parallèle formel entre la psychométrie humaine et l'évaluation de l'IA.
2. Preuve de la Divergence Architecturale : Démonstration que l'augmentation des performances globales ne signifie pas une augmentation de la généralité unitaire. La « chute » de G (de 92 % à 77 %) signale une fragmentation des capacités due à la spécialisation architecturale (outils, chaînes de raisonnement).
3. Concept de « Succession Ptolémaïque » : L'auteur propose une analogie historique : l'évolution des LLM ressemble au modèle géocentrique de Ptolémée, où chaque nouvelle capacité (outil, raisonnement) ajoute un « épicycle » (un nouveau benchmark) plutôt que de révéler une loi unifiée simple. Contrairement à la physique newtonienne, l'IA actuelle accumule de la complexité sans loi unificatrice simple.
4. Redéfinition de l'Intelligence : L'intelligence n'est plus une propriété du substrat (le modèle seul) mais du système étendu modèle-outils. Les benchmarks traditionnels, conçus pour des modèles sans outils, deviennent obsolètes pour mesurer l'intelligence réelle des systèmes modernes.

5. Signification et Implications

• Remise en question de l'AGI : L'article suggère que la quête d'un facteur G unique (AGI) est une simplification psychométrique qui ne capture pas la réalité de l'IA moderne. L'IA ne converge pas vers une intelligence générale unique, mais vers une société d'intelligences (Society of Mind) diversifiée et spécialisée.
• Limites des Benchmarks : Les batteries de tests actuelles sont saturées et ne parviennent plus à discriminer les architectures avancées. La « manifiste positive » est en partie un artefact de la tendance temporelle et de la saturation des benchmarks.
• Avenir de l'Évaluation : Il est nécessaire de passer d'une métrique de « généralité » à une cartographie de la dimensionnalité de l'intelligence. L'évaluation future doit intégrer les outils et reconnaître que l'intelligence artificielle est un système couplé (modèle + environnement + outils), tout comme l'intelligence humaine est couplée à l'écriture et aux institutions.

En conclusion, David Krakauer démontre que si l'IA montre une apparence de généralité croissante, sa structure interne se complexifie et se spécialise, rendant le concept d'une AGI unidimensionnelle de moins en moins pertinent.