Alternative routes to universal diversity scaling in component systems: from proteomes to large language models

Résumé Technique : Voies alternatives vers la mise à l'échelle de la diversité universelle dans les systèmes de composants

Énoncé du problème
Les « systèmes de composants » complexes — allant des génomes et protéomes aux langues, aux constructions LEGO et aux grands modèles de langage (LLM) — présentent des lois statistiques remarquablement cohérentes concernant la diversité. Deux régularités principales sont observées :

1. La loi de Heaps : Le nombre de composants distincts (taille du vocabulaire, $h$) croît de manière sous-linéaire avec la taille totale du système ($m$), typiquement sous la forme $\langle h \rangle \propto m^\nu$ avec $0 < \nu < 1$.
2. Mise à l'échelle quadratique des fluctuations : La variance du vocabulaire croît de manière quadratique avec sa moyenne ($\sigma_h^2 \propto \langle h \rangle^2$), indiquant un comportement de non-auto-moyennage. Cela contraste avec les modèles d'échantillonnage simples (mise à l'échelle de Poisson, $\sigma_h^2 \propto \langle h \rangle$).

Bien que ces motifs soient souvent interprétés comme les signatures d'un mécanisme d'« innovation » sous-jacent (où de nouveaux composants sont découverts à mesure que le système croît), les ingrédients minimaux requis pour générer simultanément ces deux lois restent mal compris. De plus, il n'est pas clair si ces lois statistiques identifient de manière unique le mécanisme générateur ou si des cadres alternatifs (par exemple, l'hétérogénéité latente) peuvent produire des signatures macroscopiques identiques.

Méthodologie
Les auteurs emploient une approche de modélisation mathématique pour comparer deux cadres explicatifs larges :

1. Modèles de croissance séquentielle (Innovation-Duplication) : Ces modèles supposent qu'un système croît en ajoutant des jetons via soit la duplication de composants existants, soit la découverte de nouveaux composants (innovation). Les auteurs dérivent les conditions analytiques pour une classe générale de ces modèles, en investiguant spécifement la probabilité d'innovation $p_n(h, m)$. Ils analysent le comportement asymptotique de la moyenne et de la variance en utilisant des approximations en temps continu et une analyse de stabilité de la trajectoire de champ moyen.
2. Modèles d'échantillonnage avec hétérogénéité latente : Ces modèles supposent que les réalisations sont générées par un échantillonnage d'une distribution de fréquence de composants (souvent de type loi de puissance/Zipf) qui varie selon les réalisations en raison de « variables latentes » (par exemple, des thèmes dans les textes, des groupes taxonomiques dans les génomes). Les auteurs utilisent la loi de la variance totale pour décomposer la variance totale en composantes intra-sujet et inter-sujet.

L'étude valide ces prédictions théoriques par rapport à des données empiriques issues de quatre ensembles de données distincts :

• Livres du Projet Gutenberg et Wikipédia : Corpus de textes analysés pour la diversité lexicale.
• Constructions LEGO : Sets analysés pour la diversité des types de briques, annotés par thèmes.
• Protéomes : Génomes bactériens analysés pour la diversité des familles de domaines protéiques, annotés par clades taxonomiques.
• Grands Modèles de Langage (LLM) : Texte généré par les modèles GPT-2 et Llama-3 à l'aide de prompts aléatoires.

Contributions clés et résultats

1. Conditions nécessaires pour les modèles d'innovation
Les auteurs dérivent que pour qu'un modèle d'innovation-duplication général puisse reproduire à la fois la loi de Heaps et la mise à l'échelle quadratique des fluctuations, la probabilité d'innovation doit satisfaire une dépendance asymptotique spécifique :
$$p_n \sim \frac{h}{m}$$
Cela représente un mécanisme de « la diversité génère la diversité », où la probabilité de découvrir un nouveau composant augmente linéairement avec la diversité actuelle ($h$) et diminue avec la taille du système ($m$).

• Si $p_n$ ne dépend que de $m$ (par exemple, les modèles Yule-Simon standards), le système peut reproduire une croissance sous-linéaire mais est limité par une mise à l'échelle de Poisson ($\sigma_h^2 \leq \langle h \rangle$), échouant ainsi à capturer les fluctuations quadratiques observées.
• Les auteurs démontrent que cette dépendance linéaire est une condition nécessaire au sein de cette classe de modèles ; d'autres formes fonctionnelles échouent à reproduire conjointement les exposants de mise à l'échelle empiriques.

2. Émergence de la mise à l'échelle dans les grands modèles de langage (LLM)
L'étude teste l'hypothèse « la diversité génère la diversité » dans les LLM. En analysant le vocabulaire de sortie de GPT-2 et Llama-3 face à des prompts aléatoires, les auteurs trouvent que la probabilité d'innovation effective est effectivement linéaire par rapport à la taille du vocabulaire actuel ($p_n \propto h/m$). Cela suggère que malgré la complexité des LLM, leur processus génératif implémente efficacement la règle d'innovation spécifique requise pour produire les lois statistiques observées.

3. L'hétérogénéité latente comme voie alternative
Les auteurs démontrent que la mise à l'échelle quadratique des fluctuations émerge naturellement dans les modèles d'échantillonnage avec des variables latentes (par exemple, des thèmes) sans nécessiter de mécanisme d'innovation explicite.

• En utilisant la loi de la variance totale, ils montrent que si la taille moyenne du vocabulaire dépend d'une variable latente (par exemple, $\langle h \rangle_t = k(t)m^\nu$), la variance à travers les réalisations inclut un terme proportionnel à la variance de la variable latente : $\sigma_h^2 \approx \langle h \rangle + \text{CV}^2[k(t)] \langle h \rangle^2$.
• Pour des tailles de système suffisamment grandes, le terme quadratique domine, reproduisant la mise à l'échelle empirique.
• Crucialement, dans ce cadre, la probabilité d'innovation « effective » inférée à partir des données ($p_n \approx d\langle h \rangle/dm$) converge également vers la forme linéaire $p_n \sim h/m$, non pas à cause d'une règle explicite, mais comme une conséquence statistique de l'hétérogénéité latente.

4. Validation empirique et indistinguabilité
L'analyse des génomes (groupes taxonomiques) et des sets LEGO (thèmes) montre que le fait de conditionner sur les annotations connues sépare les réalisations en groupes possédant des niveaux de diversité distincts (préfacteurs $k(t)$ différents) tout en préservant la croissance en loi de puissance au sein des groupes. Cependant, des fluctuations quadratiques résiduelles persistent même après conditionnement, suggérant que les annotations connues ne capturent qu'une partie de la structure latente.

• Conclusion sur le mécanisme : L'article conclut que les deux cadres — croissance pilotée par l'innovation et échantillonnage par variables latentes — sont phénoménologiquement indistinguables sur la base de la seule loi de Heaps, de la mise à l'échelle des fluctuations et des probabilités d'innovation inférées. Les deux voies mènent aux mêmes lois statistiques macroscopiques.

Signification et revendications
L'article prétend fournir une interprétation plus claire de la mise à l'échelle de la diversité dans les systèmes de composants en révélant une dualité conceptuelle :

• Absence d'identification unique : Les lois statistiques observées (loi de Heaps et fluctuations de la variance) n'identifient pas de manière unique le mécanisme générateur sous-jacent. Elles peuvent provenir d'un processus d'innovation explicite de type « le riche devient plus riche » ou de l'agrégation statistique d'états latents hétérogènes.
• Image statistique unifiée : Les auteurs proposent une vision unifiée où la structure latente rend compte des fréquences de composants, de la diversité moyenne et des fluctuations de la diversité. Le mécanisme « la diversité génère la diversité » observé dans les modèles de croissance peut être une description effective émergente de l'hétérogénéité latente sous-jacente.
• Note de mise en garde : Ces conclusions servent d'avertissement contre l'interprétation de la mise à l'échelle de la diversité comme preuve définitive d'un processus d'innovation spécifique. Dans des systèmes comme les constructions LEGO ou les profils d'expression génique, où l'innovation séquentielle n'est pas la description naturelle, les variables latentes offrent une explication plus parcimonieuse.
• Directions futures : L'article identifie la nécessité d'observables au-delà des statistiques de second ordre (par exemple, des corrélations d'ordre supérieur) ou de systèmes possédant des variables latentes entièrement caractérisées pour pouvoir discriminer entre ces mécanismes.

Ce travail jette un pont entre la théorie des systèmes complexes, la physique statistique et la biologie, suggérant que l'universalité de la mise à l'échelle de la diversité peut découler de principes statistiques généraux (comme la loi de la variance totale) plutôt que de règles dynamiques spécifiques.