🤖 machine learning

Learn from your own latents and not from tokens: A sample-complexity theory

Cet article démontre théoriquement et empiriquement que l'entraînement de modèles génératifs à prédire leurs propres représentations latentes, plutôt que des tokens bruts, permet d'atteindre une complexité d'échantillonnage constante par rapport à la profondeur hiérarchique, offrant ainsi un avantage significatif en matière d'efficacité des données par rapport aux apprentissages supervisés traditionnels ou auto-supervisés au niveau des tokens.

Auteurs originaux : Daniel J. Korchinski, Alessandro Favero, Matthieu Wyart

Publié 2026-05-28

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Daniel J. Korchinski, Alessandro Favero, Matthieu Wyart

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Le « Glouton de Données »

Imaginez que vous essayez d'enseigner à un robot à comprendre l'anglais. Pour ce faire, vous lui donnez à lire chaque livre, chaque site web et chaque tweet jamais écrit (des billions de mots). C'est ainsi que les modèles d'IA actuels (comme ceux qui rédigent des essais ou discutent avec vous) apprennent. Ils examinent les mots individuels (« tokens ») et tentent de deviner le suivant.

Cependant, un enfant humain apprend à parler couramment avec une infime fraction de ces données. Il n'a pas besoin de lire tout internet ; il lui suffit de parler à ses parents et à ses amis.

Le papier pose la question : Pourquoi l'IA a-t-elle une telle faim de données ? Les auteurs suggèrent que c'est parce que l'IA essaie d'apprendre les mauvaises choses. Elle fixe les « pixels » ou les « lettres » bruts (tokens) au lieu de comprendre les concepts sous-jacents (latents) que ces lettres représentent.

L'Analogie : Les Poupées Russes

Pour expliquer leur théorie, les auteurs utilisent un modèle appelé le Random Hierarchy Model (RHM). Imaginez cela comme un ensemble de poupées russes ou un arbre généalogique.

Les Feuilles (Tokens) : Tout en bas, vous avez les lettres ou les sons individuels.
Les Couches Intermédiaires (Latents) : Ces lettres se combinent pour former des mots, qui forment des phrases, qui forment des phrases. Chaque niveau est un « latent » (un concept caché).
Le Sommet (Racine) : Le sens final ou le « parent » de toute la structure.

L'Ancienne Façon (Apprentissage au Niveau des Tokens) :
Imaginez que vous essayez de comprendre la structure de cet arbre généalogique, mais que vous n'avez le droit de regarder que la couche du bas (les feuilles). Pour comprendre comment les arrière-grands-parents sont liés, vous devez tracer un chemin jusqu'aux feuilles et remonter.

Le Problème : À mesure que l'arbre s'approfondit (plus de niveaux de sens), le signal s'affaiblit de plus en plus. C'est comme essayer d'entendre un chuchotement depuis le sommet d'un gratte-ciel alors que vous êtes en bas ; le bruit le noie.
Le Coût : Pour apprendre une hiérarchie profonde de cette manière, vous avez besoin d'une quantité de données exponentielle. Si l'arbre a 4 niveaux, vous pourriez avoir besoin de millions d'exemples. S'il a 10 niveaux, vous pourriez avoir besoin de plus de données qu'il n'en existe dans l'univers.

La Nouvelle Façon (Apprendre de ses Propres Latents) :
Maintenant, imaginez que vous avez le droit de regarder les couches intermédiaires de l'arbre. Au lieu de deviner la lettre suivante, vous devinez le prochain concept.

La Solution : Si vous êtes au niveau 2, vous prédisez le niveau 3. Vous n'avez pas besoin de regarder jusqu'aux feuilles. Le signal est fort et clair parce que vous travaillez avec des « voisins » dans la hiérarchie.
Le Résultat : Vous pouvez apprendre toute la structure avec une quantité constante de données, quelle que soit la profondeur de l'arbre. Vous n'avez pas besoin de millions d'exemples ; vous avez juste besoin de suffisamment pour voir le motif une ou deux fois.

Les Trois Expériences

Les auteurs ne se sont pas contentés de faire des mathématiques ; ils ont construit trois choses pour prouver que cela fonctionne :

L'Algorithme de Clustering (Le Détective) :
Ils ont créé un simple programme informatique qui agit comme un détective. Il examine des groupes de mots, observe lesquels se comportent de manière similaire (synonymes) et les regroupe pour former le niveau suivant de la hiérarchie.
- Résultat : Il a reconstruit avec succès l'arbre généalogique entier en utilisant une infime quantité de données, prouvant que si vous regardez au bon niveau, la tâche est facile.
Le Réseau de Neurones Empilé (L'Échelle) :
Ils ont construit un réseau de neurones profond où chaque couche est une petite équipe. La première équipe regroupe les lettres brutes en mots. La deuxième équipe regroupe ces mots en phrases. Chaque équipe enseigne à l'équipe suivante.
- Résultat : Ce réseau a appris aussi efficacement que l'algorithme de détective simple. Il a prouvé que les réseaux profonds peuvent apprendre des hiérarchies efficacement s'ils sont structurés pour prédire leurs propres représentations internes.
L'Analyse « Data2vec » (Le Génie Caché) :
Ils ont examiné une méthode d'IA populaire appelée Data2vec. Cette méthode tente déjà de prédire ses propres représentations internes. Les auteurs ont montré que Data2vec fait implicitement la même chose que leur réseau « Échelle ».
- Résultat : Data2vec est déjà un apprenant hiérarchique ! Il n'a pas besoin d'être empilé de manières complexes (comme le suggèrent certaines théories récentes) ; il découvre naturellement les couches de la hiérarchie par lui-même. Cela signifie que nous n'avons peut-être pas besoin de construire de nouvelles architectures compliquées ; nous devons simplement utiliser des méthodes qui existent déjà mais comprendre pourquoi elles fonctionnent.

La Conclusion Principale

Le papier affirme que prédire les données brutes (tokens) est inefficace car le signal se dilue sur de longues distances. Prédire ses propres concepts internes (latents) est efficace car le signal reste fort.

Apprentissage des Tokens : Comme essayer de résoudre un puzzle de 1 000 pièces en regardant la poussière sur la table. Il vous faut un million d'essais pour trouver la bonne pièce.
Apprentissage des Latents : Comme regarder l'image sur la boîte du puzzle. Vous pouvez le résoudre avec seulement quelques essais.

Les auteurs concluent que la raison pour laquelle les apprenants biologiques (comme les humains) sont si efficaces en termes de données est probablement que nos cerveaux prédisent constamment leurs propres modèles internes du monde, plutôt que de simplement mémoriser les entrées sensorielles brutes. En déplaçant l'entraînement de l'IA pour se concentrer sur « l'apprentissage de ses propres latents », nous pouvons potentiellement construire une IA plus intelligente qui apprend avec beaucoup moins de données.

Résumé technique : Apprendre de ses propres latents et non des tokens : une théorie de la complexité d'échantillonnage

Énoncé du problème

Les modèles génératifs, y compris les modèles de diffusion et les grands modèles de langage (LLM), ont obtenu un succès empirique remarquable, mais reposent sur des données d'entraînement dont l'ordre de grandeur est bien supérieur à ce que les apprenants biologiques nécessitent. Les LLMs de pointe sont entraînés sur $10^{13}$ – $10^{14}$ tokens, dépassant largement l'exposition d'un enfant pour atteindre une compétence de niveau adulte. Bien que des hypothèses telles que la multimodalité et l'ancrage aient été proposées, ce travail examine l'hypothèse selon laquelle l'apprentissage est plus efficace non pas au niveau des tokens bruts, mais dans un espace latent abstrait.

Plus précisément, l'article comble le fossé théorique dans la compréhension des méthodes d'apprentissage auto-supervisé (SSL) qui prédisent leurs propres représentations latentes (par exemple, data2vec, JEPA) par rapport à celles qui prédisent des tokens bruts (par exemple, la modélisation de langage masquée, la diffusion). Les questions clés sont les suivantes :

Dans quelle mesure la prédiction de ses propres latents améliore-t-elle l'efficacité des données par rapport à la prédiction au niveau des tokens ?
Existe-t-il un avantage théorique à empiler explicitement de telles méthodes dans des hiérarchies multi-échelles (par exemple, H-JEPA) ?

Pour répondre à ces questions, les auteurs utilisent le Modèle de Hiérarchie Aléatoire (RHM), une grammaire context-free probabiliste (PCFG) simplifiée qui génère des tokens visibles via un arbre de variables latentes cachées de profondeur $L$ . Le RHM permet une analyse de la complexité d'échantillonnage traitable de la structure compositionnelle.

Méthodologie

Les auteurs analysent trois approches distinctes pour apprendre la hiérarchie latente du RHM :

Regroupement itératif des latents (ILC) : Une approche algorithmique où le modèle récupère la hiérarchie niveau par niveau. À chaque niveau $\ell$ , l'algorithme estime des vecteurs de contexte empiriques pour des tuples de tokens et les regroupe pour identifier des synonymes (tuples partageant le même parent). Cela construit les étiquettes latentes pour le niveau $\ell+1$ , qui servent ensuite d'entrées pour le niveau suivant.
Réseau de regroupement de latents empilés (SLC) : Une architecture neuronale différentiable et de bout en bout reflétant l'algorithme ILC. Il se compose d'une pile de $L-1$ modules, chacun contenant un Prédictor (qui prédit des tokens cousins pour estimer les vecteurs de contexte) et un Regroupeur (qui mappe les vecteurs de prédiction vers des codes latents discrets via des objectifs contrastifs). Le réseau est entraîné par descente de gradient, avec des options pour la rétropropagation globale ou des règles d'apprentissage locales (arrêt des gradients entre les modules).
Analyse théorique de data2vec : Les auteurs analysent la méthode SSL populaire data2vec, qui utilise une configuration enseignant-élève pour prédire les représentations latentes d'entrées masquées. Ils proposent un cadre théorique où les cibles de l'enseignant portent implicitement des informations latentes apprises, permettant à l'élève d'effectuer une prédiction latente hiérarchique de manière inductive.

Contributions et résultats clés

1. Bornes de complexité d'échantillonnage

L'article établit une séparation rigoureuse de la complexité d'échantillonnage entre les objectifs au niveau des tokens et les objectifs de prédiction latente :

SSL au niveau des tokens (supervisé ou masqué) : Pour récupérer l'arbre latent de profondeur $L$ , les objectifs au niveau des tokens nécessitent un nombre d'échantillons évoluant comme $P \sim m^{L+1}$ (où $m$ est le nombre de règles de production par symbole). Cela est exponentiel en la profondeur $L$ car le signal doit se propager à travers toute la hiérarchie, chaque règle non résolue atténuant le signal de corrélation d'un facteur $m$ .
Prédiction latente (ILC, SLC, data2vec) : Les auteurs prouvent que prédire ses propres latents réduit la complexité d'échantillonnage à $P \sim m^3$ $P \sim m^{3}$ (à des facteurs logarithmiques près). Cette échelle est indépendante de la profondeur $L$ .
- Mécanisme : Une fois un niveau récupéré, à la fois l'objet de conditionnement et la cible de prédiction sont élevés à ce niveau latent. Le problème à chaque niveau subséquent devient un problème local de regroupement de synonymes avec la même force statistique que la première étape, évitant l'accumulation exponentielle de bruit.

2. Validation algorithmique et neuronale

ILC : Des expériences numériques confirment que l'algorithme de regroupement itératif récupère la hiérarchie complète non-racine avec une précision évoluant comme $m^3$ , indépendante de $L$ .
SLC : Un réseau SLC entraîné de bout en bout atteint la même échelle $m^3$ . Fait notable, les auteurs montrent que cette échelle persiste même lors de l'utilisation de règles d'apprentissage strictement locales (arrêt des gradients entre les modules et absence de rétropropagation globale), suggérant une plausibilité biologique.
data2vec : Les auteurs fournissent la première analyse de complexité d'échantillonnage de data2vec. Les résultats empiriques montrent que data2vec sur le RHM évolue également comme $m^3$ . Théoriquement, ils soutiennent que data2vec effectue implicitement une prédiction latente hiérarchique : à mesure que l'enseignant met à jour ses poids, les cibles pour l'élève incorporent progressivement des représentations latentes de niveau supérieur, élevant efficacement la tâche de prédiction dans la hiérarchie sans empilement architectural explicite.

3. Implications pour l'empilement hiérarchique

Les résultats suggèrent que l'empilement explicite de modules de prédiction latente (comme dans H-JEPA) est largement redondant. Un seul module de prédiction latente (comme data2vec) est capable de découvrir et d'utiliser implicitement des structures hiérarchiques multi-échelles, atteignant la complexité d'échantillonnage optimale $m^3$ sans avoir besoin d'architectures complexes et empilées manuellement.

Importance

L'article place l'intuition selon laquelle « la prédiction au niveau des tokens est sous-optimale » sur des bases quantitatives solides. En démontrant que l'apprentissage à partir de ses propres latents peut produire des gains exponentiels en efficacité d'échantillonnage par rapport aux objectifs au niveau des tokens, ce travail fournit une justification théorique pour le passage vers la prédiction dans l'espace latent en modélisation générative.

De plus, l'analyse de data2vec suggère que les méthodes auto-supervisées actuelles les plus avancées peuvent déjà être implicitement hiérarchiques, remettant en question la nécessité de schémas de supervision hiérarchique explicites. Les auteurs concluent que le développement de modèles de données synthétiques comme le RHM est crucial pour concevoir et comprendre théoriquement de nouvelles architectures avant de les mettre à l'échelle sur le langage naturel et les images.

Ce travail met également en évidence le potentiel de règles d'apprentissage biologiquement plausibles (mises à jour locales, codage prédictif) pour atteindre une complexité d'échantillonnage optimale, comblant ainsi le fossé entre l'efficacité de l'apprentissage automatique et les contraintes de l'apprentissage biologique.