🤖 machine learning

Learn from your own latents and not from tokens: A sample-complexity theory

Dit artikel toont theoretisch en empirisch aan dat het trainen van generatieve modellen om hun eigen latente representaties te voorspellen in plaats van ruwe tokens, leidt tot een constante steekproefcomplexiteit ten opzichte van de hiërarchische diepte, en daarmee een aanzienlijk voordeel in data-efficiëntie biedt ten opzichte van traditioneel toezicht of zelftoezicht op token-niveau.

Oorspronkelijke auteurs: Daniel J. Korchinski, Alessandro Favero, Matthieu Wyart

Gepubliceerd 2026-05-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Daniel J. Korchinski, Alessandro Favero, Matthieu Wyart

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Data-Gierigaard"

Stel je voor dat je probeert een robot te leren Engels te begrijpen. Om dit te doen, voer je elke boek, website en tweet die ooit is geschreven (biljoenen woorden) aan. Zo leren huidige AI-modellen (zoals die welke essays schrijven of met je chatten). Ze kijken naar individuele woorden ("tokens") en proberen het volgende te raden.

Een menselijk kind leert echter vloeiend spreken met een tiny fractie van die data. Ze hoeven niet het hele internet te lezen; ze hoeven alleen maar met hun ouders en vrienden te praten.

Het paper vraagt: Waarom is de AI zo hongerig naar data? De auteurs suggereren dat het komt omdat de AI probeert de verkeerde dingen te leren. Het staart naar de ruwe "pixels" of "letters" (tokens) in plaats van de onderliggende concepten (latents) te begrijpen die die letters vertegenwoordigen.

De Analogie: De Russische Matroesjka-poppen

Om hun theorie uit te leggen, gebruiken de auteurs een model genaamd het Random Hierarchy Model (RHM). Denk hierbij aan een set Russische nestpoppen of een stamboom.

De Bladeren (Tokens): Helemaal onderaan heb je individuele letters of klanken.
De Middenlagen (Latents): Deze letters vormen samen woorden, die zinnen vormen, die zinnen vormen. Elk niveau is een "latent" (een verborgen concept).
De Top (Wortel): De uiteindelijke betekenis of de "ouder" van de hele structuur.

De Oude Manier (Token-niveau leren):
Stel je voor dat je probeert de structuur van deze stamboom te achterhalen, maar je mag alleen naar de onderste laag kijken (de bladeren). Om te begrijpen hoe de overgrootouders met elkaar verwant zijn, moet je een pad volgen helemaal naar beneden naar de bladeren en weer omhoog.

Het Probleem: Naarmate de boom dieper wordt (meer niveaus van betekenis), wordt het signaal steeds zwakker. Het is alsof je probeert een fluistering te horen vanaf de top van een wolkenkrabber terwijl je onderaan staat; het ruis verdrinkt het.
De Kosten: Om een diepe hiërarchie op deze manier te leren, heb je een exponentiële hoeveelheid data nodig. Als de boom 4 niveaus heeft, heb je misschien miljoenen voorbeelden nodig. Als hij 10 niveaus heeft, heb je misschien meer data nodig dan er in het universum bestaat.

De Nieuwe Manier (Leren van je eigen latents):
Stel je nu voor dat je mag kijken naar de middenlagen van de boom. In plaats van de volgende letter te raden, rad je het volgende concept.

De Oplossing: Als je op niveau 2 zit, voorspel je niveau 3. Je hoeft niet helemaal naar beneden te kijken naar de bladeren. Het signaal is sterk en helder omdat je werkt met "buren" in de hiërarchie.
Het Resultaat: Je kunt de hele structuur leren met een constante hoeveelheid data, ongeacht hoe diep de boom is. Je hebt geen miljoenen voorbeelden nodig; je hebt er alleen genoeg voor nodig om het patroon een of twee keer te zien.

De Drie Experimenten

De auteurs hebben niet alleen wiskunde gedaan; ze hebben drie dingen gebouwd om te bewijzen dat dit werkt:

Het Clustering-algoritme (De Detective):
Ze bouwden een simpel computerprogramma dat fungeert als een detective. Het kijkt naar groepen woorden, ziet welke erop lijken (synoniemen), en groepeert ze samen om het volgende niveau van de hiërarchie te vormen.
- Resultaat: Het slaagde erin de volledige stamboom opnieuw op te bouwen met een kleine hoeveelheid data, wat bewijst dat als je naar het juiste niveau kijkt, de taak eenvoudig is.
Het Gestapelde Neurale Netwerk (De Ladder):
Ze bouwden een diep neurale netwerk waarbij elke laag een klein team is. Het eerste team groepeert de ruwe letters in woorden. Het tweede team groepeert die woorden in zinnen. Elk team leert het volgende team.
- Resultaat: Dit netwerk leerde net zo efficiënt als het simpele detective-algoritme. Het bewees dat diepe netwerken hiërarchieën efficiënt kunnen leren als ze zijn gestructureerd om hun eigen interne representaties te voorspellen.
De "Data2vec"-analyse (De Verborgen Genie):
Ze keken naar een populaire AI-methode genaamd Data2vec. Deze methode probeert al zijn eigen interne representaties te voorspellen. De auteurs toonden aan dat Data2vec impliciet hetzelfde doet als hun "Ladder"-netwerk.
- Resultaat: Data2vec is al een hiërarchische lerner! Het hoeft niet op complexe manieren te worden gestapeld (zoals sommige andere recente theorieën suggereren); het ontdekt de lagen van de hiërarchie van nature zelf. Dit betekent dat we misschien geen ingewikkelde nieuwe architecturen hoeven te bouwen; we moeten alleen methoden gebruiken die al bestaan, maar begrijpen waarom ze werken.

De Kernboodschap

Het paper beweert dat het voorspellen van ruwe data (tokens) inefficiënt is omdat het signaal over lange afstanden wordt verdund. Het voorspellen van je eigen interne concepten (latents) is efficiënt omdat het signaal sterk blijft.

Token-leren: Alsof je probeert een 1.000-stukjespuzzel op te lossen door naar het stof op de tafel te kijken. Je hebt een miljoen pogingen nodig om het juiste stukje te vinden.
Latent-leren: Alsof je kijkt naar de afbeelding op de puzzeldoos. Je kunt het oplossen met slechts een paar pogingen.

De auteurs concluderen dat de reden waarom biologische leraars (zoals mensen) zo data-efficiënt zijn, waarschijnlijk komt doordat onze hersenen voortdurend hun eigen interne modellen van de wereld voorspellen, in plaats van alleen ruwe zintuiglijke input te memoriseren. Door AI-training te verschuiven naar het focussen op "leren van je eigen latents", kunnen we potentieel slimmere AI bouwen die met veel minder data leert.

Technische Samenvatting: Leren van je eigen latente representaties en niet van tokens: Een theorie over steekproefcomplexiteit

Probleemstelling

Generatieve modellen, waaronder diffusiemodellen en grote taalmodellen (LLM's), hebben opmerkelijk empirisch succes behaald, maar zijn afhankelijk van trainingsdata die meerdere ordes van grootte groter is dan wat biologische leerders nodig hebben. Toonaangevende LLM's worden getraind op $10^{13}$ – $10^{14}$ tokens, wat ver buiten de blootstelling ligt die een kind nodig heeft om volwassen competentie te bereiken. Hoewel hypotheses zoals multimodaliteit en gronding zijn voorgesteld, onderzoekt dit werk de hypothese dat leren efficiënter is op het niveau van een abstracte latente ruimte dan op het niveau van ruwe tokens.

Specifiek adresseert het artikel de theoretische kloof in het begrijpen van zelftoezichtlerende (SSL) methoden die hun eigen latente representaties voorspellen (bijvoorbeeld data2vec, JEPA) versus die welke ruwe tokens voorspellen (bijvoorbeeld gemaskerd taalmodelleren, diffusie). Belangrijke vragen zijn:

Met hoeveel verbetert het voorspellen van je eigen latente representaties de data-efficiëntie in vergelijking met token-niveau voorspelling?
Is er een theoretisch voordeel om dergelijke methoden expliciet te stapelen in multi-schaal hiërarchieën (bijvoorbeeld H-JEPA)?

Om deze vragen te beantwoorden, maken de auteurs gebruik van het Random Hierarchy Model (RHM), een vereenvoudigde probabilistische contextvrije grammatica (PCFG) die zichtbare tokens genereert via een boom van verborgen latente variabelen met diepte $L$ . Het RHM maakt een hanteerbare analyse van steekproefcomplexiteit voor compositieve structuren mogelijk.

Methodologie

De auteurs analyseren drie verschillende benaderingen om de latente hiërarchie van het RHM te leren:

Iteratieve Latente Clustering (ILC): Een algoritmische aanpak waarbij het model de hiërarchie niveau voor niveau herstelt. Op elk niveau $\ell$ schat het algoritme empirische contextvectoren voor tuples van tokens en cluster deze om synoniemen te identificeren (tuples die dezelfde ouder delen). Dit construeert de latente labels voor niveau $\ell+1$ , die vervolgens als invoer dienen voor het volgende niveau.
Gestapelde Latent-Clustering (SLC) Netwerk: Een differentieerbare, end-to-end neurale architectuur die de ILC-algoritme nabootst. Het bestaat uit een stapel van $L-1$ modules, elk met een Predictor (die neef-tokens voorspelt om contextvectoren te schatten) en een Clusterer (die voorspellingsvectoren via contrastieve doelen afbeeldt op discrete latente codes). Het netwerk wordt getraind via gradiëntafstijging, met opties voor globale backpropagatie of lokale leerregels (stop-gradiënten tussen modules).
Theoretische Analyse van data2vec: De auteurs analyseren de populaire SSL-methode data2vec, die een leerkracht-leerling-opstelling gebruikt om latente representaties van gemaskerde invoer te voorspellen. Zij stellen een theoretisch kader voor waarin de doelen van de leerkracht impliciet geleerde latente informatie dragen, waardoor de leerling inductief hiërarchische latente voorspelling kan uitvoeren.

Belangrijkste Bijdragen en Resultaten

1. Grenzen voor Steekproefcomplexiteit

Het artikel vestigt een rigoureuze scheiding in steekproefcomplexiteit tussen token-niveau doelen en latente-voorspellingsdoelen:

Token-niveau SSL (Supervised of Gemaskerd): Om de latente boom met diepte $L$ te herstellen, vereisen token-niveau doelen een aantal steekproeven dat schaalt als $P \sim m^{L+1}$ (waarbij $m$ het aantal productieregels per symbool is). Dit is exponentieel in de diepte $L$ omdat het signaal door de hele hiërarchie moet propageren, waarbij elke onopgeloste regel het correlatiesignaal verzwakt met een factor $m$ .
Latente Voorspelling (ILC, SLC, data2vec): De auteurs bewijzen dat het voorspellen van je eigen latente representaties de steekproefcomplexiteit reduceert tot $P \sim m^3$ $P \sim m^{3}$ (tot op logaritmische factoren). Deze schaling is onafhankelijk van de diepte $L$ .
- Mechanisme: Zodra een niveau is hersteld, worden zowel het conditionerende object als het voorspellingsdoel opgeheven naar dat latente niveau. Het probleem op elk daaropvolgend niveau wordt een lokaal synoniemen-clusteringprobleem met dezelfde statistische sterkte als de eerste stap, waardoor de exponentiële accumulatie van ruis wordt vermeden.

2. Algoritmische en Neuronale Validatie

ILC: Numerieke experimenten bevestigen dat het iteratieve clustering-algoritme de volledige niet-wortel hiërarchie herstelt met een nauwkeurigheid die schaalt als $m^3$ , onafhankelijk van $L$ .
SLC: Een end-to-end getraind SLC-netwerk bereikt dezelfde $m^3$ schaling. Opmerkelijk is dat de auteurs aantonen dat deze schaling geldt, zelfs bij het gebruik van strikt lokale leerregels (stop-gradiënten tussen modules en geen globale backpropagatie), wat biologische plausibiliteit suggereert.
data2vec: De auteurs leveren de eerste steekproefcomplexiteitsanalyse van data2vec. Empirische resultaten tonen aan dat data2vec op het RHM ook schaalt als $m^3$ . Theoretisch betogen zij dat data2vec impliciet hiërarchische latente voorspelling uitvoert: naarmate de leerkracht zijn gewichten bijwerkt, incorporeren de doelen voor de leerling progressief hogere niveau's van latente representaties, waardoor de voorspellingsopdracht effectief omhoog wordt gehesen in de hiërarchie zonder expliciete architecturale stapeling.

3. Implicaties voor Hiërarchische Stapeling

De resultaten suggereren dat expliciete stapeling van latente-voorspellingsmodules (zoals in H-JEPA) grotendeels overbodig is. Een enkele latente-voorspellingsmodule (zoals data2vec) is in staat om multi-schaal hiërarchische structuren impliciet te ontdekken en te benutten, waardoor de optimale $m^3$ steekproefcomplexiteit wordt bereikt zonder de noodzaak van complexe, handmatig gestapelde architecturen.

Betekenis

Het artikel plaatst de intuïtie dat "token-niveau voorspelling suboptimaal is" op een stevige kwantitatieve basis. Door aan te tonen dat leren van je eigen latente representaties exponentiële winsten in steekproefefficiëntie kan opleveren ten opzichte van token-niveau doelen, biedt het werk een theoretische rechtvaardiging voor de verschuiving naar voorspelling in de latente ruimte in generatieve modellering.

Bovendien suggereert de analyse van data2vec dat huidige state-of-the-art zelftoezichtlerende methoden mogelijk al impliciet hiërarchisch zijn, wat de noodzaak van expliciete hiërarchische toezichtschema's uitdaagt. De auteurs concluderen dat het ontwikkelen van synthetische datamodellen zoals het RHM cruciaal is voor het ontwerpen en theoretisch begrijpen van nieuwe architecturen voordat ze worden geschaald naar natuurlijke taal en afbeeldingen.

Het werk benadrukt ook het potentieel van biologisch plausibele leerregels (lokale updates, predictieve codering) om optimale steekproefcomplexiteit te bereiken, waardoor de kloof tussen machine learning-efficiëntie en biologische leerbeperkingen wordt overbrugd.