🤖 machine learning

Learn from your own latents and not from tokens: A sample-complexity theory

Dieser Artikel zeigt theoretisch und empirisch, dass das Trainieren generativer Modelle zur Vorhersage ihrer eigenen latenten Repräsentationen anstelle roher Tokens eine konstante Stichprobenkomplexität in Bezug auf die hierarchische Tiefe erreicht und damit einen erheblichen Vorteil in Bezug auf die Dateneffizienz gegenüber traditionellem überwachtem Lernen oder tokenbasiertem selbstüberwachtem Lernen bietet.

Ursprüngliche Autoren: Daniel J. Korchinski, Alessandro Favero, Matthieu Wyart

Veröffentlicht 2026-05-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Daniel J. Korchinski, Alessandro Favero, Matthieu Wyart

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „Datenfresser"

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, Englisch zu verstehen. Dazu füttern Sie ihn mit jedem Buch, jeder Website und jedem Tweet, die je geschrieben wurden ( Billionen von Wörtern). So lernen derzeitige KI-Modelle (wie die, die Aufsätze schreiben oder mit Ihnen chatten). Sie betrachten einzelne Wörter („Tokens") und versuchen, das nächste zu erraten.

Ein menschliches Kind lernt jedoch, mit einem winzigen Bruchteil dieser Daten fließend zu sprechen. Es muss nicht das gesamte Internet lesen; es reicht, mit seinen Eltern und Freunden zu sprechen.

Das Papier fragt: Warum ist die KI so hungrig nach Daten? Die Autoren vermuten, dass es daran liegt, dass die KI versucht, die falschen Dinge zu lernen. Sie starrt auf die rohen „Pixel" oder „Buchstaben" (Tokens), anstatt die zugrunde liegenden Konzepte (Latents) zu verstehen, die diese Buchstaben repräsentieren.

Die Analogie: Die russischen Matrjoschka-Puppen

Um ihre Theorie zu erklären, verwenden die Autoren ein Modell namens Random Hierarchy Model (RHM). Stellen Sie sich dies wie eine Reihe russischer Matrjoschka-Puppen oder einen Stammbaum vor.

Die Blätter (Tokens): Ganz unten haben Sie einzelne Buchstaben oder Laute.
Die mittleren Schichten (Latents): Diese Buchstaben kombinieren sich zu Wörtern, die zu Phrasen werden, die zu Sätzen werden. Jede Ebene ist ein „Latent" (ein verstecktes Konzept).
Die Spitze (Wurzel): Die endgültige Bedeutung oder der „Elternteil" der gesamten Struktur.

Der alte Weg (Token-Level-Lernen):
Stellen Sie sich vor, Sie versuchen, die Struktur dieses Stammbaums herauszufinden, dürfen aber nur die unterste Ebene (die Blätter) betrachten. Um zu verstehen, wie die Urgroßeltern miteinander verwandt sind, müssen Sie einen Weg bis ganz unten zu den Blättern und wieder zurück verfolgen.

Das Problem: Je tiefer der Baum wird (mehr Bedeutungsebenen), desto schwächer wird das Signal. Es ist, als würde man versuchen, ein Flüstern von der Spitze eines Wolkenkratzers zu hören, während man unten steht; das Rauschen übertönt es.
Die Kosten: Um eine solche tiefe Hierarchie auf diese Weise zu lernen, benötigen Sie eine exponentielle Menge an Daten. Wenn der Baum 4 Ebenen hat, benötigen Sie möglicherweise Millionen von Beispielen. Hat er 10 Ebenen, benötigen Sie möglicherweise mehr Daten, als im Universum existieren.

Der neue Weg (Lernen von den eigenen Latents):
Stellen Sie sich nun vor, Sie dürfen die mittleren Ebenen des Baums betrachten. Anstatt den nächsten Buchstaben zu erraten, erraten Sie das nächste Konzept.

Die Lösung: Wenn Sie sich auf Ebene 2 befinden, sagen Sie Ebene 3 voraus. Sie müssen nicht bis ganz unten zu den Blättern schauen. Das Signal ist stark und klar, weil Sie mit „Nachbarn" in der Hierarchie arbeiten.
Das Ergebnis: Sie können die gesamte Struktur mit einer konstanten Menge an Daten lernen, unabhängig davon, wie tief der Baum ist. Sie benötigen keine Millionen von Beispielen; Sie brauchen nur genug, um das Muster ein- oder zweimal zu sehen.

Die drei Experimente

Die Autoren haben nicht nur Mathematik betrieben; sie haben drei Dinge gebaut, um zu beweisen, dass dies funktioniert:

Der Clustering-Algorithmus (Der Detektiv):
Sie entwickelten ein einfaches Computerprogramm, das wie ein Detektiv funktioniert. Es betrachtet Gruppen von Wörtern, erkennt, welche sich ähnlich verhalten (Synonyme), und gruppiert sie zusammen, um die nächste Ebene der Hierarchie zu bilden.
- Ergebnis: Es rekonstruierte den gesamten Stammbaum erfolgreich mit einer winzigen Datenmenge und bewies, dass die Aufgabe einfach ist, wenn man die richtige Ebene betrachtet.
Das gestapelte neuronale Netzwerk (Die Leiter):
Sie bauten ein tiefes neuronales Netzwerk, bei dem jede Schicht ein kleines Team ist. Das erste Team gruppiert die rohen Buchstaben zu Wörtern. Das zweite Team gruppiert diese Wörter zu Phrasen. Jedes Team lehrt das nächste Team.
- Ergebnis: Dieses Netzwerk lernte genauso effizient wie der einfache Detektiv-Algorithmus. Es bewies, dass tiefe Netzwerke Hierarchien effizient lernen können, wenn sie so strukturiert sind, dass sie ihre eigenen internen Repräsentationen vorhersagen.
Die „Data2vec"-Analyse (Das verborgene Genie):
Sie untersuchten eine beliebte KI-Methode namens Data2vec. Diese Methode versucht bereits, ihre eigenen internen Repräsentationen vorherzusagen. Die Autoren zeigten, dass Data2vec implizit dasselbe tut wie ihr „Leiter"-Netzwerk.
- Ergebnis: Data2vec ist bereits ein hierarchischer Lerner! Es muss nicht auf komplexe Weise gestapelt werden (wie einige neuere Theorien nahelegen); es entdeckt die Ebenen der Hierarchie von selbst. Das bedeutet, dass wir möglicherweise keine komplizierten neuen Architekturen mehr bauen müssen; wir müssen nur Methoden verwenden, die bereits existieren, aber verstehen, warum sie funktionieren.

Die Kernaussage

Das Papier behauptet, dass das Vorhersagen roher Daten (Tokens) ineffizient ist, weil das Signal über große Entfernungen verwässert wird. Das Vorhersagen der eigenen internen Konzepte (Latents) ist effizient, weil das Signal stark bleibt.

Token-Lernen: Wie der Versuch, ein 1.000-Teile-Puzzle zu lösen, indem man den Staub auf dem Tisch betrachtet. Man braucht eine Million Versuche, um das richtige Teil zu finden.
Latent-Lernen: Wie das Betrachten des Bildes auf der Puzzle-Box. Man kann es mit nur wenigen Versuchen lösen.

Die Autoren kommen zu dem Schluss, dass der Grund, warum biologische Lerner (wie Menschen) so dateneffizient sind, wahrscheinlich darin liegt, dass unsere Gehirne ständig ihre eigenen internen Modelle der Welt vorhersagen, anstatt nur rohe sensorische Eingaben auswendig zu lernen. Indem wir das KI-Training darauf ausrichten, „von den eigenen Latents zu lernen", können wir potenziell intelligentere KI bauen, die mit weit weniger Daten lernt.

Technische Zusammenfassung: Lernen aus den eigenen Latents und nicht aus Tokens: Eine Theorie der Stichprobenkomplexität

Problemstellung

Generative Modelle, einschließlich Diffusionsmodelle und Large Language Models (LLMs), haben bemerkenswerte empirische Erfolge erzielt, sind jedoch auf Trainingsdaten angewiesen, die um Größenordnungen größer sind als das, was biologische Lernende benötigen. Frontier-LLMs werden mit $10^{13}$ – $10^{14}$ Tokens trainiert, was die Exposition eines Kindes, um auf das Kompetenzniveau eines Erwachsenen zu gelangen, weit übersteigt. Während Hypothesen wie Multimodalität und Grounding vorgeschlagen wurden, untersucht diese Arbeit die Hypothese, dass Lernen auf der Ebene roher Tokens weniger effizient ist als in einem abstrakten Latent-Raum.

Insbesondere adressiert das Papier die theoretische Lücke beim Verständnis von selbstüberwachten Lernmethoden (SSL), die ihre eigenen latenten Repräsentationen vorhersagen (z. B. data2vec, JEPA), im Vergleich zu solchen, die rohe Tokens vorhersagen (z. B. Masked Language Modeling, Diffusion). Zu den Schlüsselfragen gehören:

Wie stark verbessert die Vorhersage der eigenen Latents die Dateneffizienz im Vergleich zur Token-Ebene-Vorhersage?
Gibt es einen theoretischen Vorteil darin, solche Methoden explizit in Multi-Scale-Hierarchien zu stapeln (z. B. H-JEPA)?

Um diese Fragen zu beantworten, nutzen die Autoren das Random Hierarchy Model (RHM), eine vereinfachte probabilistische kontextfreie Grammatik (PCFG), die sichtbare Tokens über einen Baum verborgener latenter Variablen der Tiefe $L$ generiert. Das RHM ermöglicht eine handhabbare Analyse der Stichprobenkomplexität von zusammengesetzten Strukturen.

Methodik

Die Autoren analysieren drei verschiedene Ansätze zum Erlernen der latenten Hierarchie des RHM:

Iteratives Latent-Clustering (ILC): Ein algorithmischer Ansatz, bei dem das Modell die Hierarchie schichtweise wiederherstellt. Auf jeder Ebene $\ell$ schätzt der Algorithmus empirische Kontextvektoren für Tupel von Tokens und clustert sie, um Synonyme zu identifizieren (Tupel, die denselben Elternteil teilen). Dies konstruiert die latenten Labels für Ebene $\ell+1$ , die dann als Eingaben für die nächste Ebene dienen.
Gestapeltes Latent-Clustering (SLC) Netzwerk: Eine differenzierbare, End-to-End-Neuralarchitektur, die den ILC-Algorithmus widerspiegelt. Es besteht aus einem Stapel von $L-1$ Modulen, die jeweils einen Predictor (der Cousin-Tokens vorhersagt, um Kontextvektoren zu schätzen) und einen Clusterer (der Vorhersagevektoren über kontrastive Ziele auf diskrete latente Codes abbildet) enthalten. Das Netzwerk wird mittels Gradientenabstieg trainiert, mit Optionen für globale Backpropagation oder lokale Lernregeln (Stop-Gradients zwischen den Modulen).
Theoretische Analyse von data2vec: Die Autoren analysieren die populäre SSL-Methode data2vec, die ein Teacher-Student-Setup verwendet, um latente Repräsentationen von maskierten Eingaben vorherzusagen. Sie schlagen einen theoretischen Rahmen vor, in dem die Ziele des Teachers implizit gelernte latente Informationen tragen, was es dem Student ermöglicht, hierarchische latente Vorhersagen induktiv durchzuführen.

Hauptbeiträge und Ergebnisse

1. Schranken der Stichprobenkomplexität

Das Papier etabliert eine rigorose Trennung in der Stichprobenkomplexität zwischen Token-Ebene-Zielen und Latent-Vorhersage-Zielen:

Token-Ebene-SSL (Supervidiert oder Maskiert): Um den latenten Baum der Tiefe $L$ wiederherzustellen, benötigen Token-Ebene-Ziele eine Anzahl von Stichproben, die sich wie $P \sim m^{L+1}$ skaliert (wobei $m$ die Anzahl der Produktionsregeln pro Symbol ist). Dies ist exponentiell in der Tiefe $L$ , da das Signal durch die gesamte Hierarchie propagieren muss, wobei jede ungelöste Regel das Korrelationssignal um einen Faktor $m$ abschwächt.
Latent-Vorhersage (ILC, SLC, data2vec): Die Autoren beweisen, dass die Vorhersage der eigenen Latents die Stichprobenkomplexität auf $P \sim m^3$ $P \sim m^{3}$ reduziert (bis auf logarithmische Faktoren). Diese Skalierung ist unabhängig von der Tiefe $L$ .
- Mechanismus: Sobald eine Ebene wiederhergestellt ist, werden sowohl das konditionierende Objekt als auch das Vorhersageziel auf diese latente Ebene gehoben. Das Problem auf jeder nachfolgenden Ebene wird zu einem lokalen Synonym-Clustering-Problem mit derselben statistischen Stärke wie der erste Schritt, wodurch die exponentielle Anhäufung von Rauschen vermieden wird.

2. Algorithmische und neuronale Validierung

ILC: Numerische Experimente bestätigen, dass der iterative Clustering-Algorithmus die vollständige Nicht-Wurzel-Hierarchie mit einer Genauigkeit wiederherstellt, die sich wie $m^3$ skaliert, unabhängig von $L$ .
SLC: Ein End-to-End-getrainiertes SLC-Netzwerk erreicht dieselbe $m^3$ -Skalierung. Bemerkenswerterweise zeigen die Autoren, dass diese Skalierung auch gilt, wenn strikt lokale Lernregeln verwendet werden (Stop-Gradients zwischen Modulen und keine globale Backpropagation), was biologische Plausibilität nahelegt.
data2vec: Die Autoren liefern die erste Stichprobenkomplexitätsanalyse von data2vec. Empirische Ergebnisse zeigen, dass data2vec auf dem RHM ebenfalls wie $m^3$ skaliert. Theoretisch argumentieren sie, dass data2vec implizit hierarchische Latent-Vorhersagen durchführt: Während der Teacher seine Gewichte aktualisiert, integrieren die Ziele für den Student progressiv höherwertige latente Repräsentationen, wodurch die Vorhersageaufgabe effektiv die Hierarchie hinaufgehoben wird, ohne explizites architektonisches Stapeln.

3. Implikationen für hierarchisches Stapeln

Die Ergebnisse deuten darauf hin, dass das explizite Stapeln von Latent-Vorhersage-Modulen (wie in H-JEPA) weitgehend redundant ist. Ein einzelnes Latent-Vorhersage-Modul (wie data2vec) ist in der Lage, Multi-Scale-Hierarchiestrukturen implizit zu entdecken und zu nutzen, wobei die optimale $m^3$ -Stichprobenkomplexität erreicht wird, ohne komplexe, manuell gestapelte Architekturen zu benötigen.

Bedeutung

Das Papier setzt die Intuition, dass „Token-Ebene-Vorhersage suboptimal ist", auf ein solides quantitatives Fundament. Indem gezeigt wird, dass das Lernen aus den eigenen Latents exponentielle Gewinne in der Stichprobeneffizienz gegenüber Token-Ebene-Zielen liefern kann, bietet die Arbeit eine theoretische Begründung für den Wandel hin zur Latent-Raum-Vorhersage in der generativen Modellierung.

Darüber hinaus legt die Analyse von data2vec nahe, dass aktuelle State-of-the-Art selbstüberwachte Methoden bereits implizit hierarchisch sein könnten, was die Notwendigkeit expliziter hierarchischer Überwachungspläne in Frage stellt. Die Autoren schließen daraus, dass die Entwicklung synthetischer Datenmodelle wie des RHM entscheidend ist, um neue Architekturen zu entwerfen und theoretisch zu verstehen, bevor sie auf natürliche Sprache und Bilder skaliert werden.

Die Arbeit hebt zudem das Potenzial biologisch plausibler Lernregeln (lokale Updates, Predictive Coding) hervor, optimale Stichprobenkomplexität zu erreichen, und schließt so die Lücke zwischen der Effizienz des maschinellen Lernens und den Einschränkungen des biologischen Lernens.