🤖 machine learning

Learn from your own latents and not from tokens: A sample-complexity theory

Este artículo demuestra teórica y empíricamente que entrenar modelos generativos para predecir sus propias representaciones latentes, en lugar de tokens crudos, logra una complejidad de muestra constante con respecto a la profundidad jerárquica, ofreciendo así una ventaja significativa en eficiencia de datos sobre el aprendizaje supervisado tradicional o el aprendizaje auto-supervisado a nivel de token.

Autores originales: Daniel J. Korchinski, Alessandro Favero, Matthieu Wyart

Publicado 2026-05-28

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Daniel J. Korchinski, Alessandro Favero, Matthieu Wyart

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Gran Problema: El "Glotón de Datos"

Imagina que estás intentando enseñar a un robot a entender el inglés. Para ello, le alimentas con cada libro, sitio web y tweet jamás escrito (billones de palabras). Así es como los modelos de IA actuales (como los que escriben ensayos o chatean contigo) aprenden. Observan palabras individuales ("tokens") e intentan adivinar la siguiente.

Sin embargo, un niño humano aprende a hablar con fluidez con una fracción minúscula de esos datos. No necesita leer todo internet; solo necesita hablar con sus padres y amigos.

El artículo pregunta: ¿Por qué la IA tiene tanta hambre de datos? Los autores sugieren que es porque la IA está intentando aprender las cosas equivocadas. Está mirando los "píxeles" o "letras" crudos (tokens) en lugar de entender los conceptos subyacentes (latentes) que esas letras representan.

La Analogía: Las Muñecas Rusas

Para explicar su teoría, los autores utilizan un modelo llamado el Modelo de Jerarquía Aleatoria (RHM). Piensa en esto como un conjunto de muñecas rusas o un árbol genealógico.

Las Hojas (Tokens): En la parte más baja, tienes letras o sonidos individuales.
Las Capas Intermedias (Latentes): Estas letras se combinan para formar palabras, que forman frases, que forman oraciones. Cada nivel es un "latente" (un concepto oculto).
La Cima (Raíz): El significado final o el "padre" de toda la estructura.

La Vieja Forma (Aprendizaje a Nivel de Token):
Imagina que estás intentando descubrir la estructura de este árbol genealógico, pero solo se te permite mirar la capa inferior (las hojas). Para entender cómo se relacionan los bisabuelos, tienes que trazar un camino hasta las hojas y volver a subir.

El Problema: A medida que el árbol se vuelve más profundo (más niveles de significado), la señal se debilita cada vez más. Es como intentar escuchar un susurro desde la cima de un rascacielos mientras estás parado en la base; el ruido lo ahoga.
El Costo: Para aprender una jerarquía profunda de esta manera, necesitas una cantidad exponencial de datos. Si el árbol tiene 4 niveles, podrías necesitar millones de ejemplos. Si tiene 10 niveles, podrías necesitar más datos de los que existen en el universo.

La Nueva Forma (Aprender de tus Propios Latentes):
Ahora, imagina que se te permite mirar las capas intermedias del árbol. En lugar de adivinar la siguiente letra, adivinas el siguiente concepto.

La Solución: Si estás en el nivel 2, predices el nivel 3. No tienes que mirar hasta el fondo, hasta las hojas. La señal es fuerte y clara porque estás trabajando con "vecinos" en la jerarquía.
El Resultado: Puedes aprender toda la estructura con una cantidad constante de datos, independientemente de lo profundo que sea el árbol. No necesitas millones de ejemplos; solo necesitas suficiente para ver el patrón una o dos veces.

Los Tres Experimentos

Los autores no solo hicieron matemáticas; construyeron tres cosas para demostrar que esto funciona:

El Algoritmo de Agrupamiento (El Detective):
Construyeron un programa informático simple que actúa como un detective. Observa grupos de palabras, ve cuáles se comportan de manera similar (sinónimos) y las agrupa para formar el siguiente nivel de la jerarquía.
- Resultado: Reconstruyó con éxito todo el árbol genealógico usando una cantidad diminuta de datos, demostrando que si miras el nivel correcto, el trabajo es fácil.
La Red Neuronal Apilada (La Escalera):
Construyeron una red neuronal profunda donde cada capa es un pequeño equipo. El primer equipo agrupa las letras crudas en palabras. El segundo equipo agrupa esas palabras en frases. Cada equipo enseña al siguiente.
- Resultado: Esta red aprendió con la misma eficiencia que el algoritmo simple de detective. Demostró que las redes profundas pueden aprender jerarquías de manera eficiente si están estructuradas para predecir sus propias representaciones internas.
El Análisis "Data2vec" (El Genio Oculto):
Observaron un método popular de IA llamado Data2vec. Este método ya intenta predecir sus propias representaciones internas. Los autores mostraron que Data2vec está implícitamente haciendo lo mismo que su red "Escalera".
- Resultado: ¡Data2vec ya es un aprendiz jerárquico! No necesita estar apilado de formas complejas (como sugieren algunas teorías recientes); descubre naturalmente las capas de la jerarquía por sí mismo. Esto significa que quizás no necesitemos construir arquitecturas nuevas y complicadas; solo necesitamos usar métodos que ya existen pero entender por qué funcionan.

La Conclusión Central

El artículo afirma que predecir datos crudos (tokens) es ineficiente porque la señal se diluye a lo largo de grandes distancias. Predecir tus propios conceptos internos (latentes) es eficiente porque la señal se mantiene fuerte.

Aprendizaje de Token: Como intentar resolver un rompecabezas de 1.000 piezas mirando el polvo sobre la mesa. Necesitas un millón de intentos para encontrar la pieza correcta.
Aprendizaje de Latente: Como mirar la imagen en la caja del rompecabezas. Puedes resolverlo con solo unos pocos intentos.

Los autores concluyen que la razón por la que los aprendices biológicos (como los humanos) son tan eficientes en el uso de datos es probablemente porque nuestros cerebros están constantemente prediciendo sus propios modelos internos del mundo, en lugar de simplemente memorizar la entrada sensorial cruda. Al cambiar el entrenamiento de la IA para centrarse en "aprender de tus propios latentes", podemos potencialmente construir una IA más inteligente que aprenda con muchos menos datos.

Resumen Técnico: Aprende de tus propios latentes y no de los tokens: Una teoría de complejidad de muestra

Enunciado del Problema

Los modelos generativos, incluidos los modelos de difusión y los grandes modelos de lenguaje (LLM), han logrado un éxito empírico notable, pero dependen de datos de entrenamiento con órdenes de magnitud mayores que los requeridos por los aprendices biológicos. Los LLM de vanguardia se entrenan con $10^{13}$ – $10^{14}$ tokens, superando con creces la exposición de un niño para alcanzar una competencia a nivel adulto. Aunque se han propuesto hipótesis como la multimodalidad y la fundamentación, este trabajo investiga la hipótesis de que el aprendizaje es más eficiente no a nivel de tokens crudos, sino en un espacio latente abstracto.

Específicamente, el artículo aborda la brecha teórica en la comprensión de los métodos de aprendizaje auto-supervisado (SSL) que predicen sus propias representaciones latentes (por ejemplo, data2vec, JEPA) frente a aquellos que predicen tokens crudos (por ejemplo, modelado de lenguaje enmascarado, difusión). Las preguntas clave incluyen:

¿En qué medida mejora la predicción de los propios latentes la eficiencia de los datos en comparación con la predicción a nivel de tokens?
¿Existe un beneficio teórico en apilar explícitamente dichos métodos en jerarquías multiescala (por ejemplo, H-JEPA)?

Para responder a estas preguntas, los autores utilizan el Modelo de Jerarquía Aleatoria (RHM), una gramática libre de contexto probabilística (PCFG) simplificada que genera tokens visibles a través de un árbol de variables latentes ocultas de profundidad $L$ . El RHM permite un análisis tratable de la complejidad de muestra de la estructura composicional.

Metodología

Los autores analizan tres enfoques distintos para aprender la jerarquía latente del RHM:

Agrupamiento Latente Iterativo (ILC): Un enfoque algorítmico donde el modelo recupera la jerarquía nivel por nivel. En cada nivel $\ell$ , el algoritmo estima vectores de contexto empíricos para tuplas de tokens y los agrupa para identificar sinónimos (tuplas que comparten el mismo padre). Esto construye las etiquetas latentes para el nivel $\ell+1$ , que luego sirven como entradas para el siguiente nivel.
Red de Agrupamiento Latente Apilada (SLC): Una arquitectura neuronal diferenciable y de extremo a extremo que refleja el algoritmo ILC. Consiste en una pila de $L-1$ módulos, cada uno conteniendo un Predictor (que predice tokens primos para estimar vectores de contexto) y un Agrupador (que mapea vectores de predicción a códigos latentes discretos mediante objetivos contrastivos). La red se entrena mediante descenso de gradiente, con opciones de retropropagación global o reglas de aprendizaje locales (stop-gradients entre módulos).
Análisis Teórico de data2vec: Los autores analizan el popular método SSL data2vec, que utiliza una configuración maestro-alumno para predecir representaciones latentes de entradas enmascaradas. Proponen un marco teórico donde los objetivos del maestro llevan implícitamente información latente aprendida, permitiendo que el alumno realice predicción latente jerárquica de manera inductiva.

Contribuciones y Resultados Clave

1. Límites de Complejidad de Muestra

El artículo establece una separación rigurosa en la complejidad de muestra entre los objetivos a nivel de tokens y los objetivos de predicción latente:

SSL a nivel de tokens (Supervisado o Enmascarado): Para recuperar el árbol latente de profundidad $L$ , los objetivos a nivel de tokens requieren un número de muestras que escala como $P \sim m^{L+1}$ (donde $m$ es el número de reglas de producción por símbolo). Esto es exponencial en la profundidad $L$ porque la señal debe propagarse a través de toda la jerarquía, con cada regla no resuelta atenuando la señal de correlación por un factor de $m$ .
Predicción Latente (ILC, SLC, data2vec): Los autores demuestran que predecir los propios latentes reduce la complejidad de muestra a $P \sim m^3$ $P \sim m^{3}$ (hasta factores logarítmicos). Esta escala es independiente de la profundidad $L$ .
- Mecanismo: Una vez recuperado un nivel, tanto el objeto de condicionamiento como el objetivo de predicción se elevan a ese nivel latente. El problema en cada nivel subsiguiente se convierte en un problema de agrupamiento de sinónimos local con la misma fuerza estadística que el primer paso, evitando la acumulación exponencial de ruido.

2. Validación Algorítmica y Neuronal

ILC: Los experimentos numéricos confirman que el algoritmo de agrupamiento iterativo recupera la jerarquía completa no raíz con una precisión que escala como $m^3$ , independientemente de $L$ .
SLC: Una red SLC entrenada de extremo a extremo logra la misma escala de $m^3$ . Cabe destacar que los autores muestran que esta escala se mantiene incluso al utilizar reglas de aprendizaje estrictamente locales (stop-gradients entre módulos y sin retropropagación global), lo que sugiere plausibilidad biológica.
data2vec: Los autores proporcionan el primer análisis de complejidad de muestra de data2vec. Los resultados empíricos muestran que data2vec en el RHM también escala como $m^3$ . Teóricamente, argumentan que data2vec realiza implícitamente predicción latente jerárquica: a medida que el maestro actualiza sus pesos, los objetivos para el alumno incorporan progresivamente representaciones latentes de nivel superior, elevando efectivamente la tarea de predicción a lo largo de la jerarquía sin un apilamiento arquitectónico explícito.

3. Implicaciones para el Apilamiento Jerárquico

Los resultados sugieren que el apilamiento explícito de módulos de predicción latente (como en H-JEPA) es en gran medida redundante. Un único módulo de predicción latente (como data2vec) es capaz de descubrir y utilizar implícitamente estructuras jerárquicas multiescala, logrando la complejidad de muestra óptima de $m^3$ sin necesidad de arquitecturas complejas apiladas manualmente.

Significado

El artículo coloca la intuición de que "la predicción a nivel de tokens es subóptima" sobre una base cuantitativa sólida. Al demostrar que aprender de los propios latentes puede generar ganancias exponenciales en la eficiencia de muestra sobre los objetivos a nivel de tokens, el trabajo proporciona una justificación teórica para el cambio hacia la predicción en el espacio latente en el modelado generativo.

Además, el análisis de data2vec sugiere que los métodos auto-supervisados actuales de vanguardia pueden ser ya implícitamente jerárquicos, desafiando la necesidad de esquemas de supervisión jerárquica explícita. Los autores concluyen que desarrollar modelos de datos sintéticos como el RHM es crucial para diseñar y comprender teóricamente nuevas arquitecturas antes de escalarlas al lenguaje natural y a las imágenes.

El trabajo también resalta el potencial de las reglas de aprendizaje biológicamente plausibles (actualizaciones locales, codificación predictiva) para lograr una complejidad de muestra óptima, cerrando la brecha entre la eficiencia del aprendizaje automático y las restricciones del aprendizaje biológico.