💬 NLP

LLMs on the Line: Data Determines Loss-to-Loss Scaling Laws

Este artículo demuestra que los datos de preentrenamiento son el determinante principal de las leyes de escalado de pérdida a pérdida en los modelos de lenguaje grandes, mientras que factores como el tamaño del modelo, la arquitectura y los hiperparámetros tienen un impacto mínimo, lo que sugiere que la curación de datos es más crítica que las elecciones arquitectónicas para optimizar el rendimiento downstream.

Autores originales: Prasanna Mayilvahanan, Thaddäus Wiedemer, Sayak Mallick, Matthias Bethge, Wieland Brendel

Publicado 2026-05-21

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Prasanna Mayilvahanan, Thaddäus Wiedemer, Sayak Mallick, Matthias Bethge, Wieland Brendel

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando hornear el pan perfecto. Durante años, los científicos han estado obsesionados con la receta: "Si usas 100 gramos de harina y 500 gramos de agua, obtienes una textura específica". Esto es similar a cómo construimos actualmente los Modelos de Lenguaje Grande (LLM). Tenemos "leyes de escalado" que nos indican qué tamaño debe tener el modelo y cuántos datos necesita para aprender, basándonos en la cantidad de potencia informática que tenemos.

Pero hay un truco. Que un modelo aprenda la receta perfectamente no significa que horneará un gran pastel (que se desempeñe bien en tareas del mundo real).

Este artículo, "LLMs on the Line: Data Determines Loss-to-Loss Scaling Laws", plantea una pregunta sencilla: ¿Qué determina realmente qué tan bien se desempeña un modelo en nuevas tareas una vez que ha terminado de aprender?

Los autores probaron docenas de variables: cambiando la estructura cerebral del modelo, el tamaño del modelo, las herramientas utilizadas para leer el texto e incluso las matemáticas empleadas para enseñarlo. Encontraron una verdad masiva y sorprendente: Los datos son lo único que realmente importa.

Aquí está el desglose usando analogías simples:

1. La línea "Pérdida a Pérdida"

Imagina que estás entrenando a un estudiante. Le das un examen de práctica (Pérdida de Entrenamiento) y luego un examen final (Pérdida de Prueba).

El Descubrimiento: Existe una línea recta muy predecible que conecta qué tan bien les va en el examen de práctica con qué tan bien les va en el examen final.
La Analogía: Si un estudiante obtiene un 90% en la práctica, casi con seguridad obtendrá un 90% en el final, independientemente de si lleva una camisa roja o una azul. El artículo llama a esto una "ley de potencias desplazada". Es una regla confiable que se mantiene cierta en casi todo.

2. Los "Tres Grandes" Factores (Y por qué no importan)

Los investigadores jugaron a "Mad Libs" con el proceso de entrenamiento, intercambiando diferentes ingredientes para ver qué cambiaba el resultado final. Descubrieron que tres categorías principales tuvieron casi cero efecto en esa línea predecible:

La Arquitectura (La Estructura Cerebral): Compararon Llama (un Transformer, como un cerebro humano estándar) con Mamba (un modelo de Espacio de Estados, como un tipo completamente diferente de cerebro alienígena).
- El Resultado: Si alimentas a ambos cerebros con exactamente el mismo libro de texto, terminan en exactamente la misma línea de rendimiento. No importa si el cerebro tiene forma de Transformer o de Mamba; si los datos son los mismos, el resultado es el mismo.
El Tokenizador (El Diccionario): Esta es la herramienta que divide las oraciones en palabras o fragmentos. Probaron diferentes diccionarios (algunos con 128.000 palabras, otros con 50.000).
- El Resultado: Cambiar el diccionario fue como cambiar la fuente del libro de texto. No cambió qué tan bien el estudiante aprendió el material.
Los Ajustes (Los Hábitos de Estudio): Cambiaron el tamaño del modelo (pequeño vs. grande), la longitud de las oraciones (longitud de contexto) y las matemáticas utilizadas para corregir errores (optimizadores).
- El Resultado: Ya sea que el estudiante estudiara durante 10 minutos o 10 horas, o usara un bolígrafo rojo o uno azul, la relación entre las puntuaciones de práctica y las finales permaneció igual.

3. La "Una Cosa" que Importa: Los Datos

Mientras que la estructura cerebral, el diccionario y los hábitos de estudio no importaron, el libro de texto en sí lo cambió todo.

La Analogía: Imagina dos estudiantes. El Estudiante A lee un libro de texto sobre Cocina. El Estudiante B lee un libro de texto sobre Astrofísica.
- Incluso si el Estudiante A tiene un cerebro de superordenador y el Estudiante B tiene un cerebro de calculadora simple, el Estudiante A será excelente cocinando y terrible en astrofísica. El Estudiante B será lo contrario.
- El artículo descubrió que cambiar los datos de preentrenamiento (el libro de texto) desplaza toda la línea de rendimiento. Si entrenas con datos educativos de alta calidad (como "FineWeb-Edu"), el modelo se desempeña mejor en tareas del mundo real. Si entrenas con datos desordenados, se desempeña peor.

La Conclusión para los Practicantes

El artículo concluye con un mensaje claro para cualquiera que construya IA:

Deja de obsesionarte con la arquitectura y empieza a obsesionarte con los datos.

Si quieres un modelo que se desempeñe bien en tareas del mundo real, no necesitas inventar un nuevo tipo de cerebro ni ajustar los parámetros matemáticos. Necesitas curar un mejor conjunto de datos.

Los Datos son el conductor. Determinan el destino.
La Arquitectura y los Ajustes son solo el coche. Puedes cambiar el coche por un Ferrari o un Honda para hacer el viaje más eficiente o más barato, pero si pones el mapa equivocado (datos) en el GPS, aún terminarás en el lugar incorrecto.

En resumen: Los datos determinan el destino; todo lo demás solo determina qué tan eficientemente llegas allí.

Resumen Técnico: LLMs en la Línea: Los Datos Determinan las Leyes de Escalado de Pérdida a Pérdida

Declaración del Problema

Las leyes de escalado han guiado tradicionalmente el desarrollo de Modelos de Lenguaje Grandes (LLM) al estimar el equilibrio óptimo entre el tamaño del modelo, la cantidad de tokens y el presupuesto de cómputo (medido en FLOPs) para minimizar la pérdida de entrenamiento o validación. Sin embargo, estas leyes de "cómputo a pérdida" no predicen de manera fiable el rendimiento en tareas posteriores. Aunque trabajos recientes han introducido leyes de escalado de "pérdida a pérdida" —relaciones entre la pérdida de entrenamiento/validación y la pérdida de prueba en tareas posteriores— para comprender mejor la generalización, los estudios existentes se limitan en gran medida a configuraciones arquitectónicas o de entrenamiento individuales. En consecuencia, sigue sin estar claro qué factores (por ejemplo, arquitectura, tokenizador, tamaño del modelo, configuraciones de optimización) influyen causalmente en la forma y la transferibilidad de estas tendencias de escalado de pérdida a pérdida.

Metodología

Los autores realizan un análisis causal a gran escala que involucra más de 6.000 puntos de control de modelos para investigar los factores que impulsan el escalado de pérdida a pérdida. Su enfoque amplía trabajos anteriores (Brandfonbrener et al., 2024; Du et al., 2025) al intervenir sistemáticamente en múltiples variables a través de diversas arquitecturas y configuraciones de entrenamiento.

Configuración Experimental:

Arquitecturas: El estudio compara modelos basados en Transformers (Llama-3, variantes de GPT) con Modelos de Espacio de Estados (Mamba, Mamba2).
Conjuntos de Datos: Los modelos se entrenan en diversos corpus de preentrenamiento, incluidos FineWeb-Edu, C4, The Pile (versiones original, desduplicada y sin derechos de autor) y RefinedWeb.
Tokenizadores: Se realizan comparaciones entre los tokenizadores tiktoken (vocabulario de 128k) y gpt2/gpt-neox (vocabulario de aprox. 50k).
Intervenciones: Los autores realizan estudios de ablación sobre:
- Distribución de los datos de preentrenamiento.
- Elección del tokenizador.
- Arquitectura del modelo (Transformer vs. Espacio de Estados).
- Tamaño del modelo (variando profundidad y ancho).
- Longitud del contexto (1024, 2048, 3076 tokens).
- Configuraciones de optimización (Adam vs. AdamW, tasas de aprendizaje, decaimiento de pesos y programas de tasa de aprendizaje como Cosine y WSD).
Evaluación: El rendimiento se mide utilizando la pérdida en tareas posteriores (por ejemplo, HellaSwag, ARC, MMLU) y conjuntos de validación. Para garantizar una comparación justa entre tokenizadores, la pérdida se normaliza a bits por byte (BPB).
Modelado: Los autores ajustan leyes de potencias desplazadas a los datos, siguiendo la formulación:
$L_y \approx K \cdot (L_x - E_{x|p})^\kappa + E_{y|p}$
donde $L_x$ y $L_y$ son las pérdidas en diferentes conjuntos de datos, y $E$ representa el error irreducible.

Contribuciones y Resultados Clave

1. El Escalado de Pérdida a Pérdida Sigue Leyes de Potencias Desplazadas

En todas las arquitecturas, conjuntos de datos y configuraciones de entrenamiento, la relación entre la pérdida de entrenamiento/validación y la pérdida de prueba posterior sigue consistentemente una ley de potencias desplazada. Esto se mantiene incluso para conjuntos de datos donde el modelo nunca alcanza una alta precisión (por ejemplo, Mamba en ARC-Challenge), confirmando la robustez del escalado de pérdida a pérdida como métrica para el comportamiento de generalización.

2. Los Datos de Preentrenamiento son el Factor Dominante

El hallazgo más significativo es que la distribución de los datos de preentrenamiento es el determinante principal de la tendencia de escalado de pérdida a pérdida.

Cambiar el conjunto de datos de preentrenamiento (por ejemplo, de FineWeb-Edu a C4 o The Pile) resulta en desplazamientos sustanciales en la curva de escalado.
Incluso cambios sutiles, como desduplicar The Pile, alteran la distribución subyacente lo suficiente como para desplazar la ley de escalado.
Esto implica que el "sesgo inductivo" que gobierna la generalización está codificado en gran medida en la distribución de los datos y no en la arquitectura del modelo.

3. La Arquitectura, el Tokenizador y los Hiperparámetros Tienen un Impacto Despreciable

En contraste con los datos, otras decisiones de diseño tienen un efecto mínimo o nulo en la tendencia de escalado:

Arquitectura: Modelos con sesgos inductivos fundamentalmente diferentes, como Transformers (Llama) y Modelos de Espacio de Estados (Mamba), exhiben curvas de escalado de pérdida a pérdida casi idénticas cuando se entrenan con los mismos datos y tokenizador.
Tokenizador: Cambiar el tokenizador (por ejemplo, tiktoken vs. gpt2) resulta solo en variaciones menores en las curvas de escalado, siempre que la pérdida se normalice por bytes.
Tamaño del Modelo y Longitud del Contexto: Variar la cantidad de parámetros (de ~60M a ~2.8B) y las longitudes de contexto (1024 a 3076) no altera significativamente la relación de escalado.
Optimización: Los cambios en optimizadores (Adam/AdamW), tasas de aprendizaje, decaimiento de pesos y programas no afectan los coeficientes de escalado.

4. Generalización Punto a Punto

El estudio demuestra que si dos configuraciones de entrenamiento distintas (por ejemplo, diferentes arquitecturas o tamaños) logran pérdidas de entrenamiento similares en los mismos datos de preentrenamiento, exhibirán un rendimiento de prueba posterior estrechamente coincidente. Esto sugiere que las arquitecturas actuales de LLM pueden converger hacia soluciones similares dado el mismo conjunto de datos, compartiendo efectivamente sesgos inductivos similares con respecto a la generalización.

Significado y Afirmaciones

El artículo argumenta que el enfoque del campo en la innovación arquitectónica para mejorar la generalización puede estar mal dirigido. En cambio, los autores afirman que la curación de datos es el motor principal del rendimiento y la robustez en tareas posteriores.

Para los Practicantes: Los hallazgos sugieren que los practicantes deben priorizar la curación cuidadosa de los conjuntos de datos de preentrenamiento para optimizar el rendimiento posterior. Una vez seleccionado un conjunto de datos de alta calidad, las arquitecturas y configuraciones de entrenamiento pueden optimizarse libremente para la eficiencia de entrenamiento (por ejemplo, eligiendo arquitecturas más rápidas como Mamba o ajustando hiperparámetros) sin temor a impactar negativamente la generalización posterior.
Implicación Teórica: Los resultados desafían la noción de que diferentes arquitecturas codifican sesgos inductivos distintos con respecto a la generalización. En cambio, sugieren que la distribución de los datos dicta el comportamiento de generalización, mientras que las arquitecturas sirven principalmente como aproximadores de funciones eficientes para esos datos.

Los autores mantienen una postura modesta, reconociendo que sus conclusiones se basan en las configuraciones específicas exploradas (funciones de pérdida estándar, entrenamiento convencional). Señalan que paradigmas de entrenamiento innovadores (por ejemplo, crecimiento estructurado o funciones de pérdida diferentes) podrían aún inducir nuevos comportamientos de escalado, pero dentro de los límites de las mejores prácticas actuales, los datos siguen siendo el factor decisivo.