🤖 machine learning

Small-Scale Experiments: Are We There Yet?

Este artículo sostiene que el percibido fracaso de los experimentos a pequeña escala para validar las leyes de escalado se debe a la sensibilidad de los hiperparámetros en lugar del tamaño del modelo, demostrando que con un ajuste adecuado y una metodología holística, los modelos pequeños pueden predecir de manera fiable resultados a gran escala, tales como la superioridad de la pre-normalización en los transformers.

Autores originales: Nicholas Lourie, Kyunghyun Cho, Karen Ullrich, Sanae Lotfi

Publicado 2026-08-13

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Nicholas Lourie, Kyunghyun Cho, Karen Ullrich, Sanae Lotfi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando hornear la hogaza de pan perfecta, pero solo tienes una cocina diminuta y estrecha. Quieres saber cómo hornear una hogaza gigante, del tamaño de una ciudad, para un festival, pero hornear esa hogaza gigante costaría una fortuna en harina y tiempo de horno. Así que decides probar tus recetas con pequeños panecillos de 4 onzas primero. Este es el sueño de las "leyes de escala" en el mundo de la inteligencia artificial: la idea de que si entiendes cómo aprende un modelo de IA pequeño, puedes predecir exactamente cómo se comportará uno masivo sin tener que gastar millones de dólares para construirlo.

Durante mucho tiempo, los científicos esperaron que este atajo de "pequeño a grande" funcionara perfectamente. Creían que si ajustaban la receta de un modelo diminuto, podrían simplemente escalar los ingredientes y obtener un modelo gigante y perfecto. Pero últimamente, las cosas se han vuelto complicas. Cuando los investigadores intentaban usar sus experimentos pequeños para predecir el comportamiento de modelos enormes, las predicciones a menudo fallaban. Era como si los pequeños panecillos supieran de maravilla, pero las hogazas gigantes resultaran quemadas o planas. La gran pregunta pasó a ser: ¿Está roto el atajo? ¿Realmente tenemos que construir la costosa hogaza gigante cada vez para ver si funciona?

Este artículo, titulado "Experimentos a pequeña escala: ¿Ya llegamos?", se sumerge en este misterio de cocina. Los autores, un equipo de Meta y la Universidad de Nueva York, argumentan que el atajo no está roto; simplemente no hemos estado mirando la parte correcta de la receta. Descubrieron que el problema no es el tamaño del modelo, sino qué tan cuidadosamente ajustamos las "perillas y diales" (llamados hiperparámetros) en los pequeños.

Piensa en un modelo de IA pequeño como el motor de un coche de carreras de alto rendimiento y muy sensible. Si giras la perilla de la mezcla de combustible solo un poquito mal, el motor tose y muere. Es increíblemente difícil hacer que funcione perfectamente. Un modelo de IA gigante, por otro lado, es como un enorme y lento buque de vapor. Es mucho más permisivo; incluso si ajustas las perillas de forma algo torpe, el barco sigue avanzando sin problemas. Los autores descubrieron que, debido a que los modelos pequeños son tan sensibles, los investigadores a menudo pierden de vista la configuración "perfecta" porque no prueban suficientes combinaciones diferentes. Podrían probar cuatro o dieciséis configuraciones y decir: "Esto es lo mejor que podemos hacer", sin darse cuenta de que la verdadera configuración "perfecta" se esconde en algún otro lugar del vasto océano de posibilidades.

El artículo sugiere que, si estás dispuesto a hacer el arduo trabajo de probar cientos de configuraciones diferentes en tus modelos diminutos, puedes encontrar la receta perfecta. Una vez que encuentras esa configuración perfecta para el modelo pequeño, las reglas de cómo escala se vuelven claras y predecibles. Lo demostraron probando dos formas diferentes de construir cerebros de IA (llamadas "pre-normalización" y "post-normalación"). En el pasado, descubrir cuál era mejor tomaba años y computadoras masivas. Pero al usar su nuevo método de pruebas intensas a pequeña escala, pudieron predecir al ganador correctamente utilizando solo modelos diminutos.

Los autores también explican por qué sucede esto usando una idea geométrica genial. Dicen que, a medida que un modelo se hace más grande, el "paisaje" de las posibles configuraciones se vuelve más simple. Para un modelo pequeño, el paisaje es una cordillera dentada y confusa con miles de valles ocultos donde el motor podría detenerse. Pero a medida que el modelo crece, ese paisaje se suaviza en un valle ancho y gentil donde es mucho más fácil encontrar el fondo. Esto significa que, si bien los modelos pequeños son difíciles de ajustar, los modelos grandes son en realidad fáciles de ajustar.

Así que, la gran conclusión es que no tenemos que renunciar a los experimentos pequeños. Solo necesitamos dejar de rascar la superficie con nuestras pruebas. Si tratamos a los modelos pequeños con el respeto que se merecen —probándolos a fondo en lugar de solo rascar la superficie— podemos ahorrar una cantidad masiva de dinero y tiempo. Finalmente, podemos confiar en que nuestros experimentos a pequeña escala nos digan la verdad sobre los gigantes, demostrando que el atajo de "pequeño a grande" sigue siendo válido, siempre y que tengamos la paciencia de encontrar las configuraciones correctas primero.

Resumen Técnico: Experimentos a Pequeña Escala: ¿Estamos Cerca de Lograrlo?

Planteamiento del Problema

A pesar de la promesa de las leyes de escalado para permitir el desarrollo de modelos rentables mediante la extrapolación de experimentos a pequeña escala, el campo no ha logrado materializar este potencial. Seis años después de la propuesta inicial de las leyes de escalado, los investigadores a menudo encuentran que estas son poco fiables a escalas pequeñas (empezando desde tan solo 4 millones de parámetros), lo que lleva a la conclusión de que los modelos de gran tamaño son inevitables para obtener información fiable. Esto ha resultado en un aumento exponencial en el coste de la investigación de preentrenamiento, con las ejecuciones experimentales dominando los gastos de desarrollo.

El problema central identificado es una "brecha de escalado": los conocimientos derivados de experimentos a pequeña escala frecuentemente no se transfieren a los sistemas de producción. La literatura previa ha atribuido las discrepancias en las leyes de escalado (por ejemplo, entre Kaplan et al. y Hoffmann et al.) a decisiones metodológicas como el conteo de parámetros o los esquemas de la tasa de aprendizaje. Sin embargo, este artículo argumenta que el principal factor de confusión es el ajuste de hiperparámetros. Los modelos a pequeña escala son altamente sensibles a los hiperparámetros, y la "frontera totalmente ajustada" necesaria para observar las leyes de escalado suele perderse porque el espacio de búsqueda necesario es mucho más extenso que las ejecuciones típicas académicas o industriales.

Metodología

Los autores proponen una metodología de investigación holística y centrada en el modelo que sintetiza tres marcos teóricos para analizar experimentos a pequeña escala:

El Límite Cuadrático Ruidoso: Utilizado para diagnosticar si los hiperparámetros están totalmente ajustados. Cerca del óptimo, la superficie de pérdida se aproxima como cuadrática más ruido normal aditivo. La cola de la distribución de la puntuación de validación de la búsqueda aleatoria converge a una distribución cuadrática ruidosa ( $Q_{min}$ ), caracterizada por parámetros que incluyen el mejor rendimiento alcanzable ( $\alpha$ ), la concentración ( $\beta$ ), la dimensión intrínseca o número efectivo de hiperparámetros ( $\gamma$ ) y el ruido ( $\sigma$ ).
Leyes de Escalado: Se analiza la forma funcional estándar que relaciona parámetros ( $p$ ), datos ( $d$ ) y pérdida ( $L$ ), centrándose específicamente en la "frontera totalmente ajustada" donde la pérdida se minimiza para un presupuesto de cómputo dado.
Correspondencia Perplejidad–Capacidad: Basada en hallazgos recientes de que la pérdida de preentrenamiento corresponde a las capacidades posteriores si los datos de preentrenamiento se mantienen fijos. Esto permite a los investigadores usar la pérdida como un proxy de la capacidad sin necesidad de predecir comportamientos específicos posteriores.

Diseño Experimental:

Modelos: Los experimentos se realizaron en modelos Transformer que van desde los 4M hasta los 268M de parámetros efectivos.
Estrategia de Búsqueda: Se realizaron búsquedas aleatorias extensas a través de diversas escalas. Crucialmente, los autores variaron el número de configuraciones por escala (4, 16, 64 y 256) para demostrar la necesidad de la profundidad de búsqueda.
Entrenamiento: Los modelos utilizaron un esquema de calentamiento-estabilidad-decaimiento (WSD). Se derivaron puntos de control (checkpoints) en varias etapas de entrenamiento para evaluar tanto las tasas de aprendizaje estables como las de decaimiento.
Caso de Estudio: La metodología se aplicó para resolver la cuestión de larga data sobre la colocación de la capa de normalización (Pre-Norm vs. Post-Norm) en los Transformers, un debate que anteriormente requirió años y análisis teóricos para resolverse.

Principales Contribuciones y Resultados

1. El Ajuste de Hiperparámetros es el Ingrediente Crítico

El artículo demuestra que las leyes de escalado son robustas a los detalles metodológicos (por ejemplo, cómo se cuentan los parámetros, el decaimiento de la tasa de aprendizaje o la vinculación de exponentes), pero son extremadamente sensibles a la extensión de la búsqueda de hiperparámetros.

Con solo 4 o 16 configuraciones por escala, las leyes de escalado son invisibles o poco fiables debido al ruido de las configuraciones subóptimas.
Solo con una búsqueda extensa (256 configuraciones) emergen leyes de escalado precisas, incluso a 4M de parámetros.
La "frontera totalmente ajustada" es el único lugar donde aparece un escalado predecible; los modelos pequeños son más difíciles de ajustar, lo que hace que sus leyes sean más difíciles de observar, no que estén ausentes.

2. La Geometría de la Superficie de Pérdida de Hiperparámetros

El artículo explica por qué los modelos pequeños son más difíciles de ajustar a través de la geometría de la superficie de pérdida:

Reducción de Dimensionalidad: A medida que aumenta la escala del modelo (parámetros y datos), la dimensión intrínseca de la superficie de pérdida de hiperparámetros ( $\gamma$ ) disminuye.
La "Bendición de la Dimensionalidad": Mientras que los modelos pequeños tienen una superficie de pérdida de alta dimensión e implacable donde las configuraciones buenas son raras, los modelos más grandes exhiben una superficie de menor dimensión donde las configuraciones buenas ocupan una mayor fracción del espacio.
Impulsor: Los parámetros son el principal motor de esta reducción de dimensionalidad, más que los datos. A medida que los modelos escalan, el número efectivo de hiperparámetros cae hacia uno, haciendo que los modelos grandes sean más fáciles de ajustar con reglas simples.

3. Los Límites de la Extrapolación Pura

Aunque las leyes de escalado existen a escalas pequeñas, el artículo advierte contra la extrapolación ciega.

Límites Estadísticos: Extrapolar las leyes de escalado mucho más allá de los datos de entrenamiento magnifica los errores de muestreo y el ruido irreducible. Comparar modelos basados en la pérdida extrapolada lejos de los datos es poco fiable.
Enfoque Holístico: Se requiere una comprensión cualitativa de la superficie de pérdida (por ejemplo, verificar si emerge el límite cuadrático ruidoso, verificar si la sensibilidad disminuye con la escala) junto con la extrapolación cuantitativa.

4. Caso de Estudio: Pre-Norm vs. Post-Norm

Aplicando la nueva metodología a las capas de normalización:

Dificultad de Ajuste: Se encontró que las arquitecturas Post-Norm eran significativamente más difíciles de ajustar que las Pre-Norm, exhibiendo un régimen asintótico más pequeño y picos subóptimos persistentes en la distribución de puntuación.
Comportamiento de Escalado: Las arquitecturas Pre-Norm escalaron mejor cerca de los datos. Al asumir que ambas arquitecturas alcanzan la misma pérdida final, Pre-Norm mantuvo una ventaja de escalado.
Resultado: Los experimentos a pequeña escala, cuando se ajustan rigurosamente y se analizan de forma holística, recuperaron correctamente el consenso de gran escala de que Pre-Norm es superior, una conclusión que anteriormente requirió años de investigación.

Significado y Reivindicaciones

El artículo afirma que la "brecha de escalado" no es una limitación inherente de los modelos pequeños, sino una consecuencia de una búsqueda de hiperparámetros insuficiente y de una falta de comprensión de la geometría de la superficie de pérdida.

Viabilidad: Las leyes de escalado sí existen a escalas muy pequeñas (tan bajas como 4M de parámetros), pero solo emergen en la frontera totalmente ajustada.
Eficiencia de Costes: Alcanzar esta frontera requiere una búsqueda extensa, pero debido a que los modelos pequeños se entrenan rápidamente (en menos de una hora en una sola GPU), esta búsqueda es computacionalmente asequible en comparación con la ejecución de experimentos a gran escala.
Cambio Metodológico: Los autores abogan por un cambio hacia la investigación centrada en el modelo: explorar exhaustivamente el espacio de hiperparámetros a pequeña escala para construir una comprensión cualitativa de la superficie de pérdida, y luego usar reglas simples para transferir estos hallazgos a escalas mayores.
Limitaciones: El enfoque está actualmente limitado a la investigación centrada en el modelo (mejorar el modelo con datos fijos). Cambiar los datos de preentrenamiento rompe la correspondencia de la perplejidad-capacidad, limitando la capacidad de predecir resultados a gran escala para cambios centrados en los datos utilizando proxies a pequeña escala.

En conclusión, con las herramientas adecuadas (análisis cuadrático ruidoso, búsqueda aleatoria extensa) y una mejor comprensión de la sensibilidad de los hiperparámetros, los experimentos a pequeña escala pueden finalmente cumplir la promesa de las leyes de escalado, ofreciendo un camino para reducir costes mientras se aumenta el rigor de la investigación.