🤖 AI

On the Smallness of the Large Language Models Scaling Exponents

Este artículo sostiene que los exponentes de escalado actuales de los modelos de lenguaje de gran tamaño indican un régimen energético insostenible, una conclusión que persiste incluso tras contabilizar el "efecto pedestal" de los límites de pérdida no nulos, al tiempo que establece analogías con la turbulencia de fluidos para discutir la influencia de la suavidad de los datos en estos exponentes.

Autores originales: Sauro Succi, Peter V. Coveney, Alex Hansen

Publicado 2026-06-24

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Sauro Succi, Peter V. Coveney, Alex Hansen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El panorama general: El problema de "más grande es mejor"

Imagina que estás tratando de enseñarle a un robot a hablar perfectamente. La regla actual en el mundo de la IA es: "Cuanto más grande sea el robot, mejor hablará". Esta idea, llamada el hallazgo de "sin pared" (no-wall), sugiere que si simplemente sigues añadiendo más datos y más potencia informática, el robot seguirá volviéndose más inteligente para siempre.

Sin embargo, los autores de este artículo argumentan que esta estrategia es insostenible. Dicen que nos estamos topando con un muro de consumo energético, incluso si aún no hemos chocado contra un muro de inteligencia.

El problema central: Rendimientos decrecientes

El artículo utiliza un concepto matemático simple para explicar por qué esto es un problema. Imagina que estás tratando de limpiar una ventana muy sucia.

El objetivo: Hacer que la ventana esté perfectamente clara (cero errores).
La realidad actual: Para que la ventana esté solo la mitad de sucia, no necesitas el doble de esfuerzo. Necesitas 1,000 veces más esfuerzo.

Los autores señalan que los modelos de lenguaje extensos (LLM) actuales tienen un "exponente de escala" (un número que mide qué tan rápido mejoran) que es muy pequeño (alrededor de 0.05 a 0.1).

La analogía: Si quieres mejorar el rendimiento de la IA un poquito, tienes que alimentarla con una montaña de nuevos datos y quemar una cantidad masiva de electricidad. Es como intentar empujar una roca cuesta arriba por una colina que se vuelve más empinada a medida que subes. El artículo argumenta que este es un callejón sin salida para los recursos energéticos.

La defensa del "Pedestal": Por qué no podemos simplemente esperar

Algunos críticos dicen: "¡No se preocupen! En realidad no necesitamos que la IA sea perfecta (cero errores). Solo necesitamos que sea 'lo suficientemente buena' para dejar de decir tonterías. Dejamos de entrenar antes de llegar al fondo".

Los autores llaman a esto el "Efecto Pedestal". Imaginan un suelo (el pedestal) por debajo del cual los errores de la IA nunca podrán bajar, sin importar cuántos datos le des.

La refutación del artículo: Incluso si aceptamos que no necesitamos la perfección, las matemáticas siguen sin funcionar. Los autores muestran que, debido a que el "suelo" es tan alto en relación con el punto de partida, la zona de "lo suficientemente bueno" se alcanza tan rápido que el pequeño exponente de escala sigue aplicándose.
La metáfora: Imagina que estás tratando de llenar una bañera. Argumentas: "No necesito que esté llena hasta el borde; solo necesito que tenga unos pocos centímetros de agua". Los autores dicen: "Incluso con ese objetivo bajo, el grifo gotea tan lentamente que te llevará un millón de años conseguir esos pocos centímetros, y te quedarás sin agua (energía) mucho antes de lograrlo".

¿Por qué son tan pequeños los números? (La "rugosidad" de los datos)

El artículo pregunta: ¿Por qué la IA mejora tan lentamente?

Comparan el entrenamiento de la IA con la turbulencia de fluidos (como el agua girando en un río o el humo subiendo).

Suave vs. Rugoso: Si estás tratando de aprender un patrón suave y predecible (como una línea recta), aprendes rápido. Pero los datos del mundo real (lenguaje, imágenes, sistemas complejos) son "rugosos" y caóticos, como un océano tormentoso.
La conexión fractal: Los autores utilizan una analogía de la física. En una tormenta, la energía no se distribuye uniformemente; se concentra en pequeños remolinos caóticos. Para entender la tormenta, tienes que mirar esos pequeños remolinos.
El resultado: Debido a que los datos son "rugosos" y caóticos, la IA tiene que trabajar mucho más duro para encontrar los patrones. El artículo sugiere que la "rugosidad" de los datos obliga a que el exponente de escala se mantenga muy bajo.

La teoría del "Mapa Oculto"

El artículo hace referencia a una teoría de Sharma y Kaplan (SK) que sugiere que la velocidad de aprendizaje depende de la Dimensión Intrínseca de los datos.

La analogía: Imagina una biblioteca.
- El Espacio de Incrustación (Embedding Space) (el tamaño de la biblioteca) es enorme, tal vez millones de estantes.
- La Dimensión Intrínseca (el número real de libros que contienen la historia real) es mucho menor, pero también muy grande.
El problema: Aunque los LLM son increíbles encontrando la "historia real" escondida en la enorme biblioteca (comprimiendo los datos), la "historia real" sigue siendo demasiado compleja (demasiadas dimensiones) para que la IA la aprenda eficientemente sin quemar la reserva de energía del mundo.

La conclusión: Deja de perseguir lo "más grande"

Los autores concluyen que el enfoque de "más grande es mejor" es una receta para el agotamiento energético.

El veredicto: No importa qué tan inteligente se vuelva la IA, si los datos son complejos y "rugosos", la energía requerida para hacerla ligeramente más inteligente siempre será demasiado alta.
El camino sugerido: En lugar de simplemente construir modelos más grandes y más tontos que consumen más electricidad, necesitamos volver a los modelos fundacionales conscientes de la física (llamados "modelos de mundo"). Estos son sistemas que entienden cómo funciona el mundo (como la gravedad o la causa y efecto) en lugar de solo memorizar patrones en una base de datos masiva.

En resumen: Estamos tratando de resolver un rompecabezas complejo lanzando más y más personas al problema, pero el rompecabezas es tan difícil que nos estamos quedando sin café (energía) antes de resolverlo. Necesitamos cambiar la estrategia, no solo añadir más trabajadores.

Planteamiento del Problema
El artículo aborda la sostenibilidad de la trayectoria actual en el desarrollo de los Modelos de Lenguaje de Gran Escala (LLM), la cual está impulsada por el hallazgo del "no-wall" (sin pared): la observación de que el rendimiento de los LLM continúa mejorando a medida que el tamaño del modelo y el volumen de datos aumentan. Si bien esto ha dado lugar al mantra "más grande es mejor", los autores argumentan que los exponentes de escala que gobiernan esta mejora son peligrosamente pequeños (típicamente $\alpha \approx 0.05 \div 0.10$ ). En términos prácticos, un exponente de 0.1 implica que reducir la función de pérdida por un factor de dos requiere un aumento de $2^{10} = 1024$ veces en los recursos computacionales. Los autores sostienen que este régimen de "rendimientos decrecientes" hace que la estrategia de escalado actual sea insostenible en términos de consumo energético, independientemente de si la función de pérdida se ve como un error numérico estricto o como una métrica empírica.

Metodología y Marco Teórico
Los autores emplean un análisis teórico que combina leyes de escala, analogías de análisis numérico y modelos fenomenológicos de la dinámica de fluidos para criticar y refinar la comprensión de los exponentes de escala de los LLM.

Refutación de la Crítica del "Efecto Pedestal": El artículo aborda primero un contraargumento que sugiere que los pequeños exponentes de escala son un sesgo numérico causado por ignorar un "pedestal" no nulo (un límite no nulo de la función de pérdida cuando el tamaño del conjunto de datos $N \to \infty$ ). Al modelar la función de pérdida como $L(x) = L_0 + (L_1 - L_0)x^\alpha$ (donde $x=1/N$ ), los autores derivan un "exponente de escala de ejecución" (running scaling exponent). Demuestran que incluso con un pedestal pequeño, la transición de regímenes de escala "altos" (como la escala Chinchilla de $\alpha \approx 1/3$ ) a los regímenes "bajos" observados ( $\alpha \approx 0.05 \div 0.1$ ) ocurre en tamaños de conjuntos de datos muy por debajo de los utilizados en los LLM modernos. Por lo tanto, el efecto pedestal explica los bajos exponentes observados, pero no resuelve la insostenibilidad subyacente.
Límite Inferior Teórico (Modelo Sharma-Kaplan): Los autores adoptan el marco teórico propuesto por Sharma y Kaplan (SK), que postula que los exponentes de escala están limitados por la dimensión intrínseca ( $d$ ) del colector (manifold) de los datos: $\alpha \sim 4/d$ . Esta relación sugiere que los LLM funcionan de manera similar a los métodos de refinamiento de malla adaptativa en un espacio de características de $d$ dimensiones, donde $d$ es significativamente menor que la dimensión de incrustación (embedding) $D$ .
Analogía con la Turbulencia de Fluidos: Para explicar la magnitud de estos exponentes, el artículo establece una analogía con la fenomenología de la turbulencia de fluidos.
- Suavidad vs. Rugosidad: Los autores conectan el exponente de escala con la suavidad (exponente de Hurst $h$ ) de la señal objetivo. Para señales suaves, $h=1$ , pero para procesos no suaves como la turbulencia, $h < 1$ .
- Dimensión Fractal: Utilizando la teoría de Kolmogorov de 1941 (K41) y modelos multifractales, muestran que para flujos turbulentos, el exponente de escala efectivo se reduce aún más debido a la rugosidad de la señal y la naturaleza fractal de la disipación de energía.
- Implicación para los LLM: El artículo argumenta que muchos sistemas complejos (y probablemente los datos que procesan los LLM) son no suaves. Esta "rugosidad" efectivamente magnifica la dimensión intrínseca por un factor de $1/h$ , lo que conduce a exponentes de escala aún más pequeños ( $\alpha \sim 4h/d$ ).

Contribuciones Clave y Resultados

Validación de la Insostenibilidad: Los autores confirman que los pequeños exponentes de escala ( $\alpha < 0.1$ ) no son meros artefactos de un paro temprano o un sesgo numérico (el efecto pedestal), sino que reflejan una limitación fundamental en la eficiencia del escalado de las arquitecturas actuales de LLM.
Cuantificación del Efecto Pedestal: Mediante la derivación analítica y la representación gráfica (Figuras 1 y 2), el artículo muestra que el "pedestal" (límite de pérdida no nulo) domina el comportamiento de la escala para tamaños de conjuntos de datos realistas, enmascarando efectivamente cualquier potencial para exponentes de escala más altos (como el $\alpha \approx 1/3$ de Chinchilla) en aplicaciones a gran escala.
Límites de Compresión Dimensional: Aunque reconocen la impresionante capacidad de los LLM para comprimir espacios de incrustación de alta dimensión ( $D \sim$ miles) hacia colectores intrínsecos ( $d \sim 100$ ), los autores calculan que para cualquier conjunto de datos con una dimensión intrínseca $d > 40$ , el exponente de escala inevitablemente caerá por debajo de 0.1.
Impacto de la Rugosidad de los Datos: El artículo establece que los datos no suaves (caracterizados por $h < 1$ ) exacerban el problema, lo que conduce a exponentes de escala aún más bajos y a una mayor ineficiencia de recursos en comparación con los datos suaves.

Significancia y Conclusión
El artículo concluye que la estrategia de "más grande es mejor", impulsada por el entusiasmo del "no-wall", es una "receta segura para el agotamiento energético". Los autores afirman que el régimen de escalado actual es matemáticamente insostenible para conjuntos de datos con dimensiones intrínsecas que superan las 40, una condición que probablemente se cumple en la mayoría de las aplicaciones del mundo real complejas.

La importancia de este trabajo radica en su cambio de enfoque: de simplemente aumentar el tamaño del modelo hacia la búsqueda de "conocimiento físico y cumplimiento con modelos del mundo". Los autores sugieren que el camino a seguir requiere alejarse de la pura fuerza bruta de parámetros y volumen de datos hacia modelos de IA fundacionales y conscientes de la física (los llamados "modelos del mundo") que puedan manejar mejor la dimensionalidad intrínseca y la rugosidad de los datos complejos sin depender de leyes de escala insostenibles.