💻 computer science

Predictable Emergence: An Empirical Analysis of Whether Sharp Capability Jumps Follow from Smooth Per-Token Scaling Laws

Este artículo demuestra que los saltos agudos "emergentes" en la precisión de coincidencia exacta observados en la suma de enteros de múltiples dígitos no son discontinuidades genuinas en la capacidad del modelo, sino que son, en cambio, artefactos totalmente previsibles resultantes de mejoras suaves de ley de potencia en la precisión por token, combinadas con la no linealidad de requerir que todos los dígitos sean correctos.

Autores originales: Alexander Memming

Publicado 2026-07-22

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Alexander Memming

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás viendo un espectáculo de magia donde el mago se vuelve mejor sacando conejos de sombreros a medida que el sombrero se hace más grande. Durante años, los científicos han notado que cuando hacen cerebros de IA (llamados "transformers") más grandes y les alimentan con más datos, se vuelven más inteligentes de una manera muy predecible y fluida. Es como el motor de un coche que se vuelve ligeramente más potente cada vez que añades un cilindro; la mejora es constante y sigue una regla matemática clara. Pero luego, la gente empezó a notar algo extraño: a veces, los modelos de IA parecen "despertar" de repente y aprender una habilidad totalmente nueva de la noche a la mañana. Un día no pueden hacer matemáticas simples y, al día siguiente, con solo un poco más de tamaño, pueden resolver problemas complejos perfectamente. Este salto repentino se llama "emergencia", y es aterrador porque si las habilidades aparecen de la nada, no podemos predecir cuándo una IA podría volverse repentinamente peligrosa o increíblemente inteligente.

La gran pregunta es: ¿Estas habilidades están apareciendo realmente de la nada, o es solo una ilusión causada por la forma en que las medimos? Piensa en esto como un estudiante tomando un examen. Si lo calificas por "¿Logró acertar cada una de las preguntas?" (una nota de aprobado/suspenso), podría parecer que falló por completo durante mucho tiempo, y luego aprobar de repente. Pero si miras "¿Cuántas preguntas acertó en promedio?" (una puntuación suave), podrías ver que en realidad estaba mejorando lentamente todo el tiempo. Este artículo pregunta: ¿Es el "salto repentino" real, o es solo un truco del examen que estamos usando?

El Gran Truco de Magia Matemática

Un investigador llamado Alexander Memming decidió investigar este misterio utilizando un experimento muy específico y controlado. No entrenó ningún nuevo modelo de IA; en su lugar, utilizó un grupo de modelos de IA públicos ya existentes (llamados Pythia y OPT) que variaban desde muy pequeños hasta bastante grandes. Les pidió una tarea sencilla: sumar dos números grandes. El truco era que él podía controlar exactamente qué tan larga debía ser la respuesta (desde 1 dígito hasta 6 dígitos).

Cuando observó el rendimiento de la IA utilizando la forma "suave" de medir (comprobando con qué frecuencia acertaba cada dígito individual), los resultados fueron aburridamente predecibles. A medida que los modelos se hacían más grandes, se volvían ligeramente mejores adivinando cada dígito, siguiendo una curva suave y gentil. No hubo ningún salto repentino. Era como ver a un corredor volverse más rápido kilómetro tras kilómetro.

Sin embargo, cuando cambió a la forma "aguda" de medir (comprobando si la respuesta entera era perfecta), la historia cambió por completo. Para respuestas cortas, la IA estaba bien. Pero para respuestas largas, la IA parecía estar fallando estrepitosamente durante mucho tiempo y luego—puf—de repente empezaba a obtener puntuaciones perfectas. Esto se parecía exactamente al famoso salto de "emergencia" del que todo el mundo hablaba.

El Ingrediente Secreto: Una Fórmula Simple

Memming se dio cuenta de que este "salto" no era magia, sino simplemente matemáticas. Construyó un modelo simple para explicarlo. Imagina que intentas adivinar una contraseña de 6 dígitos. Si tienes un 90% de probabilidad de acertar cualquier dígito individual correctamente, eso suena genial. Pero si necesitas acertar los seis dígitos correctamente para ganar, tus probabilidades caen a aproximadamente el 53%. Si solo tienes un 50% de probabilidad por dígito, tu probabilidad de acertar la contraseña completa es casi cero.

El artículo muestra que, a medida que los modelos de IA crecen, su precisión "por dígito" aumenta lentamente de un 50% a un 90%. Debido a que la prueba requiere acertar cada dígito correctamente, la puntuación final se mantiene cerca de cero durante mucho tiempo y luego se dispara al 100% muy rápidamente una vez que la precisión por dígito es lo suficientemente alta. No es que la IA de repente aprendiera un superpoder; es solo que la prueba de "todo o nada" hace que una mejora lenta y constante parezca una explosión repentina.

Prediciendo el Futuro

La parte más genial del estudio es que Memming demostró que puedes predecir estos "saltos" antes de que ocurran. Tomó los modelos de IA más pequeños (que todavía fallaban en los problemas matemáticos largos) y midió su mejora lenta y suave en dígitos individuales. Utilizando una fórmula simple que tiene en cuenta cuántos dígitos hay en la respuesta, pudo predecir exactamente cuándo los modelos más grandes empezarían a pasar la prueba. Sus predicciones fueron increíblemente precisas, acertando el punto del "salto" con un margen de error mínimo.

También comprobó si había algún comportamiento de "superpoder" oculto que las matemáticas no pudieran explicar. Buscó señales de que la IA estuviera haciendo algo extraespecial en el momento del salto, pero no encontró nada. La "emergencia" se explicaba enteramente por la mejora suave de las partes pequeñas que se suman para dar un resultado grande.

El Veredicto

Entonces, ¿qué significa esto? Para la tarea específica de sumar números grandes, el artículo sugiere que los "saltos repentinos" de capacidad de la IA son probablemente una ilusión creada por la forma en que los probamos. La IA no está encendiendo una bombilla nueva; simplemente está subiendo lentamente un regulador de intensidad (dimmer), y nuestra prueba de "aprobado/suspenso" hace que parezca que la luz simplemente se encendió de golpe.

Esto no significa que la IA nunca tendrá sorpresas repentinas, pero nos da una herramienta poderosa: si podemos medir el progreso lento y constante de las partes pequeñas, podemos predecir cuándo ocurrirán los saltos grandes y aterradores. Convierte un misterio en un problema matemático, demostrando que, por ahora, al menos, el futuro de la IA es más predecible de lo que pensábamos.

Resumen Técnico: Emergencia Predecible en la Aritmética de Múltiples Dígitos

Planteamiento del Problema
El artículo aborda una tensión central en el estudio de los Modelos de Lenguaje de Gran Escala (LLM): la discrepancia entre las leyes de escalado suaves de las redes neuronales y las capacidades "emergentes" reportadas. Mientras que la pérdida de preentrenamiento sigue una ley de potencia predecible con respecto al tamaño del modelo ( $N$ ), los datos ( $D$ ) y el cómputo ( $C$ ), los profesionales suelen observar que las capacidades descendentes (por ejemplo, aritmética de múltiples dígitos, seguimiento de instrucciones) parecen saltar abruptamente de un rendimiento cercano a cero a uno alto en umbrales de escala específicos. La pregunta central es si estos saltos bruscos son fenómenos genuinos e invariantes de la métrica que indican una nueva capacidad, o si son artefactos de métricas de evaluación discontinuas (como la precisión de coincidencia exacta) aplicadas a mejoras subyacentes suaves.

Metodología
Los autores llevan a cabo un estudio empírico controlado, limitado únicamente a la inferencia, para probar una versión falsable de esta pregunta: ¿Se puede predecir cuantitativamente de antemano la ubicación y la forma de un salto "emergente" en la precisión de coincidencia exacta a partir del escalado suave de la precisión por token?

Tarea: Suma de enteros de múltiples dígitos. Esta tarea se elige porque es un ejemplo canónico de emergencia y, crucialmente, la longitud de la respuesta ( $L$ ) es un parámetro controlable de forma exacta que dicta la no linealidad de la métrica.
Modelos: El estudio utiliza puntos de control (checkpoints) públicos y liberados de tres familias de modelos sin ningún entrenamiento o ajuste fino (fine-tuning):
- Pythia: 8 tamaños que van desde 70M hasta 12B de parámetros (entrenados en "The Pile").
- Pythia-deduped: Una variante deduplicada de los anteriores.
- OPT: 5 tamaños que van desde 125M hasta 6.7B de parámetros (diferente arquitectura/pipeline de entrenamiento).
Métricas:
- Métricas Suaves: Precisión de dígito por token ( $p$ ), entropía cruzada por token (NLL), puntuación de Brier y distancia de edición normalizada. Estas se miden bajo teacher forcing sobre el prefijo correcto.
- Métrica Discontinua: Precisión de coincidencia exacta (Exact-Match, EM), donde toda la cadena de salida debe coincidir con el objetivo.
Modelo Composicional: Los autores proponen un modelo donde la precisión de coincidencia exacta es la probabilidad de que todos los $L$ $L$ tokens sean correctos.
- Modelo Independiente: Asume que los errores por token son independientes, prediciendo $EM \approx p^L$ .
- Modelo Corregido por Correlación: Introduce un único parámetro $\rho$ para dar cuenta de la débil correlación positiva entre errores de token (por ejemplo, un modelo acierta todo el número o falla múltiples dígitos debido a cadenas de acarreo). Esto produce una longitud efectiva $L_{eff} = 1 + (L-1)(1-\rho)$ , prediciendo $EM \approx p^{L_{eff}}$ .
Protocolo de Pronóstico: La ley de escalado por token se ajusta utilizando solo los cuatro modelos más pequeños ( $N \le 1B$ ). Este ajuste se utiliza luego para extrapolar y predecir las curvas de coincidencia exacta y los umbrales de emergencia de los modelos más grandes y excluidos del ajuste.

Resultados Clave

Escalado Subyacente Suave: La precisión de dígito por token aumenta de forma suave y monótona con la escala (de 0.47 en 70M a 0.91 en 12B para Pythia), siguiendo una ley de potencia limpia con un exponente $\alpha \approx 0.36$ . No se observan saltos en las métricas continuas (NLL, Brier, distancia de edición).
Predicción Cuantitativa de Saltos: El modelo composicional con un único parámetro de correlación ajustado ( $\rho = 0.17$ $ρ = 0.17$ ) reproduce toda la cuadrícula de $6 \times 8$ $6 \times 8$ curvas de coincidencia exacta (a través de 6 longitudes y 8 tamaños de modelo) con un $R^2$ $R^{2}$ de 0.999 y un error absoluto medio de 0.004.
- El modelo independiente ingenuo ( $\rho=0$ ) logra un $R^2 = 0.98$ pero subestima sistemáticamente, confirmando que la débil correlación positiva es la principal corrección necesaria.
Colapso de Datos: Al graficar la precisión de coincidencia exacta contra la coordenada reescalada $u = L_{eff} \cdot (-\ln p)$ , todos los puntos de datos de todas las longitudes, tamaños de modelo y familias de modelos colapsan en una única curva maestra $EM = e^{-u}$ (RMSE de colapso $\le 0.013$ ). Esto demuestra que la familia de curvas de "emergencia" es una única ley suave reparametrizada por la longitud.
Pronóstico Exitoso: El ajuste de la ley por token en modelos $\le 1B$ pronostica con éxito los saltos de los modelos más grandes. Los umbrales de emergencia predichos coinciden con los umbrales observados dentro de un error absoluto medio de 0.017 en la precisión de coincidencia exacta y de 0.01 dex en la ubicación del umbral.
Prueba de Falsificación: El estudio no encuentra evidencia de comportamiento "super-composicional" (donde la coincidencia exacta aumenta más rápido que $p^{L_{eff}}$ cerca del umbral) ni saltos en las métricas continuas. Esto sugiere que no ocurre un cambio de capacidad genuino e invariante de la métrica dentro del rango de escala estudiado.

Significancia y Reivindicaciones
El artículo afirma proporcionar una resolución cuantitativa al debate de la emergencia para el caso específico de la aritmética de múltiples dígitos dentro del rango de 70M–12B de parámetros.

Naturaleza de la Emergencia: Los autores concluyen que, para esta tarea, la "emergencia" no es una nueva capacidad que aparece en un umbral, sino una ley de escalado por token suave vista a través de una no linealidad de longitud- $L$ (la métrica de coincidencia exacta).
Predictibilidad: Los saltos bruscos son predecibles de antemano mediante mediciones de pequeña escala y bajo costo. El estudio suministra una receta: medir las métricas por unidad en modelos sub-umbrales, ajustar la ley de escalado, estimar el número de decisiones subyacentes ( $L$ ) y una única correlación ( $\rho$ ), y extrapolar.
Alcance: Los autores declaran explícitamente que no pretenden resolver el debate de la emergencia para todas las tareas (por ejemplo, el razonamiento abierto o el seguimiento de instrucciones pueden no admitir un mapa tan simple). Sin embargo, argumentan que para tareas puntuadas por éxito de todo o nada sobre un número conocido de decisiones subyacentes que mejoran suavemente, el fenómeno es un problema de extrapolación, no un juego de adivinanzas.

El estudio enfatiza que el "espejismo" de la emergencia es creado por la elección de la métrica, y que las métricas continuas de alta resolución revelan la suavidad subyacente de la mejora de la capacidad.

Más como este