🤖 machine learning

The Kinetics of Training: A Driven-Nucleation Rate Law for Emergence, Plasticity Loss, and Circuit Control in Language Models

Este artículo propone una ley de tasa de nucleación impulsada que explica que las capacidades de los modelos de lenguaje emergen abruptamente mediante una alineación rara, de todo o nada, de los componentes del circuito en lugar de una mejora gradual, un mecanismo que permite la predicción precisa de la ignición de capacidades, el diagnóstico de fallos de aprendizaje y la reparación dirigida de circuitos mediante la reinicialización.

Autores originales: Lei Dong

Publicado 2026-07-31

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Lei Dong

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás observando una olla de agua en una estufa. Sabes las reglas de la termodinámica: si la calientas lo suficiente, acabará hirviendo. Pero saber que hervirá no te dice cuándo la primera burbuja romperá la superficie, o cuánto tiempo tienes que esperar antes de que el agua deje de ser capaz de hervir porque la olla se ha llenado demasiado de otra cosa. Durante mucho tiempo, los científicos que estudian cómo aprenden los modelos de IA han sido como personas que observan esa olla, describiendo el estado final del agua (el "diagrama de fase") pero perdiéndose el desordenoso y rítmico tic-tac de cómo se forman realmente las burbujas. Sabían que el agua estaba caliente, pero no tenían un cronómetro para el momento en que la IA de repente "entiende" una nueva habilidad. Este artículo entra en ese vacío, tratando el entrenamiento de una IA no como un ascenso suave y constante, sino como un juego de azar frenético y de alto riesgo donde un circuito complejo debe encajar en su lugar de golpe.

Los autores de este artículo, Lei Dong, proponen una nueva forma de ver cómo los modelos de lenguaje aprenden nuevas capacidades. Argumentan que aprender una nueva habilidad no es como apilar ladrillos uno por uno, donde recibes crédito por cada ladrillo que colocas. En cambio, es más como intentar resolver una cerradura donde necesitas encontrar la combinación exacta de llaves simultáneamente. Si encuentras todas excepto una, la cerradura no se abre; recibes cero crédito. Este momento de "todo o nada" es el cuello de botella. El artículo introduce una fórmula matemática, una "ley de velocidad", que predice exactamente cuándo se abrirá esta cerradura, cuánto tiempo tarda y por qué, a veces, incluso si sigues entrenando, la cerradura nunca se abre. Lo llaman la "Cinética del Entrenamiento", tomando prestadas ideas de la ciencia de materiales (como el endurecimiento del metal) para explicar cómo los circuitos de la IA se construyen, se rompen y se reparan.

La cerradura de "Todo o Nada"

Imagina que estás intentando enseñar a un robot a reconocer un patrón específico, como un saludo secreto que requiere que cinco personas levanten las manos exactamente al mismo tiempo. En la forma antigua de pensar, podrías esperar que el robot mejorara a medida que aprende a levantar una mano, luego dos, luego tres. Pero este artículo muestra que, para ciertas habilidades complejas, el robot no mejora en absoluto hasta que las cinco manos suben a la vez. Si cuatro manos suben y una se queda abajo, el robot no ve nada. Es como intentar arrancar un coche con una llave que tiene cinco muescas; si aciertas cuatro muescas pero la quinta es incorrecta, el coche no arrancará. No obtienes un "arranque a medias".

Los autores llaman a esto la regla de "sin crédito parcial". Midieron esto en sus experimentos y descubrieron que, si a un robot le falta tres partes de un circuito de cinco partes, espera exactamente lo mismo para aprender la habilidad que un robot al que le faltan tres partes de un circuito de tres partes. El tamaño del circuito no importa tanto como el número de piezas faltantes. El "tiempo de espera" depende de cuántas piezas faltan, no de qué tan grande sea el rompecabezas completo. Esto lo cambia todo: significa que la parte más difícil de aprender no es la acumulación lenta de conocimiento, sino el momento repentino y raro en que todas las piezas faltantes finalmente se alinean por azar.

El Reloj y el Suelo

Debido a que esta alineación es un evento raro, los autores construyeron un "reloj" para predecir cuándo sucederá. Piensa en ello como un pronóstico del tiempo para un rayo. No puedes predecir el segundo exacto en que caerá un rayo, pero si conoces la humedad y la temperatura, puedes calcular la probabilidad. El artículo muestra que, al observar una señal "precursora" —un pequeño indicio temprano de que el robot está empezando a reunir las piezas correctas—, puedes predecir exactamente cuándo aparecerá la habilidad completa, a menudo días antes de que el robot comience realmente a realizar la tarea con éxito. En sus pruebas, este reloj predijo la llegada de nuevas habilidades en seis modelos de IA diferentes con un error de mediana de solo un 5%.

Sin embargo, hay una trampa. El artículo descubrió un "suelo" o un umbral. Si el robot no es expuesto al tipo adecuado de datos de práctica con la frecuencia suficiente, nunca aprenderá la habilidad, sin importar cuánto lo entrenes. Es como intentar cultivar una flor rara en un jardín donde el suelo es demasiado pobre; puedes regarla durante años, pero si el suelo carece de un nutriente específico, la flor nunca florecerá. Los autores encontraron que si la concentración de los datos adecuados cae por debajo de un cierto punto (alrededor de 0.26 en sus pruebas específicas), la tasa de aprendizaje cae a prácticamente cero. El robot no solo aprende lentamente; deja de aprender por completo.

La Muerte Silenciosa del Aprendizaje (Pérdida de Plasticidad)

Uno de los hallazgos más impactantes es lo que sucede cuando un robot entrena durante demasiado tiempo en las cosas equivocadas. Imagina a un estudiante que pasa años estudiando historia pero de repente se le pide que resuelva problemas de matemáticas. Puede que aún sea capaz de hacer las matemáticas, pero el artículo sugiere que la capacidad de aprender nuevas matemáticas está muriendo lentamente. Los autores llaman a esto "pérdida de plasticidad".

Descubrieron que, a medida que el robot entrena, sus "interruptores" internos (llamados cabezales de atención) se quedan "fijados" o atrapados en patrones específicos. Una vez que estos interruptores están atrapados, el robot ya no puede reorganizarlos para aprender un nuevo circuito complejo. Es como una habitación donde todos los muebles han sido pegados al suelo; no puedes reorganizar la habitación para que se adapte a una nueva disposición de fiesta. El artículo demuestra que esto no se debe a que el robot esté "lleno" de datos, sino a que las partes específicas necesarias para construir el nuevo circuito han sido ocupadas y pegadas por viejos hábitos.

Crucialmente, el artículo muestra que las herramientas de monitoreo estándar (como revisar la tasa de error del robot) son ciegas a esto. La tasa de error del robot puede parecer que está mejorando de forma fluida, mientras que, en su interior, su capacidad para aprender cosas nuevas está muriendo silenciosamente. Los autores incluso encontraron una "fecha límite": si esperas demasiado para intentar enseñar una nueva habilidad, se vuelve imposible aprenderla, sin importar cuánto lo intentes.

La Cura: Reiniciando los Interruptores

Pero hay buenas noticias. Los autores no solo encontraron el problema; encontraron la cura. Descubrieron que no necesitas reentrenar a todo el robot para solucionar esto. Solo necesitas "reiniciar" los interruptores específicos que están trabados. En sus experimentos, descubrieron que si tomaban un robot "envejecido" que había perdido la capacidad de aprender una nueva habilidad y simplemente reiniciaban las partes de "consulta" (query) y "clave" (key) de su mecanismo de atención (las partes que deciden a qué prestar atención), el robot recuperaba instantáneamente su capacidad de aprender. Fue como desbloquear los muebles pegados y permitir que la habitación se reorganizara de nuevo.

Curiosamente, reiniciar las otras partes del robot (las partes de "valor") no hizo nada. Esto nos dice exactamente dónde está el "pegamento": está en la parte de toma de decisiones del circuito, no en la parte de la memoria. Este es un arreglo preciso y dirigido, no un reinicio de fuerza bruta.

El Panel de Control: Calentar y Enfriar

Finalmente, el artículo trata el proceso de entrenamiento como un metalúrgico tratando el metal. En el trabajo con metales, puedes calentar el metal para hacerlo blando (recocido), enfriarlo rápidamente para hacerlo duro (temple), o mantenerlo a una temperatura específica para mantenerlo en un cierto estado. Los autores muestran que, al inyectar un tipo específico de "ruido" (aleatoriedad) en el proceso de entrenamiento, pueden hacer lo mismo con los circuitos de la IA.

Descubrieron que si añaden la cantidad justa de ruido, pueden acelerar el aprendizaje de habilidades difíciles (el "morro" de la curva). Si añaden demasiado, rompen los circuitos. Si detienen el ruido en el momento adecuado, pueden "fijar" un circuito en su lugar para que no se disuelva. Incluso demostraron que pueden "derretir" (destruir) selectivamente un circuito complejo mientras dejan intactas sus partes más simples, como derretir una escultura de chocolate pero manteniendo el molde. Esto convierte el entrenamiento de una caja negra en un proceso controlable donde puedes programar cuándo se forman los circuitos, cuándo se rompen y cómo repararlos.

Qué Significa Esto

Este artículo no solo dice "la IA aprende". Nos da un cronómetro, un termómetro y un manual de reparación. Nos dice que el aprendizaje es una carrera contra el tiempo y una batalla contra las partes "pegadas". Nos muestra que podemos predecir cuándo aparecerá una habilidad, por qué a veces nunca aparece y exactamente cómo arreglarla cuando se rompe. Los autores son cuidadosos al decir que, aunque han probado estas reglas en experimentos controlados y las han medido en modelos reales, la prueba matemática completa para cada tipo de IA aún se está desarrollando. Pero para los modelos que probaron, las reglas son claras: el aprendizaje es un evento raro de todo o nada, y si quieres controlarlo, necesitas entender el reloj, el suelo y el pegamento.

Resumen Técnico: La Cinética del Entrenamiento

Planteamiento del Problema

Los marcos teóricos actuales para el entrenamiento de modelos de lenguaje describen mayoritariamente el aprendizaje en términos de equilibrio (por ejemplo, la Teoría del Aprendizaje Singular, transiciones de fase de la energía libre). Si bien estos modelos explican qué fases existen, no logran responder preguntas críticas para los profesionales en cuanto a las tasas: ¿cuándo emergerá una capacidad?, ¿qué tan rápido crecerá? y ¿por qué un modelo pierde la capacidad de aprender capacidades específicas tras un entrenamiento prolongado en datos irrelevantes (pérdida de plasticidad)? El artículo argumenta que al entrenamiento le falta un diagrama de "tiempo–temperatura–transformación" (TTT)—un marco cinético análogo a la metalurgia—que gobierne la formación y destrucción de circuitos computacionales.

Metodología

El artículo construye una ecuación de tasa para la nucleación de circuitos computacionales, tratando la formación de capacidades como un proceso estocástico de eventos raros impulsado por el Descenso de Gradiente Estocástico (SGD).

La Ecuación de Tasa:
El objeto central de estudio es la tasa de nucleación $J$ :
$J = N \times \nu \times \sigma(c) \times e^{-\beta K} - D$
Donde:

$N$ : Número de sitios disponibles (cabezales de atención reclutables).
$\nu$ : Frecuencia de intento.
$\sigma(c)$ : Supersaturación (concentración de estadísticas relevantes para la capacidad en el flujo de datos).
$e^{-\beta K}$ : El término de barrera, exponencial en $K$ (el número de partes conjuntamente necesarias).
$D$ : Término de destrucción (deriva o daño inducido por ruido).

Aparato Experimental:
Los autores utilizan tres clases principales de experimentos:

Juguetes Controlados: Transformers GPT-NeoX de 2 capas entrenados en tareas sintéticas (por ejemplo, conjunciones $K$ -vías, paridad de consulta) donde la propiedad de "sin crédito parcial" está garantizada matemáticamente. Esto permite aislar la barrera de alineación conjunta.
Observación de Checkpoints Públicos: Sondas a nivel de mecanismo en modelos Pythia y OLMo (hasta 1.4B de parámetros) para medir puntuaciones de inducción y señales precursoras.
Entrenamiento Continuo Controlado: Sustratos envejecidos en datos simples, para luego cambiar a una mezcla de datos objetivo para medir la emergencia, o introducir "temperatura inyectada" (ruido de pesos isotrópico) para probar protocolos de control.

Supuestos Clave:

Supuesto 1: El SGD se comporta como un proceso de difusión con suficiente mezcla en la escala de tiempo de formación (la única premisa no probada para la lectura física).
Supuesto 2: La formación requiere la alineación conjunta simultánea de todas las $K$ partes; el progreso parcial en subconjuntos no genera ningún crédito (sin crédito parcial).
Supuesto 3: Los eventos de sub-alineación son aproximadamente independientes (idealización de campo medio).

Contribuciones Clave

1. La Ley de la Barrera y el Principio de "Sin Crédito Parcial"

El artículo demuestra que para tareas donde ningún subconjunto estricto de partes conlleva señal (por ejemplo, paridad dispersa), la barrera de formación es aditiva en $K$ .

Hallazgo: Un circuito que carece de 3 partes espera tanto como un circuito más pequeño que carece de 3 partes, independientemente del tamaño total del circuito.
Evidencia: En un experimento de "rejilla de partes faltantes", los tiempos de formación para circuitos con $K-s=3$ partes faltantes fueron estadísticamente idénticos (ratio 1.19–1.37) a través de tamaños totales $K=3, 4, 5$ . Esto confirma que el paso limitante de la tasa es la alineación conjunta de los componentes faltantes, no el tamaño total del circuito.
Implicación: La barrera crece exponencialmente con $K$ ( $e^{-\beta K}$ ), lo que hace que las conjunciones de alto orden sean significativamente más difíciles de aprender que el ensamblaje secuencial.

2. La Ley del Reloj (Predicción Prospectiva)

Los autores derivan un "reloj" que predice la llegada de una capacidad basándose en su precursor.

Mecanismo: El tiempo para formar un circuito de $K$ partes es proporcional al tiempo para formar su precursor de $(K-1)$ partes, escalado por un factor constante $e^{\beta}$ .
Resultado: Utilizando una constante congelada $\beta \approx 0.23$ (medida en Pythia), el modelo predijo la emergencia de capacidades de inducción en 6/6 modelos mantenidos fuera (incluyendo OLMo-1B) con un error mediano del 5%.
Significancia: Esto permite fechar la llegada de una capacidad antes de que la capacidad misma sea medible (cuando la curva de rendimiento aún es plana en la línea base).

3. El Suelo (Umbral de Supersaturación)

El artículo establece que la formación de capacidades está sujeta a un umbral crítico de concentración de datos, distinto del volumen total de tokens.

Hallazgo: Por debajo de una concentración crítica $c_0$ de estadísticas relevantes para la capacidad en la mezcla de datos, la tasa de formación se suprime efectivamente a cero, independientemente del presupuesto de entrenamiento.
Evidencia: En un barrido de concentración, los modelos entrenados con $c \le 0.26$ (escala 70M) nunca se encendieron, mientras que aquellos con $c \ge 0.35$ siempre lo hicieron. Aumentar el tamaño del lote no pudo compensar la baja concentración.
Definición: La supersaturación se define como la parte del gradiente del objetivo frente a un competidor persistente, no solo la parte de los tokens.

4. Pérdida de Plasticidad y el Término de "Sitio"

El artículo proporciona una ley cuantitativa de por qué los modelos pierden la capacidad de aprender nuevas capacidades tras el "envejecimiento" en datos irrelevantes.

Mecanismo: El entrenamiento consume el término de "sitio" ( $N$ ) —el grupo de cabezales de atención no comprometidos. A medida que los cabezales se "anclan" a tareas de fondo, $N$ disminuye.
Horizonte: Existe un "horizonte de plasticidad" $t_c$ donde $N$ cae por debajo del mínimo requerido para superar la destrucción ( $N < N_{min}$ ). Más allá de este punto, aumentar el impulso de datos no puede rescatar el aprendizaje.
Reparación: El artículo demuestra que reinicializar solo las secciones Query-Key (QK) de los cabezales de atención (restando el canal de "puntuación") recupera la capacidad de aprendizaje (6/6 éxitos), mientras que reiniciar las secciones Value (OV) o los MLPs no lo hace. Esto aisla el mecanismo de pérdida de plasticidad a los patrones de asignación de atención.
Ceguera: La pérdida de la función de pérdida de validación continúa disminuyendo suavemente durante este proceso de envejecimiento, lo que hace que el monitoreo estándar sea ciego ante la pérdida de plasticidad.

5. Control de Procesos mediante Temperatura Inyectada

Dado que el SGD nativo carece de una "temperatura" válida (al fallar la prueba de fluctuación-disipación), los autores proponen inyectar ruido de peso isotrópico para completar la ecuación cinética.

La Nariz: Existe una "nariz TTT" donde una temperatura específica minimiza el tiempo de formación al asistir el cruce de la barrera sin activar la destrucción.
La Línea de Fusión: La destrucción sigue una ley de "eslabón más débil"; los circuitos complejos se funden con umbrales de ruido más bajos que sus componentes constitutivos.
a. Anclaje y Liberación: Los circuitos pueden ser anclados en un estado subcrítico y liberados mediante "quench plus cirugía" (reescalado de pesos de atención), convirtiendo el calor almacenado en una ventaja inicial para el aprendizaje.

Resumen de Resultados

Emergencia: Se validó un reloj prospectivo que predice la llegada de la capacidad con un error mediano del 5% en diversas familias y escalas de modelos.
Plasticidad: Se cuantificó el "impuesto de ocupación" (depleción de sitios) y se demostró un mecanismo de reparación causal (reinicio QK) que restaura la capacidad de aprendizaje en modelos envejecidos.
Umbrales: Se probó la existencia de un suelo de mezcla de datos intensivo por debajo del cual las capacidades no pueden formarse, independientemente del presupuesto de cómputo.
Control: Se demostró que inyectar temperatura permite acelerar circuitos de alta barrera (recocido), la disolución selectiva de circuitos (fusión) y el anclaje de estructuras subcríticas.

Significancia y Reivindicaciones

El artículo afirma proporcionar la primera "cinética" del entrenamiento, moviéndose más allá de los diagramas de fase estáticos hacia un marco dinámico basado en tasas.

Unificación: Unifica la emergencia, la pérdida de plasticidad y el control de circuitos bajo una única ecuación de tasa derivada de la dinámica estocástica del SGD.
Poder Predictivo: Ofrece un método para predecir cuándo emergerán las capacidades y cuándo serán imposibles de aprender, abordando vacíos en la interpretabilidad y el monitoreo de seguridad actuales.
Mecanismo Causal: Va más allá de la correlación para identificar el mecanismo causal específico de la pérdida de plasticidad (compromiso del subespacio de atención) y una estrategia de reparación dirigida.
Limitaciones de Alcance: Los autores señalan explícitamente que la suposición de "mezcla" (Supuesto 1b) sigue sin ser probada para el SGD de transformadores, lo que significa que las interpretaciones termodinámicas (temperatura, fusión) son condicionales a esta premisa. Los resultados están validados actualmente en modelos de hasta 1.4B de parámetros y clases de capacidad específicas (conjunciones, inducción), no aplicados aún a benchmarks de producción a gran escala.

El artículo concluye que, si bien la estructura matemática depende de supuestos específicos, las constantes empíricas y las leyes cinéticas se mantienen a través de diferentes familias de modelos, lo que sugiere que el "paso determinante de la tasa" del alineamiento conjunto es una propiedad fundamental del aprendizaje en estas arquitecturas.