En el vasto paisaje de la inteligencia artificial, las herramientas más poderosas son los modelos de lenguaje extensos, a menudo llamados transformadores. Estos sistemas aprenden leyendo cantidades masivas de texto y ajustando miles de millones de números internos, conocidos como pesos, para realizar mejores predicciones sobre lo que viene después. Durante años, los investigadores han tratado estos números internos como una caja negra: saben que los números cambian durante el entrenamiento, pero han luchado por comprender exactamente cómo la naturaleza del texto que se lee moldea esos cambios. Una pregunta clave ha permanecido sin respuesta: ¿dicta la predictibilidad del propio texto cuánto crecen o se desplazan los números internos del modelo? Si un modelo lee una historia altamente estructurada y predecible frente a un jaleo caótico y aleatorio de palabras, ¿se manifiesta la diferencia en el tamaño de los números dentro de la máquina?

Un nuevo estudio del investigador independiente Tiexin Ding responde a esta pregunta con un grado sorprendente de precisión. El investigador descubrió que el crecimiento de estos números internos sigue un patrón estricto y predecible basado enteramente en una única propiedad del texto: qué tan fácil es adivinar la siguiente palabra basándose en la anterior. Al analizar un tipo específico de corrupción de texto, el estudio encontró que cuanto más predecible es el texto, más se expanden los números internos del modelo de una manera específica y mensurable. Esta relación se mantiene independientemente de la velocidad de aprendizaje utilizada durante el entrenamiento, lo que sugiere una ley fundamental que conecta los datos brutos con la estructura interna de la máquina.

La investigación comenzó con una observación simple sobre la forma de los números dentro de un modelo entrenado. Cuando los investigadores observaron el tamaño de estos números a través de las diferentes capas del modelo, encontraron que seguían un patrón consistente conocido como distribución de Weibull. Este patrón se define por dos valores: un factor de forma que permanece notablemente estable, y un factor de escala que cambia a medida que el modelo aprende. La forma estable significa que la estructura interna del modelo permanece consistente, mientras que el factor de escala cambiante actúa como un dial que sube o baja dependiendo del entrenamiento. El estudio se centró en este factor de escala, preguntándose qué impulsa su crecimiento.

Para encontrar la respuesta, el investigador diseñó un experimento controlado utilizando un conjunto de datos de texto estándar. En lugar de entrenar con diferentes libros o temas, el investigador mantuvo el texto igual pero lo desordenó sistemáticamente. Tomó una fracción del texto y mezcló el orden de las palabras, creando un espectro de conjuntos de datos que iban desde lo perfectamente ordenado hasta lo completamente caótico. Antes de entrenar cualquier modelo, midieron una estadística específica para cada versión del texto: la dificultad promedio de adivinar la siguiente palabra dado el elemento anterior. En el texto limpio, la siguiente palabra era fácil de predecir; en el texto desordenado, era casi imposible.

Los resultados revelaron una relación matemática clara entre esta predictibilidad y el crecimiento de los números internos del modelo. El estudio encontró que el crecimiento del factor de escala no era aleatorio, sino que seguía una curva específica basada en la diferencia entre la predictibilidad del texto y una base de aleatoriedad total. Crucialmente, esta relación no fue solo una conjetura; fue derivada de dos hechos distintos medidos de forma independiente. Primero, se encontró que el crecimiento de los números era directamente proporcional a la cantidad de estructura restante en el texto. Segundo, la dificultad de predecir la siguiente palabra en el texto desordenado seguía un patrón de saturación curvo y específico a medida que el texto se volvía más desordenado. Cuando se combinaron estos dos hechos, obligaron al crecimiento de los números a seguir una curva convexa precisa. Esto significa que la forma de la curva no fue ajustada a los datos por azar, sino que fue una consecuencia necesaria de cómo interactúan la estructura del texto y el proceso de aprendizaje.

El estudio probó esta ley a través de diferentes velocidades de aprendizaje, que controlan qué tan rápido el modelo actualiza sus números. Cuando el investigador ajustó estas velocidades, todas las diferentes ejecuciones de entrenamiento colapsaron en una sola línea unificada. Este colapso demostró que la relación es una propiedad fundamental del sistema, no un artefacto de una configuración específica. El investigador realizó entonces una prueba rigurosa para ver si la ley podía predecir el futuro. Utilizando únicamente la medición previa al pre-entrenamiento de la predictibilidad del texto, predijo cuánto crecerían los números internos en una nueva versión no vista del texto desordenado. La predicción fue precisa con un margen de error muy pequeño, confirmando que las propiedades del texto por sí solas son suficientes para pronosticar el crecimiento interno del modelo.

Sin embargo, el estudio también trazó un límite claro sobre dónde se aplica esta ley. Cuando el investigador probó el modelo con código de computadora, la predicción falló. El código tiene una baja predictibilidad, lo que teóricamente debería conducir a un alto crecimiento según la ley, pero los números del modelo crecieron mucho menos de lo esperado. El investigador identificó que el código depende fuertemente de la repetición y las plantillas en lugar del rico mapeo contextual que se encuentra en el lenguaje natural. Esto sugiere que, si bien la predictibilidad es un motor importante, un segundo factor —la redundancia— también juega un papel. La ley funciona perfectamente para el texto donde la siguiente palabra depende del contexto, pero falla para el texto donde la siguiente palabra es predecible simplemente porque repite un patrón.

Los hallazgos también se mantuvieron cuando el investigador miró dentro del modelo en las capas individuales. La misma relación entre la predictibilidad del texto y el crecimiento de los números apareció en cada parte del modelo, aunque la fuerza del efecto variaba. Las capas responsables de procesar el flujo de información mostraron la respuesta más fuerte, mientras que otras partes eran menos sensibles. Esto permitió al investigador mapear exactamente en qué parte de la red se estaba escribiendo la estructura del texto en los números. Además, el estudio probó dos arquitecturas de modelos diferentes y, aunque los números específicos cambiaron, la forma subyacente de la relación permaneció igual. Esto indica que la ley es una característica robusta de cómo aprenden estos modelos, independientemente del diseño específico de la máquina.

En última instancia, este trabajo proporciona una herramienta clara y con visión de futuro para comprender la inteligencia artificial. Demuestra que uno puede observar un conjunto de datos antes de que un modelo sea siquiera entrenado y predecir con exactitud cómo evolucionarán sus números internos. Esto cierra un ciclo de larga data entre los datos y la máquina, mostrando que la estructura del texto no es solo un aporte pasivo, sino un motor activo de la dinámica interna del modelo. Si bien la ley tiene límites, particularmente con datos altamente repetitivos como el código, ofrece una nueva y poderosa forma de medir la calidad y la estructura de los datos de entrenamiento, convirtiendo un proceso complejo e invisible en algo que puede ser medido, predicho y comprendido con herramientas simples y concretas.