La inteligencia artificial moderna depende de un delicado acto de equilibrio. Para enseñar a una computadora a reconocer un gato en una foto o a escribir una historia coherente, los investigadores deben guiar un sistema matemático masivo a través de un paisaje de errores, ajustando constantemente sus configuraciones internas para encontrar el punto más bajo. Este proceso se llama entrenamiento, y la herramienta utilizada para navegar este terreno es un optimizador. Durante años, el estándar de la industria ha sido un algoritmo llamado Adam. Es el motor predeterminado de los modelos de lenguaje más poderosos, aquellos que pueden escribir código, traducir idiomas y mantener conversaciones. Sin embargo, a pesar de su ubicuidad, la base matemática de Adam ha sido inestable. Durante casi una década, un famoso resultado teórico sugirió que Adam podría fallar catastróficamente, saliéndose de control incluso en problemas simples. Esto creó una paradoja: la herramienta que impulsa la IA más avanzada estaba teóricamente rota, pero funcionaba perfectamente en la práctica. Los investigadores se preguntaban por qué la teoría no coincidía con la realidad y si la herramienta en la que confiaban era realmente segura.

Una nueva tesis doctoral de Yushun Zhang, de la Universidad de Hong Kong, Shenzhen, resuelve esta paradoja observando el problema desde un ángulo fresco. El trabajo no solo parchea la teoría; reexamina la naturaleza misma de los problemas que resuelven estos modelos. El investigador descubrió que el temor a que Adam fallara se basaba en una configuración específica y artificial que no refleja cómo ocurre realmente el entrenamiento en el mundo real. Al cambiar la perspectiva para centrarse en el tamaño de los fragmentos de datos utilizados durante el entrenamiento, el estudio demuestra que Adam es, de hecho, seguro, siempre que sus ajustes se calibren correctamente para la tarea específica. Más importante aún, la tesis descubre una estructura geométrica oculta dentro de los datos de las redes neuronales modernas. Esta estructura explica por qué Adam supera a sus rivales en tareas complejas como el entrenamiento de grandes modelos de lenguaje, mientras falla en las más simples. Resulta que el paisaje interno de estos modelos no es un caos desordenado, sino más bien una colección de bloques distintos y organizados. Reconocer este patrón permitió al investigador diseñar un nuevo optimizador más eficiente llamado Adam-mini, que reduce a la mitad la memoria requerida para entrenar estos modelos masivos sin sacrificar el rendimiento.

La historia comienza con el largo debate sobre si Adam es fiable. Durante años, un artículo ampliamente citado afirmó que Adam podría divergir, lo que significa que el proceso de entrenamiento se escaparía hacia el infinito en lugar de estabilizarse. Esta afirmación se basó en un ejemplo matemático específico donde el algoritmo fue probado en un problema que cambiaba sus reglas dependiendo de la configuración del algoritmo. En el mundo real, sin embargo, los investigadores no cambian el problema para que se ajuste a la herramienta; fijan el problema y ajustan la herramienta para que se adapte a él. El trabajo de Zhang muestra que cuando el problema es fijo, como ocurre en el entrenamiento real, Adam no diverge. En su lugar, exhibe una clara transición de fase: si los ajustes se eligen de forma deficiente, puede fallar, pero si se eligen correctamente, converge de forma segura. La clave de esta seguridad reside en un ajuste específico que controla cuánto peso otorga el algoritmo a la información pasada. El estudio demuestra que para conjuntos de datos más grandes, este ajuste debe ser mayor para garantizar la estabilidad. Este hallazgo coincide con lo que los ingenieros han observado en la práctica: al entrenar grandes modelos de lenguaje con lotes pequeños de datos, aumentar este ajuste evita que el entrenamiento colapse. La tesis proporciona la primera prueba matemática rigurosa de que la versión estándar de Adam, sin ninguna modificación, es segura de usar cuando se calibra adecuadamente.

Habiendo establecido que Adam es seguro, la investigación se dirige a una pregunta más desconcertante: ¿por qué funciona mucho mejor que su principal competidor, SGD, en modelos complejos como los Transformers, mientras que tiene un rendimiento inferior en los más simples? Para responder a esto, el investigador observó la forma del paisaje de error, específicamente un objeto matemático llamado Hessiano, que describe cómo cambia el error en cada dirección. En problemas simples, este paisaje es denso y enredado, como un bosque espeso donde cada camino está conectado con todos los demás. En tales entornos, la estrategia de Adam de ajustar cada configuración individualmente es ineficiente. Sin embargo, cuando el investigador examinó el Hessiano de las redes neuronales profundas y los Transformers, surgió un patrón sorprendente. A medida que el entrenamiento progresaba, el paisaje complejo y enredado se simplificaba en una estructura de bloques distintos y separados. Imagine una enorme hoja de cálculo donde, en lugar de que cada celda influya en todas las demás, la influencia se limita a filas y columnas específicas. En estas redes, los parámetros que controlan una neurona de salida específica o una cabeza de atención específica forman su propio grupo aislado.

Esta estructura de bloques es el secreto del éxito de Adam. Debido a que el paisaje está dividido en bloques independientes, el método de Adam de asignar una tasa de aprendizaje única a cada parámetro se vuelve altamente efectivo. Puede ajustar las configuraciones de un bloque sin alterar accidentalmente las configuraciones de otro. En contraste, optimizadores más simples como SGD aplican una única tasa de aprendizaje a todo el sistema, lo que dificulta el manejo de las diferentes velocidades y escalas de estos distintos bloques. El estudio reveló además que esta estructura de bloques no es una coincidencia; surge naturalmente de la forma en que se construyen estas redes, específicamente de la multiplicación consecutiva de matrices grandes durante el proceso de cálculo. A medida que la red entrena, las conexiones entre partes distantes del sistema se desvanecen, dejando atrás estos bloques limpios y separados. Este conocimiento explica por qué Adam es el motor de elección para la IA moderna: los problemas que resuelve tienen una geometría oculta que encaja perfectamente con el diseño del optimizador.

Armado con este entendimiento de la estructura de bloques oculta, el investigador desarrolló un nuevo optimizador llamado Adam-mini. El algoritmo Adam estándar consume mucha memoria porque realiza un seguimiento de una tasa de aprendizaje única para cada uno de los parámetros del modelo. Para un modelo de lenguaje masivo, esto requiere almacenar el doble de datos que el propio modelo, creando un cuello de botella que ralentiza el entrenamiento y limita el tamaño de los modelos que pueden ejecutarse con el hardware disponible. El nuevo conocimiento fue que, debido a que los parámetros están organizados en bloques, no necesitamos una tasa de aprendizaje única para cada uno de ellos. En su lugar, podemos asignar una tasa de aprendizaje a cada bloque completo. Este cambio simple reduce la huella de memoria en un 50 por ciento. El nuevo optimizador, Adam-mini, agrupa los parámetros según su estructura de bloques natural —agrupando por filas para la mayoría de las capas y por cabezas de atención para partes específicas de la red— y aplica una única tasa de aprendizaje a cada grupo.

Los resultados de este rediseño son inmediatos y prácticos. En pruebas de entrenamiento de modelos que van desde los 39 millones hasta mil millones de parámetros, Adam-mini igualó el rendimiento del optimizador Adam estándar utilizando la mitad de la memoria. Esta eficiencia permite a los investigadores entrenar modelos más grandes con el mismo hardware o entrenar modelos existentes más rápido. El enfoque ya ha sido adoptado por laboratorios de IA importantes, incluyendo a DeepSeek y al equipo detrás del modelo Kimi K3, quienes utilizan una variación de este método para entrenar sus sistemas de próxima generación. La tesis también mostró que este principio de tasas de aprendizaje por bloques puede aplicarse a otros optimizadores avanzados, mejorando su eficiencia sin cambiar su lógica central. Al revelar la geometría oculta del entrenamiento de redes neuronales, este trabajo ha movido el campo de un lugar de incertidumbre y ensayo y error hacia uno de diseño basado en principios. Demuestra que las herramientas más efectivas para la inteligencia artificial no son solo conjeturas afortunadas, sino algoritmos que están perfectamente sintonizados con la estructura matemática específica de los problemas que resuelven.