Imagina el mundo de la inteligencia artificial como una biblioteca enorme y bulliciosa donde robots gigantes (llamados Modelos de Lenguaje de Gran Tamaño) intentan aprender a leer, escribir y razonar. Para hacer esto, necesitan procesar montañas de información, lo que requiere una cantidad tremenda de energía y memoria. Es como intentar ejecutar una supercomputadora con una sola batería AA; simplemente no funciona bien. Los científicos han estado tratando de hacer que estos robots sean más eficientes enseñándoles a pensar en números más "simples". En lugar de usar decimales complejos y de alta precisión (como medir una distancia hasta la millonésima de milímetro), intentan usar números más toscos de 4 bits (como medir en pulgadas enteras). Esto ahorra una enorme cantidad de espacio y energía. Sin embargo, hay un inconveniente: cuando los robots intentan aprender usando estos números toscos, a menudo se confunden, cometen errores y dejan de aprender por completo. Es como intentar navegar por un laberinto con un mapa cuyas reglas cambian constantemente.

El artículo que vas a leer aborda este problema específico. Se pregunta: ¿Por qué enseñar a estos robots de IA con números ultra-simples hace que colapsen? Los autores descubrieron que el problema no es solo que los números sean simples; es que la forma en que los robots organizan estos números cambia cuando pasan de "aprender hacia adelante" (leer una oración) a "aprender hacia atrás" (revisar sus errores). Es como si el robot leyera un libro de izquierda a derecha, pero cuando revisa sus notas, de repente las lee de derecha a izquierda, desordenando los números de página y perdiendo el hilo de la historia. El artículo propone una solución ingeniosa: una nueva forma de organizar los números para que las reglas sigan siendo las mismas, sin importar en qué dirección esté mirando el robot. Esto permite que los robots aprendan de forma estable, incluso con los números más simples, permitiendo entrenarlos de forma más rápida y económica sin perder su inteligencia.

---

El gran baile de los números: Reparando el fallo de memoria de la IA

Así que, quieres construir una IA súper inteligente, pero tu computadora se está quedando sin energía y memoria. El truco habitual es decirle a la IA que use matemáticas de "baja precisión". Piensa en esto: normalmente, la IA mide las cosas con una regla súper precisa que tiene marcas diminutas (como BF16 o FP8). Pero para ahorrar espacio, queremos que use una regla que solo tenga cuatro marcas grandes y gruesas (FP4). Es mucho más rápido y ocupa menos espacio. Pero aquí está el problema: cuando la IA intenta aprender con estas marcas gruesas, a menudo se desmorona. Empieza a hacer conjeturas descabelladas y el entrenamiento colapsa.

Durante mucho tiempo, los científicos pensaron que el problema era simplemente que las marcas gruesas no eran lo suficientemente detalladas. Intentaron solucionarlo agrupando los números y dándole a cada grupo una "escala" compartida (una forma de estirar o encoger los números para que encajen). Esto funcionaba bien, pero el nuevo artículo de Mehdi Rahimifar y su equipo dice: "¡Un momento! Hemos encontrado al verdadero culpable".

El culpable es un pequeño y astuto fallo llamado transposición.

El problema de "Izquierda a Derecha vs. Derecha a Izquierda"

Imagina que tienes una cuadrícula de notas adhesivas en una pared, dispuestas en filas. Escribes un número en cada nota y pones una etiqueta en toda la fila para decir qué tan grandes son los números. Así es como la IA suele organizar sus datos.

Ahora, imagina que la IA está aprendiendo. Primero, lee las notas de izquierda a derecha (el "paso hacia adelante" o forward pass). Ve los números y las etiquetas, y aprende. Pero luego, para revisar su trabajo y corregir errores, tiene que voltear la cuadrícula (esto se llama "transposición" en matemáticas). De repente, las filas se convierten en columnas.

Aquí ocurre el desastre: En la forma antigua de hacer las cosas (llamada cuantización de bloque 1D), cuando la cuadrícula se voltea, las notas adhesivas se mezclan en nuevos grupos. Una nota que estaba en el "Grupo A" con una etiqueta específica, ahora está en el "Grupo B" con una etiqueta totalmente diferente. La IA piensa: "Espera, yo pensaba que este número era pequeño, ¡pero ahora la etiqueta dice que es enorme!". Este desajuste entre lo que la IA vio cuando aprendió y lo que ve cuando revisa su trabajo crea una señal confusa y sesgada. Es como intentar seguir una receta donde la lista de ingredientes cambia cada vez que pasas la página. ¿El resultado? La IA se marea, el entrenamiento se vuelve inestable y falla en su aprendizaje.

La solución del cuadrado 2D

Los autores de este artículo tuvieron una idea brillante: No dejes que los grupos cambien cuando volteas la cuadrícula.

Propusieron usar bloques cuadrados 2D. Imagina que, en lugar de largas filas de notas adhesivas, las organizas en cuadrados perfectos (como un tablero de ajedrez de 32x32). Cuando volteas una cuadrícula cuadrada, los cuadrados siguen siendo cuadrados. Las notas adhesivas que estaban en el cuadrado superior izquierdo siguen estando en un cuadrado que corresponde al mismo grupo, solo que volteado. La etiqueta (la escala) permanece exactamente igual para esos números, ya sea que la IA esté leyendo hacia adelante o hacia atrás.

Al imponer esta regla transposición-invariante, la IA ya no se confunde. Los números que ve cuando aprende son los mismos números que ve cuando corrige. Este simple cambio soluciona el "mareo" y permite que la IA se entrene de forma estable utilizando los números ultra-simples de FP4.

La red de seguridad: Sin recorte y con conjeturas aleatorias

¡Pero espera, hay más! Solo arreglar los grupos no era suficiente. Debido a que los números FP4 son tan simples, pueden volverse demasiado grandes (desbordamiento/overflow) o ser redondeados de una manera que introduce un sesgo (por ejemplo, redondear siempre hacia arriba).

Para solucionar esto, el equipo añadió dos funciones de seguridad:

1. Escalamiento libre de truncamiento: En lugar de cortar los números que son demasiado grandes (lo que distorsiona los datos), ajustan la propia "regla" para que cada número quepa cómodamente dentro del rango. Es como estirar la regla para que la persona más alta de la habitación aún pueda caber sin que se le corte la cabeza.
2. Redondeo estocástico: Cuando un número cae entre dos marcas en la regla, en lugar de redondear siempre al más cercano (lo que crea un seszo), la IA lanza una moneda al aire. A veces redondea hacia arriba, otras veces hacia abajo. Con el tiempo, el promedio se mantiene perfectamente exacto. Es como un juego justo donde la casa no hace trampa.

El "ingrediente especial" para la Atención

Hay una parte truculenta del cerebro de la IA llamada "Atención", donde el modelo decide qué palabras en una oración son importantes. Esta parte es súper sensible. Si usas los números simples de FP4 aquí, la IA se confunde.

Por eso, los autores idearon una estrategia de precisión mixta. Utilizan los números FP4 súper eficientes para el trabajo pesado (las matemáticas principales), pero utilizan un formato ligeramente más preciso (MXFP8) solo para la parte de "Atención". Es como usar una pala tosca y rápida para cavar un gran agujero, pero cambiar a una paleta de precisión para el delicado lecho de flores en el medio. Esto mantiene todo el sistema rápido y eficiente mientras protege las partes más sensibles.

¿Realmente funciona?

El equipo probó esta idea en algunos modelos de IA muy grandes, incluyendo algunos con hasta 30 mil millones de parámetros (¡eso son muchas células cerebrales!). Los entrenaron con hasta 100 mil millones de tokens (palabras y símbolos).

Los resultados fueron impresionantes:

• Estabilidad: Los modelos se entrenaron sin problemas de principio a fin. Los métodos antiguos que no usaban este truco de los cuadrados 2D colapsaban prematuramente.
• Rendimiento: Los modelos de IA entrenados con este nuevo método funcionaron casi exactamente igual que los modelos entrenados con los números pesados y de alta precisión. La diferencia en calidad fue mínima —menos del 1.3% en algunas pruebas.
• Eficiencia: Ahorraron una cantidad masiva de memoria (aproximadamente un 65% menos) y teóricamente podrían funcionar 3.5 veces más rápido en el hardware diseñado para esto en el futuro.

La conclusión

Este artículo sugiere que el mayor obstáculo para hacer que el entrenamiento de la IA sea súper eficiente no es solo usar números más pequeños; es asegurarse de que esos números se comporten de manera consistente, sin importar cómo los mire la IA. Al cambiar de filas desordenadas y cambiantes a cuadrados ordenados y estables, los autores encontraron una forma de hacer que el entrenamiento de la IA sea tanto ultrarrápido como sólido como una roca.

Por supuesto, todavía quedan obstáculos. El equipo tuvo que simular esto en computadoras actuales porque los chips especiales que pueden hacer estas matemáticas de forma nativa aún no están ampliamente disponibles. Pero las matemáticas cuadran, y el camino a seguir está claro: si queremos que la IA sea más rápida y barata, debemos dejar de hacer el baile de los números y mantener las reglas consistentes.