💻 computer science

Closed-Form Residual-Space Rotation for Offline Transformer Width Growth

Este artículo propone una receta fuera de línea para expandir progresivamente el ancho de un Transformer que combina un Operador de Integración de Residuos Pequeños (SRIO) de forma cerrada con políticas de expansión específicas por bloque y una compuerta de calentamiento escalar para mejorar significativamente la pérdida de entrenamiento y preservar los comportamientos aprendidos durante el crecimiento del modelo.

Autores originales: Ramasubramanian B

Publicado 2026-08-05

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ramasubramanian B

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a escribir historias. Empiezas con un robot diminuto que tiene un cerebro muy pequeño. Aprende lo básico rápidamente, pero es demasiado simple para escribir una obra maestra. Para mejorarlo, podrías simplemente desechar el robot pequeño y construir uno gigante desde cero, pero eso tarda una eternidad y cuesta una fortuna en electricidad. Alternativamente, podrías intentar "hacer crecer" el cerebro del pequeño robot, añadiendo nuevas neuronas para hacerlo más ancho y listo. Esto se llama expansión de modelo.

La parte difícil de hacer crecer un cerebro es que las partes nuevas no saben cómo hablar con las partes viejas. Si solo añades una sección nueva, el cerebro viejo podría ignorarla, o el cerebro nuevo podría accidentalmente desordenar los recuerdos que el viejo tanto se esforzó por construir. Es como añadir un ala nueva a una casa sin conectar el pasillo; la habitación nueva está ahí, pero nadie puede entrar, o peor aún, toda la casa empieza a temblar. Los científicos han estado tratando de descubrir el "pegamento" perfecto para conectar estas partes viejas y nuevas del cerebro para que el robot mantenga sus habilidades antiguas mientras aprende nuevas. Este artículo trata sobre encontrar ese pegamento perfecto.

La receta para potenciar el cerebro: Una nueva forma de hacer crecer la IA

El autor de este artículo, Ramasubramanian B de Tech-Aarvam, ha ideado una ingeniosa "receta" para hacer crecer los modelos de IA (los cerebros de los robots) de forma desconectada (offline). En lugar de dejar que la IA aprenda a crecer mientras está funcionando, ellos realizan el trabajo pesado de antemano, como un chef que prepara los ingredientes antes de que lleguen los invitados. Su objetivo es tomar un modelo más pequeño y expandirlo para que sea más ancho sin perder nada del progreso que ya había realizado.

Piensa en el modelo de IA como un equipo de trabajadores pasando un cubo de agua en fila. El "ancho" del modelo es cuántas personas hay en esa fila. Cuando añades más personas a la fila, tienes que asegurarte de que las nuevas personas sepan exactamente cómo sostener el cubo y pasarlo sin derramar ni una gota. El artículo sugiere que la mejor manera de hacer esto es con tres ingredientes específicos: un truco de rotación especial, diferentes reglas de crecimiento para diferentes tareas y un suave "calentamiento" para los nuevos trabajadores.

1. El giro mágico: SRIO

La estrella del espectáculo es algo llamado SRIO (Operador de Integración de Residuo Pequeño). Imagina que la parte vieja del cerebro y la parte nueva del cerebro son dos lenguajes diferentes. Cuando añades nuevas neuronas, estas hablan un dialecto ligeramente distinto. Si solo las conectas, las neuronas viejas podrían no entender a las nuevas, y las nuevas podrían confundirse con las viejas.

SRIO actúa como un traductor que realiza un "giro" o rotación precisa de los datos. No cambia la información en sí, sino que rota la dirección de los nuevos datos para que se alineen perfectamente con los datos antiguos. Específicamente, rota la dirección "promedio" de las nuevas neuronas hacia las antiguas. Esto hace que los pesos viejos (las memorias del cerebro) lean las nuevas entradas con mucha más fuerza. El autor descubrió que esta rotación es una solución matemática de forma cerrada, lo que significa que es una fórmula fija que pueden calcular instantáneamente, en lugar de algo que la IA tenga que aprender lentamente. Es como tener un mapa prefabricado que te dice exactamente cómo girar la nueva habitación para que conecte con el pasillo antiguo.

2. Diferentes reglas para diferentes trabajos

El artículo descubrió que no puedes tratar a cada parte del cerebro de la misma manera. La IA tiene dos tipos principales de trabajadores: los trabajadores de Atención (que deciden a qué prestar atención) y los trabajadores de FFN (que procesan la información).

Para los trabajadores de Atención: El autor utilizó una "expansión convexa". Imagina tomar a los trabajadores existentes y crear nuevos combinando sus habilidades, como mezclando dos colores de pintura para obtener un nuevo tono. Esto crea nuevos trabajadores que son una mezcla suave de los anteriores.
Para los trabajadores de FFN: Utilizaron una "copia de mosaico" (tiled copy). Esto es como tomar a un solo trabajador y fotocopiarlo para llenar el nuevo espacio. Dado que estos trabajadores manejan características específicas, copiarlos directamente funciona mejor que mezclarlos.

El artículo muestra que mezclar estas dos estrategias —mezclar para la atención y copiar para el procesamiento— funciona mucho mejor que usar un solo método para todo.

3. El calentamiento suave

Incluso con la rotación perfecta y el crecimiento adecuado, los nuevos trabajadores podrían ser demasiado entusiastas y empezar a gritar por encima de los antiguos de inmediato. Para solucionar esto, el autor añadió una compuerta de calentamiento escalar (scalar warmup gate). Piensa en esto como un control de volumen. Cuando los nuevos trabajadores se unen, su volumen se baja al máximo de cero. Durante un periodo corto (unos 40 millones de palabras de entrenamiento), el volumen se sube lentamente. Esto permite que el cerebro viejo siga haciendo su trabajo mientras el nuevo cerebro aprende lentamente cómo contribuir sin causar el caos.

Lo que encontraron

El autor probó esta receta aumentando el ancho de un modelo de 256 a 384. Comparó su método con otros dos enfoques: no hacer nada especial (simplemente añadir partes nuevas al azar) y usar un método diferente llamado LiGO (que intenta aprender las reglas de crecimiento sobre la marcha).

Los resultados fueron claros:

El enfoque de "No hacer nada" resultó en una pérdida de entrenamiento de 4.2527.
El enfoque LiGO (reimplementado en su código) resultó en una pérdida de 4.2606.
Su receta completa (SRIO + expansión específica + calentamiento) logró una pérdida de 4.2111.

En el mundo del entrenamiento de IA, un número de "pérdida" (loss) más bajo significa que el modelo comete menos errores. Por lo tanto, su método fue el claro ganador, superando a los otros por un margen notable. También demostraron que esto funciona incluso cuando se crece el modelo varias veces, pasando de 24 millones de parámetros hasta los 120 millones, demostrando que es una receta que se puede usar repetidamente.

Lo que descartaron

El artículo también probó otras ideas para ver si funcionaban. Probaron diferentes tamaños del operador de rotación (versiones Mediana y Grande) y descubrieron que la versión "Pequeña" (SRIO) era igual de buena, si no mejor, y mucho más simple. También probaron si la IA debería aprender las reglas de rotación durante el entrenamiento (un modo de "aprendizaje") frente a usar su fórmula matemática fija (un modo "estático"). Descubrieron que la fórmula estática, precalculada, funcionaba tan bien como la que la IA intentaba aprender, lo que significa que no necesitas perder tiempo enseñándole a la IA cómo crecer; simplemente puedes darle las instrucciones.

Por qué es importante

La belleza de este método es que es desconectado (offline). Las matemáticas complejas y las rotaciones ocurren antes de que el modelo comience a entrenar de nuevo. Una vez que el modelo ha crecido, los trucos especiales de rotación se "pliegan" dentro de los pesos del modelo y desaparecen. Esto significa que la IA no necesita ningún poder de cómputo adicional para funcionar; es solo una versión ligeramente más grande y más lista del modelo original que aprendió más rápido y más barato.

En resumen, el autor encontró una manera de añadir nuevas habitaciones a una casa sin derribar las paredes ni confundir a los residentes. Al utilizar un giro matemático preciso, mezclar las estrategias de expansión adecuadas y subir el volumen lentamente, demostraron que se pueden hacer crecer los modelos de IA de manera eficiente, ahorrando tiempo y energía mientras se mantiene intacta la inteligencia del modelo.

Resumen Técnico: Rotación de Espacio Residual de Forma Cerrada para el Crecimiento de Ancho de Transformers en Modo Offline

Planteamiento del Problema

El entrenamiento progresivo de modelos tiene como objetivo reducir los costes computacionales y el tiempo de ejecución mediante el inicio con un modelo más pequeño y su expansión hacia un tamaño deseado a lo largo de múltiples etapas. Sin embargo, la expansión del ancho presenta un desafío crítico: equilibrar la preservación de los comportamientos previamente aprendidos con la eficacia de aprendizaje de los nuevos parámetros. Si la interacción entre los subespacios antiguos y nuevos es demasiado limitada, los pesos preentrenados contribuyen poco a las nuevas entradas; si se mezclan sin control, la expansión puede alterar la función aprendida. Los métodos existentes se centran principalmente en transformaciones de preservación de la función u operadores de crecimiento aprendidos, a menudo descuidando la interacción geométrica específica entre las direcciones de "todos los unos" (media) de los subespacios antiguo y nuevo.

Metodología

El autor propone una receta de crecimiento offline que consta de tres componentes principales diseñados para gestionar la transición de un ancho menor ( $d_{old}$ ) a uno mayor ( $d_{new}$ ).

1. Operador de Integración de Residuo Pequeño (SRIO)

La innovación central es una rotación ortogonal offline de forma cerrada aplicada en los límites residuales de entrada y salida de los bloques de transformer.

Mecanismo: El SRIO opera en el plano bidimensional generado por los vectores unitarios de todos los unos de los subespacios antiguo ( $u_{old}$ ) y nuevo ( $u_{grow}$ ).
Transformación:
- Lado de Salida: Rota el componente del subespacio antiguo a lo largo de $u_{old}$ hacia $u_{grow}$ .
- Lado de Entrada: Aplica la rotación inversa, rotando el componente del subespacio nuevo a lo largo de $u_{grow}$ hacia $u_{old}$ . Esto mejora la "fuerza de lectura" de los pesos antiguos para las nuevas entradas.
Solución de Forma Cerrada: El operador se define mediante una matriz de suma de filas de $2 \times 2$ compacta ( $RSIO_{2\times2}$ ) derivada de un único hiperparámetro $\epsilon$ . Este parámetro controla la ganancia de la nueva entrada del bloque ( $RT_{new} = \epsilon$ ). Un $\epsilon$ más bajo rota agresivamente la dirección media del subespacio nuevo hacia el subespacio antiguo, priorizando el uso de los pesos existentes mientras restringe la influencia de los nuevos pesos tanto en las entradas antiguas como en las nuevas.
Transformación de LayerNorm: La misma matriz ortogonal ( $SRIO\_R$ ) se aplica a los parámetros de escala ( $\gamma$ ) y desplazamiento ( $\beta$ ) de la LayerNorm para aumentar las proporciones de RMS de los gradientes en favor de los nuevos bloques.

2. Políticas de Expansión Estáticas Específicas por Bloque

El autor descubrió que los bloques de Atención y de Redes de Alimentación hacia Adelante (FFN) se benefician de distintas estrategias de expansión:

Bloques de Atención: Utilizan una expansión convexa (inspirada en LiGO). Se crean nuevas columnas de entrada y filas de salida mediante combinaciones convexas de las columnas y filas existentes utilizando coeficientes no negativos que suman uno.
Bloques FFN: Utilizan una estrategia de copia por teselas (tiled-copy). Los pesos antiguos se replican y recortan en la porción "nueva-nueva" de las matrices de pesos tanto para las capas de proyección ascendente ($fc1$) como de proyección descendente ($fc2$). Esto preserva la función de las neuronas existentes mientras las replica.

3. Compuerta de Calentamiento Escalar (Scalar Warmup Gate)

Una compuerta escalar ( $new\_dim\_alpha\_gate$ ) se aplica a la salida de los bloques de atención y FFN antes de la adición residual.

Función: Comienza en cero y aumenta gradualmente hasta uno durante un breve periodo inicial de entrenamiento (2 fragmentos o shards, aprox. 40M de tokens).
Propósito: Favorece inicialmente la preservación de la función al suprimir las nuevas salidas, para luego introducir gradualmente la nueva parte del flujo residual.

Contribuciones Clave y Configuración Experimental

El estudio evalúa estos componentes utilizando un protocolo de entrenamiento progresivo en los conjuntos de datos OpenWebText, FineWeb y FineWeb-Edu. Los modelos varían de 24M a 120M de parámetros, con una longitud de contexto de 256 tokens. El entrenamiento sigue un recuento de tokens óptimo de Chinchilla (20x el recuento de parámetros) por etapa.

Variantes Comparativas:
El documento evalúa varias variantes del Operador de Integración Residual (RIO):

NRIO: Sin operador (línea base).
SRIO: RIO pequeño (el propuesto de forma cerrada).
MRIO: RIO medio (contabiliza múltiples etapas/edades de crecimiento).
LRIO: RIO grande (denso completo, aprendido durante 100 pasos, similar a LiGO).

Resultados

En experimentos comparables aumentando el ancho residual de 256 a 384 ( $d256 \to d384$ ):

Rendimiento: La receta completa (SRIO + expansión específica por bloque + compuerta de calentamiento) logró una pérdida de entrenamiento de 4.2111.
Líneas Base: Esto superó a la línea base sin operador (4.2527) y a una reimplementación de los controles de LiGO (4.2606) dentro del mismo código base.
Comparación de Operadores: Entre los operadores, el orden de rendimiento fue generalmente $NRIO > LRIO > SRIO$. La variante ortogonal aprendida (SRIO-LO) funcionó ligeramente mejor que la variante ortogonal estática (SRIO-SO), pero la diferencia estaba dentro del rango de la variabilidad de la semilla de ejecución, lo que sugiere que la solución estática de forma cerrada es suficiente.
Viabilidad Multi-etapa: El método se aplicó con éxito a etapas de crecimiento repetidas de 24M a 120M de parámetros, demostrando la viabilidad para el escalado progresivo.
Impacto de los Componentes: El operador SRIO y las políticas de expansión específicas por bloque proporcionaron el impacto positivo más significativo. La compuerta de calentamiento mostró beneficios dependientes de la configuración, siendo más útil con LRIO y menos crítica cuando se combina con SRIO.

Significación y Reivindicaciones

El artículo afirma que el método propuesto ofrece una alternativa computacionalmente eficiente a los operadores de crecimiento aprendidos. Al derivar una rotación ortogonal de forma cerrada (SRIO) que apunta específicamente a la interacción entre las direcciones medias antigua y nueva, el autor logra la preservación de la función y una mejor eficacia de aprendizaje sin la sobrecarga de ejecución de los operadores aprendidos durante la fase de expansión.

El autor enfatiza que:

Eficiencia Offline: El SRIO y las políticas de expansión se integran en los pesos del modelo de forma offline, lo que no requiere operadores persistentes durante el entrenamiento o la inferencia (solo la breve compuerta de calentamiento está activa).
Interacción de Subespacios: El trabajo destaca la importancia de gestionar la relación geométrica entre los subespacios antiguo y nuevo, específicamente las direcciones de "todos los unos", para evitar que los nuevos parámetros dominen la función aprendida o permanezcan aislados.
Alcance Modesto: El estudio se limita a la expansión de ancho (no de profundidad), utiliza un vocabulario específico (GPT-2 BPE) y opera en modelos de hasta 120M de parámetros. El autor señala que la verificación a escalas de miles de millones de parámetros y con diferentes vocabularios sigue siendo un trabajo futuro. También reconoce que, aunque el método funciona bien, el impacto específico de los sesgos residuales en el ajuste fino posterior (SFT) requiere estudios adicionales.