A Reproducibility Study of Partial Residual Ablations in Pre-LN Transformers

La inteligencia artificial moderna que escribe, traduce y razona depende de un diseño arquitectónico específico conocido como transformador. En el corazón de este diseño se encuentran pilas profundas de capas de procesamiento, cada una de las cuales refina la información que recibe de la anterior. Para evitar que estas redes profundas se desmoronen durante el entrenamiento, los ingenieros utilizan "conexiones de salto" (skip connections). Imagine un río que fluye a través de una serie de cascadas; la conexión de salto es como un canal de derivación que permite que el agua rodee una cascada y se reincorpore al flujo corriente abajo. Esto asegura que la señal nunca se pierda o se diluya, sin importar cuántas capas deba atravesar la información. Durante años, la práctica estándar ha sido incluir estos desvíos después de cada paso de procesamiento. Pero una investigación reciente planteó una pregunta estructural simple: ¿qué sucede si eliminamos solo uno de estos desvíos? ¿Falla el sistema por completo o encuentra una forma de adaptarse?

Un investigador llamado Pratik Kumar Babariya se propuso responder a esto construyendo modelos de inteligencia artificial y eliminando sistemáticamente estas redes de seguridad. Probó dos escenarios específicos: uno donde se eliminaba el desvío después del mecanismo de atención, y otro donde se eliminaba el desvío después de la red de alimentación hacia adelante (feed-forward network). El mecanismo de atención es la parte del modelo que decide qué palabras en una oración son más relevantes entre sí, mientras que la red de alimentación hacia adelante es la parte que procesa y transforma esa información. El objetivo era ver si el modelo podía sobrevivir sin estos atajos específicos, o si la eliminación causaría el colapso de todo el proceso de aprendizaje.

Los experimentos iniciales, realizados en modelos más pequeños, sugirieron un resultado sombrío. Cuando el investigador eliminaba cualquiera de los dos desvíos, los modelos no lograban aprender, quedándose estancados en el mismo nivel de bajo rendimiento que un modelo que no tenía ningún desvío. Parecía que ambos atajos eran igualmente esenciales. Sin embargo, este resultado temprano fue probablemente un truco de las herramientas de medición. El investigador se dio cuenta de que la forma en que estaba evaluando los modelos introducía ruido aleatorio, lo que hacía imposible ver diferencias sutiles en el rendimiento. Reconstruyó el experimento con una configuración más rigurosa, utilizando datos fijos para las pruebas y asegurándose de que cada variable estuviera controlada.

Cuando el experimento se ejecutó nuevamente con este método más limpio, surgió una asimetría sorprendente. Eliminar el desvío después de la red de alimentación hacia adelante causó que el modelo fallara por completo, tal como habían mostrado las pruebas iniciales. El modelo no podía aprender, y su rendimiento permanecía estancado en una tasa de error elevada. Pero cuando se eliminó el desvío después del mecanismo de atención, el modelo hizo algo inesperado: aprendió. No funcionó tan bien como un modelo con todos sus atajos intactos, pero aprendió con éxito a procesar el lenguaje, alcanzando un nivel de rendimiento muy superior al del modelo fallido. Este resultado no fue una casualidad; el investigador ejecutó la configuración exitosa ocho veces con diferentes puntos de partida aleatorios, y en cada caso, el modelo aprendió eficazmente. El fallo de la otra configuración fue igualmente consistente, ocurriendo cada vez que se probaba.

El investigador luego investigó por qué existía esta diferencia. Observó que en los modelos que fallaban, el flujo de información desde las capas inferiores hacia las superiores se había detenido por completo, un fenómeno conocido como inanición de gradiente (gradient starvation). Esto sucedía en ambos casos de fallo. Sin embargo, en el modelo que tuvo éxito, el mecanismo de atención pareció encontrar un camino alternativo. Debido a que el mecanismo de atención observa todas las palabras de una oración simultáneamente, puede aprender a enrutar la información a través de diferentes posiciones, reconstruyendo efectivamente una ruta para que los datos fluyan incluso sin el atajo físico. La red de alimentación hacia adelante, por el contrario, procesa cada palabra de forma aislada y no puede crear este tipo de conexión cruzada. Sin su desvío, no tiene forma de recuperar la información perdida.

La historia no termina con un misterio perfectamente resuelto. Cuando el investigador escaló el experimento a un modelo mucho más grande, los resultados fueron menos claros. Si bien el modelo que eliminó el desvío de la red de alimentación hacia adelante seguía fallando, el modelo que eliminó el desvío de la atención mostró signos de aprendizaje, pero su rendimiento variaba drásticamente según las condiciones iniciales aleatorias. En algunas ejecuciones, aprendía bien; en otras, tenía dificultades. Esto sugiere que, si bien la capacidad de adaptación es real, se vuelve más difícil de mantener a medida que el modelo crece en tamaño y complejidad. El investigador también descubrió un error metodológico significativo en su propio trabajo temprano: había intentado arreglar los modelos que fallaban ajustando un multiplicador durante el proceso de entrenamiento, lo que los hacía parecer exitosos. Más tarde se dio cuenta de que el algoritmo de entrenamiento había compensado automáticamente este cambio, haciendo que el ajuste fuera una ilusión. Al corregir este error e informar el fallo de manera transparente, aseguró que la conclusión final se basara en la realidad y no en un artefacto del software.

El hallazgo central es que no todos los atajos en un cerebro de inteligencia artificial son creados iguales. Eliminar la ruta después de la parte del modelo que conecta las palabras entre sí permite que el sistema sobreviva y aprenda, probablemente porque esa parte del sistema puede reconfigurarse para compensar. Eliminar la ruta después de la parte que procesa palabras individuales provoca que el sistema se rompa por completo. Esta distinción es cierta para modelos pequeños y se sugiere fuertemente para modelos más grandes, aunque los modelos de mayor escala requieren más estudio para confirmar los límites de esta adaptabilidad. El trabajo sirve como un recordatorio de que en sistemas complejos, la disposición específica de las conexiones importa tanto como las conexiones mismas, y que incluso cuando un sistema parece fallar, una mirada más cercana puede revelar una capacidad oculta para recuperarse.