🤖 machine learning

Forward Pass Domain Adaptation (Without Cross-Layer Backpropagation)

Este artículo introduce el entrenamiento de solo paso hacia adelante (FPO, por sus siglas en inglés), un método de adaptación de dominio para modelos de lenguaje extensos que logra un rendimiento significativamente mayor y un menor uso de memoria al aplicar una única señal de error de la capa de salida directamente a las capas de destino sin retropropagación, manteniendo al mismo tiempo un desempeño comparable al del ajuste fino estándar tanto en evaluaciones de dominio interno como de dominio externo.

Autores originales: Rivaan Patil, Simon Dennis, Hao Guo, Kevin Shabahang

Publicado 2026-08-18

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Rivaan Patil, Simon Dennis, Hao Guo, Kevin Shabahang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Los modelos de lenguaje de gran tamaño son los motores detrás de muchas de las herramientas de inteligencia artificial más avanzadas disponibles hoy en día, capaces de escribir, razonar y resolver problemas con una fluidez que antes parecía imposible para las máquinas. Para hacer que estos modelos sean útiles para tareas específicas, como diagnosticar condiciones médicas o analizar documentos legales, los investigadores suelen "ajustarlos" (fine-tuning). Este proceso consiste en mostrar al modelo enormes cantidades de datos nuevos y especializados y ajustar sus configuraciones internas para que aprenda los patrones de ese nuevo mundo. Sin embargo, este ajuste es increíblemente costoso. Requiere computadoras potentes para ejecutar el modelo hacia adelante para ver la respuesta, y luego hacia atrás para determinar exactamente cómo cambiar cada parte del sistema para obtener un mejor resultado. Este paso hacia atrás demanda una cantidad masiva de memoria, a menudo tres veces más de lo necesario solo para ejecutar el modelo, lo que hace que sea imposible realizarlo en computadoras de consumo estándar o en situaciones donde la velocidad es crítica.

Un equipo de investigadores de la Universidad de California, Santa Cruz, y la Universidad de Melbourne ha descubierto una forma de evitar este costoso paso hacia atrás por completo. Descubrieron que, para los modelos de lenguaje de gran tamaño, los ajustes más importantes necesarios para aprender nueva información ocurren principalmente en las capas finales de la red, cerca del final de la cadena de procesamiento. Al centrarse únicamente en estas capas tardías y calcular los cambios necesarios utilizando solo la información disponible de una sola pasada hacia adelante, crearon un nuevo método de entrenamiento llamado entrenamiento MLP de solo pasada hacia adelante (Forward-Pass-Only MLP training). Este enfoque permite que el modelo aprenda nuevas habilidades sin tener que mirar nunca hacia atrás a través de su propia estructura, reduciendo la memoria requerida en aproximadamente un cuarenta por ciento y haciendo que el proceso sea casi tres veces más rápido que los métodos estándar. Crucialmente, esta velocidad y eficiencia se obtienen sin el costo habitual de olvidar lo que el modelo ya sabía; mientras que los métodos tradicionales a menudo degradan las capacidades generales del modelo al aprender una nueva especialidad, esta nueva técnica mantiene intacto el conocimiento original del modelo.

El núcleo de este descubrimiento reside en una observación simple pero profunda sobre cómo estos modelos procesan la información. En una sesión de entrenamiento estándar, la computadora calcula una señal de error al final de la salida del modelo y luego envía esa señal hacia atrás, capa por capa, para ajustar los pesos dentro de la red. Los investigadores se dieron cuenta de que, para el último cuarto de las capas del modelo, la dirección del ajuste necesario es casi idéntica a una señal que puede calcularse utilizando solo la salida y el estado actual del modelo, sin necesidad de trazar el camino hacia atrás. Probaron esta idea en seis modelos públicos diferentes, que van desde los tres mil millones hasta los ocho mil millones de parámetros, y encontraron que la dirección del ajuste real se alinea estrechamente con esta señal más simple, solo hacia adelante. La alineación fue lo suficientemente fuerte como para ser útil, con las señales apuntando en direcciones aproximadamente iguales en casi la mitad de los casos, una consistencia que se mantuvo a través de diferentes arquitecturas de modelos.

Para poner esta teoría en práctica, el equipo desarrolló una herramienta de diagnóstico rápida que tarda unos dos minutos en ejecutarse en un solo chip de computadora. Esta herramienta mide qué tan bien coincide la señal simple hacia adelante con la compleja señal hacia atrás para cada capa de un modelo específico. Actúa como un mapa, mostrando a los investigadores exactamente dónde se puede omitir de forma segura el paso hacia atrás en la red. Una vez identificadas estas capas tardías "viables", el proceso de entrenamiento cambia fundamentalmente. En lugar de construir un registro masivo y complejo de cada paso que dio el modelo para poder revertirlos más tarde, el sistema simplemente ejecuta el modelo hacia adelante, calcula el error al final y aplica una corrección directa a las capas objetivo. Nunca se construye una pasada hacia atrás, y no se desperdicia memoria almacenando el historial de la computación. Esto elimina el principal cuello de botella que ha impedido que muchas personas ajusten estos grandes modelos en su propio hardware.

Los resultados de las pruebas de este método en tres familias diferentes de modelos fueron impactantes. En términos de velocidad, el nuevo enfoque fue entre 2.7 y 3.2 veces más rápido que el ajuste fino estándar, lo que permite a los investigadores procesar significativamente más datos en el mismo período de tiempo. En hardware con restricciones de memoria, como una sola tarjeta gráfica de alta gama, el método permitió procesar lotes de datos mucho más grandes simultáneamente, mientras que los métodos estándar fallarían debido a los límites de memoria. Quizás lo más importante es que el método preservó la inteligencia general del modelo. Cuando los investigadores probaron los modelos adaptados en una variedad de tareas no relacionadas, como responder preguntas de conocimiento general o resolver acertijos de lógica, los modelos funcionaron casi tan bien como lo hacían antes del entrenamiento. En contraste, los modelos entrenados con métodos estándar a menudo veían caer significativamente su rendimiento en estas tareas generales, un fenómeno conocido como olvido catastrófico. El nuevo método evitó esta trampa, manteniendo estables las capacidades amplias del modelo mientras aprendía su nueva especialidad.

Los investigadores también exploraron por qué ocurre esta preservación del conocimiento general. Compararon su método con un enfoque híbrido donde solo actualizaban las capas tardías pero seguían utilizando la lenta y estándar pasada hacia atrás. Encontraron que la preservación del conocimiento general no era un truco del nuevo método de cálculo en sí, sino un resultado directo de restringir los cambios a las capas tardías de la red. Las capas tempras, que manejan los bloques fundamentales del lenguaje y el razonamiento, se dejaron intactas, evitando que el modelo sobrescribiera su comprensión central. Sin embargo, el nuevo método es la única forma práctica de lograr esto, porque la pasada hacia atrás estándar es demasiado lenta y consume demasiada memoria para ser factible cuando se restringe a solo unas pocas capas. El nuevo enfoque permite operar en esta zona "segura" donde el aprendizaje es eficiente y el olvido se minimiza.

Si bien el método es altamente efectivo, también tiene límites. Los modelos entrenados con esta técnica no aprendieron el nuevo dominio tan profundamente como los modelos entrenados con el método completo y lento; lograron una mejora ligeramente menor en la tarea específica que se les enseñó. Este es el compromiso: el nuevo método sacrifica una pequeña cantidad de rendimiento máximo en la nueva tarea para ganar mejoras masivas en velocidad, eficiencia de memoria y la preservación del conocimiento general. Los investigadores sugieren que, para muchas aplicaciones del mundo real, como personalizar un modelo para un usuario específico o adaptarlo para una industria especializada en hardware de consumo, este compromiso vale la pena. El método abre la puerta a la adaptación en entornos donde antes era imposible, convirtiendo un proceso que una vez requirió un centro de datos en algo que puede ejecutarse en una sola máquina, todo mientras mantiene la inteligencia original del modelo a salvo del daño de la sobreespecialización.

Resumen Técnico: Adaptación de Dominio de Paso Adelante (FPO)

1. Planteamiento del Problema

El ajuste fino (fine-tuning) de modelos de lenguaje extensos (LLMs) en datos específicos de un dominio requiere típicamente un paso hacia atrás (backward pass) completo a través de la red. Este proceso exige almacenar activaciones para cada capa para calcular los gradientes, lo que resulta en una huella de memoria 2 a 3 veces mayor que la inferencia. Esta sobrecarga impide el ajuste fino en GPUs de consumo, dispositivos de borde o en escenarios de personalización de alto rendimiento. Si bien los métodos de eficiencia de parámetros como LoRA reducen el estado del optimizador, aún requieren un paso hacia atrás completo, por lo que materializan el grafo de activación completo. Además, el ajuste fino de toda la red a menudo conduce al "olvido catastrófico", donde el rendimiento en evaluaciones fuera del dominio (por ejemplo, MMLU, ARC-Challenge) se degrada significativamente, un comportamiento que no es reproducible de manera fiable entre diferentes semillas aleatorias.

2. Observación Central y Metodología

El artículo postula que en las capas tardías de un transformador, el gradiente real con respecto a los pesos de la MLP puede aproximarse mediante una cantidad computable únicamente a partir del paso hacia adelante (forward pass).

2.1 Base Teórica

Para un peso de MLP $W^{(\ell)}$ en la capa $\ell$ , el gradiente real $\nabla W^{(\ell)}L$ se descompone en:
$\nabla W^{(\ell)}L = \tilde{g}W^{(\ell)} + R W^{(\ell)}$
Donde:

$\tilde{g}W^{(\ell)}$ es el pseudogradiente proyectado a la salida. Se calcula retropropagando el error de la capa de salida a través de la transpuesta del desembebimiento (unembedding transpose) y los Jacobianos de forma cerrada de las capas de normalización finales únicamente. Asume que todas las capas intermedias entre $\ell$ y la salida actúan como funciones identidad.
$R W^{(\ell)}$ es el residuo, que contiene contribuciones de no linealidades intermedias y el enrutamiento entre tokens (cross-token routing).

Encuestas empíricas de seis modelos públicos (3B–8B de parámetros) revelan que en el último 25% de las capas, la similitud de coseno entre $\tilde{g}W^{(\ell)}$ y el gradiente real oscila entre 0.47 y 0.59. Esto sugiere que el residuo es lo suficientemente pequeño en la dirección ortogonal como para que el componente proyectado a la salida capture la dirección dominante del gradiente.

2.2 La Herramienta de Diagnóstico

Los autores introducen un diagnóstico de viabilidad de capa que cuantifica esta similitud de coseno por capa.

Proceso: Ejecuta un pequeño lote de calibración (16 secuencias de 512 tokens) en una sola GPU, tomando aproximadamente dos minutos.
Resultado: Identifica la región de "meseta alta" (high-plateau) en las capas finales donde la alineación es lo suficientemente fuerte como para ser explotada. Esto permite a los profesionales determinar dónde en un modelo específico es viable la adaptación de capas tardías.

2.3 Entrenamiento de MLP de Solo Paso Adelante (FPO)

FPO es un algoritmo que adapta modelos de lenguaje sin construir un grafo de autograd ni ejecutar un paso hacia atrás a través del cuerpo del modelo.

Mecanismo:
1. Realizar un paso hacia adelante estándar, almacenando en caché las activaciones intermedias de la MLP ( $h_{mid}$ ) en las capas objetivo.
2. Calcular el error de la capa de salida ( $e = \text{softmax}(z) - y$ ).
3. Proyectar $e$ al espacio del flujo residual usando la transpuesta de la cabeza del modelo de lenguaje ( $g = e W_{lm}$ ).
4. Componer $g$ con los Jacobianos de forma cerrada de las capas de normalización (por ejemplo, RMSNorm) para producir la señal específica de la capa $\tilde{g}^{(\ell)}$ .
5. Actualizaciones de Pesos:
  - Proyección descendente ( $W_3$ ): Se actualiza exactamente usando $\Delta W_3 \propto -\tilde{g}^{(\ell)T} h_{mid}$ .
  - Proyecciones de Puerta ( $W_1$ ) y Ascendente ( $W_2$ ): Estas requieren una señal de gradiente en el espacio oculto de la MLP. FPO aproxima esto utilizando los pesos iniciales almacenados en caché ( $W_3^{init}$ ) como una matriz de retroalimentación fija: $\text{error}_h = \tilde{g}^{(\ell)} W_3^{init}$ . Esta aproximación se mantiene porque $W_3$ cambia lentamente bajo el régimen de adaptación.
Restricciones: No se propaga señal entre capas; no se construye un grafo de autograd. La sobrecarga máxima de memoria se limita a las activaciones almacenadas en caché en las capas objetivo y los estados del optimizador para esas capas específicas (aprox. 10% de los parámetros).

3. Contribuciones Clave

Diagnóstico de Viabilidad de Capa: Una herramienta rápida de dos minutos que cuantifica la similitud de coseno entre los pseudogradientes proyectados a la salida y los gradientes reales, identificando las capas objetivo viables para cualquier transformador autorregresivo.
Algoritmo FPO: Un método de entrenamiento que logra la adaptación de dominio sin un paso hacia atrás a través del cuerpo del modelo. Es 2.7–3.2× más rápido que el ajuste fino supervisado (SFT) de red completa y 2.2× más rápido que el SFT de capa parcial (SFT-partial). Reduce la sobrecarga de memoria de entrenamiento pico en aproximadamente un 40% en comparación con el SFT estándar.
Régimen Seguro para Benchmarks: Evidencia empírica que muestra que restringir la adaptación a las capas tardías (vía FPO) preserva el rendimiento de los benchmarks fuera del dominio dentro del ruido de la semilla respecto a la línea base. En contraste, el SFT de red completa y LoRA suelen degradar estos benchmarks significativamente.

4. Resultados Experimentales

El método fue evaluado en tres familias de modelos: OLMo-2-7B, Qwen3-8B y Falcon3-7B, adaptados a textos matemáticos, biomédicos y científicos.

Rendimiento (Throughput) y Memoria:
- FPO logra 22.0K–22.7K tokens/s en GPUs H100, comparado con 7.5K–8.7K tokens/s para el SFT de red completa.
- FPO soporta tamaños de lote más grandes (por ejemplo, tamaño de lote 8–10) en hardware donde el SFT no logra ajustarse por completo (por ejemplo, el SFT con tamaño de lote 1 usa ~30GB en OLMo-7B, mientras que FPO con tamaño de lote 8 usa ~40GB).
Preservación de Benchmarks:
- FPO: Mantiene los benchmarks fuera del dominio (MMLU, ARC-Challenge, HellaSwag, Winogrande) dentro de 0.22 puntos de la línea base. En OLMo-2-7B, incluso mostró una mejora de +0.91.
- SFT Completo y LoRA: Degradaron consistentemente los benchmarks. El SFT completo en OLMo mostró una alta varianza, con algunas semillas causando un daño severo (hasta -8.86 puntos), mientras que LoRA mostró una degradación constante (-0.68 a -3.96 puntos).
Rendimiento Intra-dominio:
- FPO logra mejoras en la perplejidad intra-dominio, aunque menores que el SFT completo o LoRA (por ejemplo, -6.3% frente a -11.4% para OLMo).
- Crucialmente, FPO mantiene la perplejidad del texto mantenido (held-out) cerca de la línea base, mientras que LoRA a menudo la degrada significativamente (por ejemplo, +19.4% en Qwen3).
Control de Mecanismo (SFT-parcial):
- Ejecutar el SFT estándar restringido solo a las capas objetivo de FPO (congelando el resto) reprodujo la preservación de benchmarks de FPO. Esto confirma que la selección de capas (adaptación de capas tardías) es el principal motor de la seguridad de los benchmarks, mientras que FPO es el mecanismo práctico para lograr este régimen de manera eficiente.

5. Significado y Reivindicaciones

El artículo afirma que FPO operacionaliza la observación de que los gradientes de las capas tardías son mayoritariamente redundantes con las señales de la capa de salida. Su importancia radica en:

Factibilidad: Permite la adaptación de dominio en GPUs de consumo y dispositivos de borde donde el retropropagación completa es imposible debido a las restricciones de memoria.
Estabilidad: Proporciona un régimen "seguro para benchmarks" donde los modelos se adaptan a nuevos dominios sin olvidar capacidades generales, una propiedad que no se logra de manera fiable mediante el ajuste fino de red completa.
Eficiencia: Ofrece una ventaja de rendimiento de 3× sobre el ajuste fino estándar, haciendo que el desarrollo iterativo y la personalización a gran escala sean significativamente más rápidos.

Los autores señalan las limitaciones: FPO está validado actualmente en modelos de lenguaje causales (3B–8B) con disposiciones de normalización específicas. Se dirige al next-token cross-entropy y requiere una nueva derivación para el ajuste de instrucciones o objetivos de RL. El método depende de la suposición de que $W_3$ cambia lo suficientemente lento como para que los pesos iniciales almacenados en caché sirvan como una matriz de retroalimentación válida para las actualizaciones de $W_1$ y $W_2$ .