Resumen Técnico: Enrutamiento de Optimizador Guiado por Gradientes para la Adaptación de LLM (MoLF)

1. Declaración del Problema

El ajuste fino de Modelos de Lenguaje Grandes (LLM) enfrenta un compromiso estructural fundamental entre el Ajuste Fino Completo (FFT) y la Adaptación de Bajo Rango (LoRA).

• FFT ofrece una alta plasticidad representacional, esencial para inyectar conocimiento de alta entropía (por ejemplo, actualizaciones factuales), pero arriesga el olvido catastrófico de las capacidades de razonamiento preentrenadas debido a una optimización agresiva.
• LoRA actúa como un regularizador implícito, preservando la lógica preentrenada y evitando el sobreajuste, pero sufre de un cuello de botella de capacidad cuando las tareas requieren actualizaciones de alto rango (por ejemplo, memorizar asociaciones factuales complejas).

La evidencia empírica sugiere que ninguna arquitectura estática es universalmente óptima; la mejor elección depende de la dimensionalidad intrínseca de la tarea y del modelo específico. Las soluciones existentes, como LoRA de rango adaptativo o Mezcla de Expertos (MoE) que enrutan tokens, no resuelven esta tensión porque ya sea restringen el espacio de búsqueda a subespacios de bajo rango o fragmentan las estadísticas de los gradientes al enrutar las entradas, lo que conduce a dinámicas de entrenamiento inestables y problemas de arranque en frío cuando cambian los rangos.

2. Metodología: MoLF y MoLF-Efficient

Los autores proponen el Ajuste Fino de Mezcla de LoRA y Completo (MoLF), un marco que unifica FFT y LoRA dentro de un único régimen de entrenamiento sin alterar la estructura del paso hacia adelante.

Arquitectura Central

MoLF trata los pesos del modelo base ($W_{base}$) como un "experto FFT" e inyecta múltiples adaptadores LoRA independientes como "expertos LoRA". A diferencia de MoE tradicional, todos los expertos participan en cada paso hacia adelante y hacia atrás. El paso hacia adelante es una superposición incondicional:
$$y = W_{base}x + \sum_{i=1}^{N} \alpha_i \frac{1}{\sqrt{r_i}} B_i(A_i(\text{Dropout}(x)))$$
donde $\alpha_i$ es un factor de escalado de LoRA Estabilizado por Rango (RS-LoRA).

Enrutamiento de Optimizador Guiado por Gradientes

La novedad de MoLF radica en esparcir el paso de actualización de parámetros en lugar del paso hacia adelante. El marco emplea un optimizador AdamW Esparsificado personalizado con un mecanismo de enrutamiento de tres fases:

1. Rastreo Universal de Momento: Todos los expertos (FFT y LoRA) reciben gradientes de lote completo y actualizan sus estimaciones de primer momento ($m_t$) y segundo momento ($v_t$) de Adam. Esto asegura que cada experto mantenga un estado de momento maduro y desviado, evitando el modo de fallo de "arranque en frío" observado en métodos de rango adaptativo.
2. Puntuación de Expertos (Descenso Precondicionado Esperado - EPD): En lugar de enrutar basándose en normas de gradiente crudas, MoLF calcula una puntuación EPD ($S_t^{(i)}$) para cada experto. Esta puntuación estima la reducción de pérdida esperada por parámetro si ese experto fuera actualizado, normalizada por el número de parámetros ($N_{params}^{(i)}$):
   $$S_t^{(i)} = \frac{\eta_t^{(i)}}{N_{params}^{(i)}} \sum_{\theta \in \Theta_i} \frac{(m_t^{(i)})^2}{\sqrt{v_t^{(i)} + \epsilon}}$$
   Esta métrica tiene en cuenta tanto el tamaño de paso previsto del optimizador como la topología local de la pérdida, permitiendo una comparación justa entre la enorme columna vertebral FFT y los adaptadores LoRA ligeros.
3. Actualización Esparsa Top-K: Solo los expertos Top-$K$ (típicamente $K=1$) con las puntuaciones EPD más altas reciben actualizaciones físicas de pesos a través del paso estándar de AdamW. Los expertos perdedores retienen sus pesos anteriores pero continúan acumulando estadísticas de gradiente.

MoLF-Efficient (MoLF-E)

Para entornos con restricciones de memoria, MoLF-E elimina por completo el experto FFT. Enruta actualizaciones entre un par de expertos LoRA con rangos variables (por ejemplo, $r$ y $128$). Esta variante congela los pesos base y los parámetros no lineales, reduciendo la sobrecarga de memoria mientras retiene el beneficio de la búsqueda de subespacio dinámica.

Inferencia

Post-entrenamiento, MoLF permite una inferencia sin sobrecarga. Todos los expertos LoRA entrenados se proyectan matemáticamente directamente en los pesos base ($W_{final} = W_{base} + \sum \Delta W_i$), colapsando el gráfico de múltiples expertos en un modelo denso estándar idéntico a la arquitectura base del LLM.

3. Contribuciones Clave

1. Caracterización Empírica de Regímenes de Ajuste Fino: Los autores evalúan sistemáticamente FFT y LoRA en tres conjuntos de datos (CounterFact, MedMCQA, Texto-a-SQL) y tres modelos (Gemma-3-1B, Qwen2.5-1.5B, Qwen2.5-3B). Identifican tres regímenes distintos:
   • Fact (Cuello de Botella de Capacidad): FFT domina; LoRA falla en capturar espectros de valores singulares de alta entropía y cola pesada.
   • Med (Regularización Espectral): LoRA de alto rango supera a FFT; la restricción de bajo rango actúa como un regularizador que previene el olvido catastrófico del razonamiento.
   • SQL (Baja Dimensionalidad Intrínseca): Ambos funcionan de manera similar; LoRA captura el espectro singular concentrado de manera eficiente.
2. Marco MoLF: Un método unificado que navega dinámicamente entre FFT y LoRA a nivel de optimizador, asegurando dinámicas de entrenamiento estables manteniendo todos los expertos activos en la acumulación de gradientes.
3. MoLF-E: Una variante eficiente en memoria que supera a los métodos de rango adaptativo existentes (AdaLoRA, AdaMix) al mantener expertos LoRA paralelos de diferentes rangos sin una ruta FFT.

4. Resultados Experimentales

• MoLF vs. Líneas Base Estáticas: En 9 configuraciones (3 modelos $\times$ 3 tareas), MoLF coincide o supera consistentemente la mejor línea base estática (FFT o LoRA de rango óptimo). Se mantiene dentro del 1.5% de la mejor línea base en todos los casos y logra la puntuación absolutamente mejor en 3 configuraciones. Notablemente, recupera la capacidad a nivel de FFT en tareas de Fact mientras supera a FFT en hasta un 3.25% en tareas de Med.
• MoLF-E vs. PEFT Adaptativo: MoLF-E supera a AdaLoRA y AdaMix en 8 de 9 configuraciones. La mejora es más significativa en tareas de Fact, donde MoLF-E logra hasta un 20% más de precisión que la línea base de menor rendimiento (AdaMix) al asignar efectivamente actualizaciones a subespacios de mayor rango cuando la capacidad es el cuello de botella.
• Estudios de Ablación:
  • Actualizaciones Esparsas: Actualizar todos los expertos simultáneamente (actualización densa) causa una degradación severa del rendimiento en tareas de Med debido a oscilaciones de optimización entre capacidades representacionales competitivas.
  • Heurística de Enrutamiento: La puntuación EPD supera a la Norma Frobenius Precondicionada (PFN) en tareas de Med, demostrando que incorporar la tasa de aprendizaje y el tamaño de paso es crucial para equilibrar expertos de diferentes escalas.
  • Estabilidad del Enrutador: El enrutador converge rápidamente (dentro de ~500 pasos) a una asignación estructural estable, donde módulos específicos se comprometen definitivamente con rutas de FFT o LoRA en lugar de oscilar.

5. Significado y Afirmaciones

El artículo afirma que depender de una única arquitectura estática es estructuralmente limitado para la adaptación de LLM. MoLF resuelve la tensión entre la plasticidad representacional y la regularización implícita desacoplando el paso hacia adelante del mecanismo de actualización.

Los autores afirman que MoLF proporciona una "navegación continua" entre regímenes de entrenamiento, permitiendo que el modelo aproveche la alta capacidad de FFT para la inyección de conocimiento y la regularización de LoRA para la preservación del razonamiento sin ajuste manual de hiperparámetros ni búsquedas exhaustivas de rango. Además, la capacidad de colapsar el modelo post-entrenamiento asegura que estas ganancias no incurran en penalizaciones de latencia de inferencia, haciendo que el enfoque sea práctico para su implementación. El trabajo sugiere que mantener una arquitectura entrenable expresiva mientras se esparce solo las actualizaciones a nivel de experto es una estrategia efectiva para capturar los beneficios de diversos tipos de expertos.