Resumen Técnico: Slice – Inicialización de Adaptadores de Bajo Rango mediante Cirugía de Gradientes para Aprendizaje Continuo

1. Formulación del Problema

El artículo aborda el desafío del olvido catastrófico en el aprendizaje continuo (CL) de Modelos de Lenguaje Grandes (LLM) utilizando Adaptación de Bajo Rango (LoRA). Aunque LoRA es eficiente para el ajuste fino, los esquemas de inicialización estándar (por ejemplo, Gaussiana aleatoria para la matriz $A$ y ceros para $B$) son "ciegos" a la estructura de conflicto entre tareas.

En un entorno continuo, cuando el gradiente de una nueva tarea ($G_{cur}$) entra en conflicto con los gradientes de tareas previamente aprendidas ($G_{prev}$)—indicado por un producto interno de Frobenius negativo—los pasos de optimización estándar que mejoran la tarea actual inevitablemente degradan el rendimiento en tareas anteriores. Los métodos de inicialización existentes como LoRA-GA (que utiliza el gradiente de la tarea actual) o métodos espectrales (como PiSSA o MiLoRA) no tienen en cuenta la preservación del conocimiento previo durante la fase de inicialización. En consecuencia, el adaptador se inicializa en un subespacio que podría sobrescribir inmediatamente las direcciones aprendidas previamente.

2. Metodología: Slice

Los autores proponen Slice (Inicialización de Bajo Rango basada en Cirugía de Gradientes para Aprendizaje Continuo), un método que inicializa los adaptadores LoRA en un subespacio alineado con la tarea actual mientras minimiza la interferencia destructiva con las tareas anteriores. El método opera en cuatro etapas antes de cualquier entrenamiento:

1. Estimación de Gradientes: El modelo calcula matrices de gradiente para la tarea actual ($G_{cur}$) y una muestra de tareas anteriores ($G_{prev}$) acumulando gradientes sobre pequeños mini-lotes. Esto requiere solo un pase ligero hacia adelante y hacia atrás.
2. Reconciliación de Gradientes (Cirugía): Un operador de proyección $\psi$ reconcilia $G_{cur}$ y $G_{prev}$ para producir una dirección libre de conflictos $\tilde{G}_{cur}$. Los autores emplean una generalización de PCGrad (Yu et al., 2020):
   $$\psi(G_{cur}, G_{prev}, c) = G_{cur} - c \cdot \min(\langle G_{cur}, G_{prev} \rangle_F, 0) \frac{G_{prev}}{\|G_{prev}\|_F^2}$$
   Aquí, $c \in [0, 1]$ es un hiperparámetro. Si los gradientes entran en conflicto (producto interno negativo), se elimina la componente de $G_{cur}$ paralela a $G_{prev}$; de lo contrario, $G_{cur}$ permanece sin cambios.
3. Descomposición de Bajo Rango: El gradiente reconciliado $\tilde{G}_{cur}$ se somete a una Descomposición en Valores Singulares (SVD) truncada. Las matrices del adaptador se inicializan como:
   • $B = U_{:, :r}$ (primeros $r$ vectores singulares izquierdos).
   • $A = (V_{:, r:2r})^\top$ (vectores singulares derechos desde el rango $r+1$ hasta $2r$).
   • Nota: Los autores adoptan la factorización específica utilizada en LoRA-GA (utilizando los vectores singulares derechos del $(r+1)$-ésimo al $2r$-ésimo para $A$), señalando que, aunque teóricamente no obvia, ha sido validada empíricamente en trabajos anteriores para producir inicializaciones efectivas.
4. Reescalado de Magnitud: Para controlar factores de confusión relacionados con la magnitud de la actualización (identificados por Zhang et al., 2026), los pesos inicializados se reescalan para igualar la varianza de los pesos preentrenados, asegurando que las ganancias de rendimiento se deban a la selección de subespacio y no a una amplificación implícita de la magnitud.

3. Contribuciones Clave

• Inicialización Slice: Una estrategia de inicialización novedosa que integra la cirugía de gradientes en la fase de configuración de LoRA, reconciliando explícitamente los gradientes de las tareas actuales y pasadas antes de que comience el entrenamiento.
• Benchmarks NI-Seq-Opposite: Los autores introducen NI-Seq-Opposite, un conjunto de tres secuencias adversarias de 5 tareas extraídas del pool Super-NI. Estas secuencias se construyen mediante una búsqueda combinatoria exhaustiva para minimizar la similitud coseno media de los gradientes por pares, creando un escenario de aprendizaje continuo "difícil" donde las tareas consecutivas tienen gradientes máximamente opuestos.
• Protocolo de Evaluación Riguroso: El artículo evalúa Slice frente a LoRA Vanilla, LoRAM y LoRA-GA en el benchmark TRACE y en secuencias estándar/adversarias de Super-NI. Crucialmente, todas las comparaciones emplean reescalado de magnitud con varianza coincidente para aislar los efectos de la selección de subespacio de los artefactos de magnitud.

4. Resultados Experimentales

Evaluado en Llama-3.2-3B-Instruct con rango LoRA $r=64$ (y verificado en $r=128$), los resultados demuestran:

• Compensación Estabilidad-Plasticidad: Slice logra consistentemente una compensación superior en comparación con las líneas base. En las secuencias adversarias NI-Seq-Opposite, Slice (con $c=1.0$) mejoró el Rendimiento Final (FP) en hasta +22.55 puntos (en G2) y +16.97 puntos (en Opp1) sobre LoRA Vanilla, mientras reducía el Olvido (Fgt) en hasta 20.75 puntos.
• Comparación con LoRA-GA: Aunque LoRA-GA ya supera a LoRA Vanilla, Slice mejora aún más estas ganancias, particularmente en la reducción del olvido en secuencias con alta interferencia inter-tarea.
• Generalización (GP/IP): Slice incurre solo en reducciones marginales en el Rendimiento General (GP) y el Rendimiento en Contexto (IP) en relación con LoRA Vanilla. Los autores señalan que la compensación es asimétrica: pequeños costos en la capacidad general generan ganancias sustanciales en la retención de tareas.
• Sensibilidad a Hiperparámetros: El parámetro $\alpha$ (factor de escala) puede ajustarse para recuperar algunas de las pérdidas en GP/IP sin afectar significativamente las métricas de retención de tareas, sirviendo como un control para el equilibrio entre generalización y retención.

5. Significado y Afirmaciones

El artículo afirma que la inicialización es un punto de intervención consequential pero subexplotado para el aprendizaje continuo. Al realizar un único paso ligero de cirugía de gradientes antes del entrenamiento, Slice dirige el subespacio del adaptador lejos de las direcciones que sobrescribirían el conocimiento de tareas anteriores.

Los autores enfatizan que Slice es componible: no reemplaza las estrategias de tiempo de entrenamiento (como restricciones de ortogonalidad o búferes de repetición), sino que sirve como un reemplazo directo para la fase de inicialización que puede combinarse con cualquier algoritmo de CL aguas abajo. La introducción de NI-Seq-Opposite proporciona una prueba de estrés controlada para evaluar la robustez ante la interferencia inter-tarea, abordando una brecha en los benchmarks estándar donde las secuencias de tareas a menudo se construyen sin una consideración explícita del conflicto de gradientes.

El trabajo concluye que, aunque el método incurre en una sobrecarga computacional no trivial durante la configuración (acumulación de gradientes y SVD), las ganancias de estabilidad resultantes hacen que la adaptación secuencial sea más eficiente en recursos al reducir la necesidad de reentrenamiento completo o mecanismos de repetición complejos para mitigar el olvido.