Fora: From Weight-Space to Function-Space Protection in Capability-Preserving Fine-Tuning

Resumen Técnico: Fora: De la protección en el espacio de pesos a la protección en el espacio de funciones en el ajuste fino preservador de capacidades

1. Planteamiento del problema

El ajuste fino completo (full fine-tuning) de los modelos de lenguaje de gran tamaño (LLMs) ofrece una alta expresividad para la adaptación a nuevas tareas, pero conlleva una responsabilidad significativa: los gradientes sin restricciones pueden sobrescribir las vías funcionales de las capacidades que el modelo ya posee. Las estrategias de remediación existentes —que van desde la regularización (p. ej., EWC, L2-SP) hasta la destilación y la proyección de gradientes— protegen las capacidades a través de proxies. Estos proxies incluyen distancias de parámetros, penalizaciones de importancia, coincidencia de salidas o las direcciones singulares dominantes de la matriz de pesos ($V_1$ de la SVD).

El artículo sostiene que estos proxies no logran responder a la pregunta operativa: ¿en qué direcciones de activación depende realmente la capacidad preservada? Los vectores singulares dominantes de una matriz de pesos preentrenada ($W_0$) resumen dónde es grande el peso (un agregado sobre todas las capacidades aprendidas), lo cual puede no alinearse con los patrones de activación específicos requeridos para una sola capacidad (por ejemplo, la traducción podría depender de componentes singulares moderados u orientaciones diagonales). En consecuencia, proteger $V_1$ a menudo restringe un subespacio desalineado con la capacidad, lo que conduce a una preservación subóptima.

2. Metodología: Fora (Adaptación de Residuo Ortogonal en el Espacio de Funciones)

El método propuesto, Fora, redefine la preservación de capacidades como la protección en el espacio de funciones. En lugar de proteger la geometría de la matriz de pesos, Fora protege el subespacio de activación inducido por la capacidad misma.

Mecanismo Central:

1. Proyección en el Espacio de Funciones ($P_Q$):

   • Utilizando entradas de calibración libres de etiquetas de la capacidad preservada ($D_{pres}$), el método recolecta activaciones de entrada para cada capa.
   • Calcula la covarianza de estas activaciones y extrae los $k$ autovectores superiores ($Q$), que representan las direcciones principales de la firma funcional de la capacidad.
   • Se forma un proyector derecho: $P_Q = I - QQ^\top$. Este proyector bloquea la actualización de "leer" (actuar sobre) las direcciones funcionales de la capacidad.

2. Proyección en el Espacio de Pesos ($P_U$):

   • Derivado de la SVD del peso preentrenado $W_0 = U\Sigma V^\top$, se construye un proyector izquierdo $P_U = I - U_1U_1^\top$ para bloquear las escrituras en las direcciones de salida principales del peso original.

3. La Regla de Actualización:
   La actualización de rango completo $\Delta W$ se descompone en dos canales complementarios:
   $$\Delta W_{\text{Fora}} = \underbrace{P_U M P_Q}_{\text{Alta capacidad, función protegida}} + \underbrace{U_2 D_\delta V_2^\top}_{\text{Canal espectral controlado}}$$

   • Rama de Alta Capacidad ($P_U M P_Q$): Una matriz densa $M$ que retiene el poder de expresión completo para todas las direcciones, excepto las direcciones de entrada de la capacidad ($P_Q$) y las direcciones de salida dominantes del peso ($P_U$).
   • Canal Espectral ($U_2 D_\delta V_2^\top$): Un canal estrecho de pocos grados de libertad derivado de los valores singulares residuales de $W_0$. Crucialmente, este es el único componente que tiene permitido responder a las entradas en el subespacio protegido ($\text{span}(Q)$). Esto proporciona una plasticidad calibrada, permitiendo ajustes controlados sin congelar la capacidad por completo.

4. Extensión de Bajo Rango:
   El método se extiende al ajuste fino eficiente en parámetros (PEFT) sustituyendo la matriz densa $M$ por un producto de bajo rango $\frac{\alpha}{r} BA$, resultando en Fora-LR.

3. Contribuciones Clave

1. Reformulación de la Preservación: El artículo propone que la preservación de capacidades se logra mejor protegiendo el subespacio de activación ($Q$) inducido por la capacidad, en lugar de la geometría singular de la matriz de pesos ($V_1$).
2. Diseño Estructural (Fora): Introduce una actualización de rango completo estructuralmente restringida que separa la protección de la plasticidad. La rama de alta capacidad está estructuralmente impedida de leer las direcciones sensibles a la capacidad, mientras que un canal espectral dedicado proporciona una adaptación controlada en esas direcciones específicas.
3. Perspectiva Mecanística: A través de ablaciones controladas, el artículo demuestra que la ganancia de rendimiento proviene específicamente de la fuente de la proyección (derivada de la capacidad vs. derivada del peso), no simplemente del acto de proyectar.
4. Validación Empírica: El método se instancia en Qwen3-1.7B a través de tres configuraciones, mostrando una superioridad consistente sobre la proyección en el espacio de pesos y la regularización estándar.

4. Resultados Experimentales

Los experimentos se realizaron en Qwen3-1.7B utilizando tres configuraciones distintas:

• Trans $\to$ COGS: Aprendizaje de análisis semántico composicional preservando la traducción.
• Trans $\to$ GSM8K: Aprendizaje de razonamiento matemático de nivel escolar preservando la traducción.
• Math $\to$ Trans: Aprendizaje de traducción preservando el razonamiento matemático.

Hallazgos Clave:

• Preservación Superior: Fora supera consistentemente a la proyección en el espacio de pesos ($P_V$), la regularización (EWC, L2-SP) y la destilación (LwF) en la preservación de la capacidad original.
  • Ejemplo: En Trans $\to$ COGS, Fora mantuvo la perplejidad (PPL) de traducción en 4.39 (cerca de la línea base de 4.35), mientras que la proyección en el espacio de pesos la degradó a 4.86 (peor que el ajuste fino sin protección).
  • Ejemplo: En Math $\to$ Trans, Fora retuvo la precisión de GSM8K dentro de 0.86 puntos de la línea base, comparado con una caída de 2.27 puntos para el ajuste fino completo.
• Rendimiento en la Nueva Tarea: Fora logra un rendimiento competitivo o superior en la nueva tarea. En la configuración Trans $\to$ GSM8K, Fora alcanzó el mayor Exact Match (EM) de GSM8K (46.87%) entre todos los métodos.
• Perspectivas de Ablación:
  • Fuente de Proyección: Intercambiar el proyector derecho de $P_V$ (derivado del peso) a $P_Q$ (derivado de la función) fue el factor decisivo para la mejora en la preservación.
  • Canal Espectral: La adición del canal espectral ($\delta$) proporcionó ganancias pequeñas pero consistentes en el rendimiento de la nueva tarea (p. ej., +0.21 en GSM8K EM) sin dañar la preservación, validando el diseño de "plasticidad limitada".
• Generalización de Bajo Rango: La variante Fora-LR demostró que el mecanismo de protección se transfiere a configuraciones de parámetros eficientes, superando a las variantes de LoRA en el espacio de pesos (OPLoRA) en métricas de preservación.

5. Significación y Reivindicaciones

El artículo afirma que los subespacios de función derivados de la activación son objetivos más fieles para la protección que las direcciones singulares derivadas del peso. Al desplazar el objetivo de protección de la geometría de la matriz de pesos al rastro de activación real de la capacidad, Fora evita la desalineación que afecta a los métodos existentes de proyección en el espacio de pesos.

Los autores enfatizan que esta es una solución estructural: la protección está garantizada por la parametrización ($P_U M P_Q$) en lugar de depender de la trayectoria de optimización o estados de gradiente específicos. Aunque el método requiere datos de calibración libres de etiquetas, no requiere almacenar datos o etiquetas de la tarea durante el entrenamiento, lo que lo distingue de los enfoques basados en la repetición (replay-based). El artículo concluye que la protección en el espacio de funciones ofrece una forma fundamentada de equilibrar la plasticidad y la estabilidad, logrando una fuerte preservación con un compromiso mínimo en el aprendizaje de la nueva tarea.