Resumen Técnico: Olvido Espectral mediante DG-Hard

Enunciado del Problema

El ajuste fino de modelos de lenguaje grandes (LLM) para tareas específicas induce rutinariamente un olvido catastrófico, donde las capacidades presentes en el modelo base preentrenado ($W_{base}$) se degradan o destruyen, incluso si los datos de entrenamiento nunca amenazaron explícitamente dichas capacidades. Este fenómeno se manifiesta como un "cambio colateral" en la actualización de pesos $\Delta = W_{ft} - W_{base}$: mientras que la actualización contiene una señal estructurada de bajo rango alineada con la nueva tarea, también acumula un residuo de ruido tipo IID derivado de los pasos de descenso de gradiente estocástico (SGD). Este residuo de ruido distorsiona las características preentrenadas, lo que conduce a colapsos de rendimiento en conjuntos de prueba retenidos (por ejemplo, un ajuste fino médico que reduce drásticamente el razonamiento matemático).

Los métodos de reparación posteriores existentes intentan recuperar estas capacidades perdidas operando en espacio de coordenadas (por ejemplo, interpolación escalar como WiSE-FT, eliminación aleatoria como DARE, o poda de magnitud/signo como TIES y FAPM). Sin embargo, estos enfoques enfrentan un problema fundamental de representación: las entradas relevantes para la tarea y las entradas residuales dañinas están entrelazadas por magnitud, signo y posición, lo que dificulta separar la señal del ruido sin sacrificar ya sea las ganancias de la tarea objetivo o las capacidades recuperadas.

Metodología: DG-Hard

El artículo propone DG-Hard, un método de reparación posterior, sin datos y sin gradientes que opera en espacio de valores singulares en lugar de espacio de coordenadas. La hipótesis central es que la actualización de ajuste fino $\Delta$ sigue un modelo de señal más ruido:
$$\Delta = \Delta_{signal} + \Delta_{noise}$$
donde $\Delta_{signal}$ es una actualización de bajo rango alineada con la tarea, y $\Delta_{noise}$ es un residuo IID que el descenso de gradiente no tiene incentivos para eliminar.

El Enfoque Espectral

1. Descomposición Señal más Ruido: El método trata el delta de pesos $\Delta$ para cada matriz de pesos 2D como la suma de un componente estructurado de bajo rango y un componente de ruido de matriz aleatoria. La evidencia empírica sugiere que el espectro del componente de ruido sigue la distribución de Marchenko-Pastur (MP), mientras que la señal aparece como un número finito de picos de valores singulares atípicos.
2. Umbral Duro Óptimo: En lugar de poda o interpolación arbitraria, DG-Hard aplica el umbral duro óptimo de valores singulares de Donoho-Gavish a la Descomposición en Valores Singulares (SVD) de $\Delta$.
   • El umbral $\tau^*$ se deriva para minimizar el Error Cuadrático Medio Asintótico (AMSE) de la señal reconstruida.
   • Se calcula como $\tau^* = \omega(\beta) \hat{\sigma} \sqrt{\max(m, n)}$, donde $\hat{\sigma}$ se estima a partir de la mediana de los valores singulares, y $\omega(\beta)$ es una constante dependiente de la relación de aspecto de la matriz $\beta$.
3. Reparación de Forma Cerrada: El procedimiento implica:
   • Calcular la SVD de $\Delta = U \text{diag}(s) V^\top$.
   • Umbral duro de los valores singulares: $s'_i = s_i \cdot \mathbb{1}\{s_i > \tau^*\}$.
   • Reconstruir el delta podado $\Delta^* = U \text{diag}(s') V^\top$.
   • Formar el punto de control reparado: $W^* = W_{base} + \Delta^*$.

Este proceso no requiere datos de entrenamiento adicionales, ni cálculo de gradientes, y se ejecuta en minutos en una sola GPU, reduciendo la reparación a un paso de filtrado SVD de forma cerrada.

Contribuciones Clave

1. Formulación de Reparación Posterior: Los autores plantean la recuperación del olvido catastrófico como un problema de recuperación-preservación: recuperar capacidades retenidas dañadas mientras se preservan las ganancias de la tarea objetivo y las mejoras retenidas incidentales.
2. Identificación de Estructura Espectral: El artículo demuestra empíricamente que los residuos dañinos se concentran en la masa de valores singulares (coincidiendo con las predicciones de matrices aleatorias), mientras que las actualizaciones relevantes para la tarea aparecen como picos de valores singulares. Esto explica por qué los métodos en espacio de coordenadas luchan con la compensación entre recuperación y preservación.
3. Algoritmo DG-Hard: La introducción de un método de reparación sin datos que aplica el umbral duro óptimo estadísticamente de Donoho-Gavish a los deltas de ajuste fino, separando efectivamente la señal estructurada del residuo de ruido.
4. Evaluación Condicional a la Partición: Los autores introducen un conjunto de métricas novedosas que rastrean por separado la sanación (recuperación en benchmarks dañados), la preservación (retención de benchmarks mejorados), la no-daño (estabilidad en benchmarks sin cambios) y la retención en la tarea. Esto evita las trampas de la precisión promedio, que puede ocultar fallos por benchmark o recompensar una simple reversión al modelo base.

Resultados Experimentales

El método se evaluó en 14 configuraciones (modelo, tarea) (utilizando Qwen3.5-4B y Llama-3.2-3B-Instruct) y nueve benchmarks retenidos de dominio cruzado.

• Rendimiento Equilibrado: DG-Hard logra la reparación equilibrada más fuerte entre las líneas base posteriores. Es el único método que obtiene $\ge 80$ tanto en Limpieza (sanación + no-daño) como en Retención (preservación + retención en la tarea), logrando una puntuación combinada de 83.3.
• Comparación con Líneas Base:
  • FAPM y V-SoftMask representan extremos: FAPM sana el daño bien (91.9 Limpieza) pero destruye la preservación (0.0 Retención); V-SoftMask preserva las ganancias (97.1 Retención) pero falla en sanar (24.9 Limpieza).
  • WiSE-FT (interpolación lineal) se acerca más pero queda corto en Retención (71.0) en comparación con DG-Hard.
  • LoRA y CoFi-Tune sufren de baja retención o preservación no positiva en cohortes específicas.
• Alineación de Seguridad: DG-Hard restaura la alineación de seguridad degradada por un ajuste fino benigno en tres ejes independientes (HarmBench, XSTest, StrongREJECT) sin utilizar datos de alineación. Esto sugiere que la degradación de la seguridad también es un subproducto del residuo de ruido eliminado por el corte espectral.
• Cognición vs. Conocimiento: El método muestra una fuerza particular en la cohorte de Cognición (tareas de razonamiento), donde otras líneas base a menudo colapsan en preservación.

Significado y Afirmaciones

El artículo afirma que una parte de la pérdida de capacidades inducida por el ajuste fino no es una consecuencia inevitable de la especialización, sino más bien un residuo espectral eliminable dentro de la propia actualización de pesos.

• Mecanismo: Los resultados sugieren que el "ruido" acumulado durante el ajuste fino es funcionalmente inerte y perjudicial, mientras que la "señal" está concentrada en un subespacio de baja dimensión. Al eliminar la masa espectral, DG-Hard recupera capacidades sin reentrenamiento.
• Generalidad: El método funciona sin acceso a datos de preentrenamiento, datos de alineación o los hiperparámetros originales de entrenamiento, dependiendo únicamente de los puntos de control base y de ajuste fino.
• Seguridad: La recuperación inesperada de la alineación de seguridad implica que la seguridad y la capacidad están vinculadas a través de la misma estructura espectral, y que el ajuste fino "benigno" puede erosionar inadvertidamente la seguridad a través del mismo mecanismo de ruido que erosiona el razonamiento.

Los autores concluyen que el olvido espectral ofrece un camino principiado, eficiente y sin datos para mitigar el olvido catastrófico, desafiando la noción de que la especialización requiere necesariamente la pérdida permanente de capacidades generales.