Geometry Conflict: Explaining and Controlling Forgetting in LLM Continual Post-Training

Resumen Técnico: Conflicto Geométrico: Explicar y Controlar el Olvido en el Entrenamiento Continuo de LLM

Enunciado del Problema
El entrenamiento continuo posterior tiene como objetivo extender los Modelos de Lenguaje Grandes (LLM) con nuevos conocimientos, habilidades y comportamientos mediante una secuencia de actualizaciones. Sin embargo, este proceso enfrenta el desafío del olvido catastrófico, donde aprender una nueva tarea socava las capacidades adquiridas previamente. Las estrategias de mitigación existentes, como el ajuste fino secuencial, los métodos basados en replay, la regularización y la fusión de modelos, a menudo carecen de criterios principistas para determinar cuándo debe integrarse una nueva actualización de parámetros. Específicamente, sigue sin estar claro cuándo las actualizaciones secuenciales permiten la transferencia de capacidades y cuándo causan interferencia. Los métodos actuales suelen depender de métricas gruesas como la magnitud de la actualización o la compatibilidad aislada por pares, que no logran explicar ni controlar completamente el olvido en entornos heterogéneos y secuenciales.

Metodología: Geometría de Tareas y GCWM
Los autores proponen un marco basado en la geometría de tareas para analizar y controlar el entrenamiento continuo posterior.

1. Representación de la Geometría de Tareas: En lugar de considerar las actualizaciones únicamente por su norma, el método representa cada tarea mediante su matriz de actualización de parámetros $\Delta_t$. Para cada capa, la "geometría de la tarea" se define como la matriz de covarianza $C_t = \Delta_t^\top \Delta_t$, que captura las direcciones dominantes y la estructura espectral de la actualización.
2. Conflicto Geométrico: El artículo introduce el conflicto geométrico como una distancia normalizada de Bures–Wasserstein entre las geometrías de covarianza de las tareas. Crucialmente, los autores definen una variante relativa al estado, que mide la discrepancia entre la geometría de una tarea entrante y la geometría del estado evolutivo del modelo (que ya incorpora las actualizaciones anteriores).
3. Hallazgo Clave: Mediante un análisis empírico en modelos Qwen3 (0.6B–14B), los autores encuentran que el olvido se explica mejor como un fallo de integración de actualizaciones relativo al estado. El olvido ocurre cuando la geometría de covarianza inducida por una nueva tarea no se alinea con la geometría del estado actual del modelo. La transferencia ocurre cuando la nueva actualización permanece compatible con este estado. Esta señal relativa al estado supera a las normas de actualización crudas, a los ratios de alineación de subespacios (SAR) y a los conflictos de gradiente por pares en la predicción de la pérdida de retención.
4. Fusión de Wasserstein por Conflicto Geométrico (GCWM): Motivados por estos hallazgos, los autores proponen GCWM, un método de integración de actualizaciones sin datos.
   • Construcción de Métrica Compartida: GCWM construye una métrica de Wasserstein compartida para el conjunto actual de tareas activas utilizando barycentros de Wasserstein gaussianos.
   • Corrección con Puerta de Conflicto: Calcula una puntuación de conflicto geométrico por capa. Esta puntuación actúa como puerta para una rama de corrección consciente de la geometría. Si el conflicto es alto (indicando incompatibilidad), el método restringe la integración de la actualización consciente de la geometría; si el conflicto es bajo, permite una integración más fuerte.
   • Actualización Incremental: El método aplica solo el cambio incremental relativo al estado fusionado anterior, asegurando que el modelo evolucione basándose en cambios inducidos recientemente y controlados por la compatibilidad.
   • Soporte Teórico: Los autores proporcionan límites teóricos que muestran que la pérdida adicional incurrida por GCWM en comparación con una fusión simple está controlada por el conflicto geométrico y el desplazamiento de la fusión con puerta.

Contribuciones Clave

1. Marco Analítico: El artículo desarrolla un análisis de geometría de tareas que demuestra que el olvido es un fenómeno relativo al estado, mejor explicado por la desalineación de las geometrías de covarianza inducidas por la tarea con el estado evolutivo del modelo que por la magnitud de la actualización o la compatibilidad aislada por pares.
2. Nueva Señal: Introduce el conflicto geométrico (una distancia de Bures–Wasserstein sobre geometrías de covarianza inducidas por tareas) como una señal explicativa para el olvido y una señal de control práctica para la integración de actualizaciones.
3. Algoritmo: Propone GCWM, un método sin datos que construye una métrica de Wasserstein compartida y utiliza el conflicto geométrico para controlar por puerta correcciones conscientes de la geometría a nivel de capa.
4. Validación Empírica: El método se valida en modelos Qwen3 (de 0.6B a 14B) en configuraciones de continuidad de dominio (14 subdominios de MMLU-Pro) y de continuidad de capacidades (matemáticas y código).

Resultados

• Rendimiento: GCWM supera consistentemente a las líneas base sin datos (incluyendo Localize-and-Stitch, AIMMerging y OPCM) sin utilizar datos de replay.
  • En configuraciones de continuidad de dominio, GCWM logra el mejor rendimiento general no-MTL (Aprendizaje Multitarea) en todas las escalas, mejorando sobre la mejor línea base sin datos en hasta +1.61 puntos en Qwen3-1.7B.
  • En configuraciones de continuidad de capacidades, GCWM lidera a las líneas base sin datos en promedio en modelos de 1.7B y 14B, mostrando ganancias significativas en retención y rendimiento final en benchmarks como GSM8K, HumanEval y MMLU-Pro.
• Ablación: Eliminar la puerta de conflicto o reemplazar el barycentro de Wasserstein con una métrica de media simple degrada el rendimiento, confirmando la necesidad tanto de la métrica compartida como del mecanismo de control con puerta basado en conflicto.
• Escalabilidad: El método permanece efectivo en diferentes escalas de modelos, siendo la señal de geometría relativa al estado un predictor más fuerte del olvido a medida que aumenta el tamaño del modelo (por ejemplo, la correlación con la pérdida de retención alcanza -0.86 para Qwen3-14B).

Significado y Afirmaciones
El artículo afirma que el conflicto geométrico cumple un doble papel:

1. Explicativo: Proporciona una explicación mecánica del olvido catastrófico, identificándolo como un fallo de integración de actualizaciones relativo al estado en lugar de una simple deriva de parámetros.
2. Control: Actúa como una señal práctica y sin datos para controlar la intensidad con la que se integran las actualizaciones secuenciales.

Los autores posicionan a GCWM como un método que hace que la adaptación continua de LLM sea más práctica al reducir la dependencia de datos de replay. Enfatizan que, aunque el método mejora la retención y el rendimiento, opera en el espacio de actualización de parámetros y no proporciona inherentemente garantías de seguridad; por lo tanto, debe combinarse con verificaciones de seguridad estándar. El trabajo sugiere que comprender la estructura espectral y geométrica de las actualizaciones es fundamental para gestionar la compensación entre aprender nuevas capacidades y retener las antiguas en modelos de lenguaje grandes.