Resumen Técnico: Una Teoría de Perturbación Local para la Interferencia y Recuperación entre Dominios en el Aprendizaje por Refuerzo Multidominio

Planteamiento del Problema

El entrenamiento post-entrenamiento de Aprendizaje por Refuerzo (RL) para Grandes Modelos de Lenguaje (LLM) mejora eficazmente el rendimiento en dominios específicos como el razonamiento matemático, la generación de código, las preguntas y respuestas (QA) y la escritura creativa (CW). Sin embargo, el entrenamiento secuencial en múltiples dominios a menudo conduce a una interferencia entre dominios, donde el rendimiento en los dominios anteriores se degrada tras el entrenamiento en los dominios subsiguientes.

Las explicaciones existentes para este fenómeno, como el olvido catastrófico o el conflicto de gradiente global, son insuficientes. Las observaciones empíricas de este trabajo revelan que:

1. Los cosenos de los gradientes de modelo completo entre dominios pueden ser casi ortogonales (cercanos a cero) incluso cuando ocurre una degradación significativa del rendimiento.
2. La interferencia es selectiva y asimétrica (por ejemplo, el entrenamiento en QA y CW degrada severamente el rendimiento de Matemáticas, mientras que Code y QA permanecen estables), en lugar de un olvido uniforme.
3. Las visiones globales estándar no logran explicar cómo persiste una interferencia sustancial a pesar de un débil antagonismo de gradiente global.

La pregunta central abordada es: ¿Dónde reside la interferencia entre dominios si no es en el antagonismo del gradiente global?

Metodología y Marco Teórico

Los autores proponen un cambio de analizar el conflicto de objetivos del modelo completo hacia el análisis de las rutas de computación activa local. La metodología combina el análisis estructural empírico con un modelo de perturbación local.

1. Análisis Estructural Empírico

El estudio utiliza una configuración de RL multidominio secuencial (Code $\to$ Math $\to$ QA $\to$ CW) basada en el currículo de Omni-Thinker. Los hallazgos estructurales clave incluyen:

• Actualizaciones Esparsas de Magnitud Reducida: El RL específico de cada dominio induce ediciones esparsas, donde el 77%–89% de los parámetros muestran cambios absolutos insignificantes ($<10^{-7}$) y cambios relativos ($<10^{-3}$).
• Baja Superposición de Ediciones: Los conjuntos de neuronas con mayores cambios entre diferentes dominios tienen una baja superposición de Jaccard (promedio < 0.19), lo que descarta la hipótesis de que la interferencia surge de la reescritura de las mismas neuronas.
• Rutas Activas Compartidas: A pesar de la baja superposición de ediciones, los dominios orientados al razonamiento (Math, Code, QA) comparten rutas de computación activa sustanciales (el 5% superior de neuronas activas) durante la inferencia.
• Conflicto Direccional: En estas rutas activas compartidas, las direcciones de actualización varían. Mientras que algunos pares (ej. Code-Math) están alineados, otros (ej. Math-QA) exhiben un conflicto dependiente de la capa, donde las direcciones de actualización son antagónicas en capas específicas.

2. Teoría de la Perturbación Local

Guiados por estas observaciones, los autores formalizan un modelo de perturbación local con tres proposiciones centrales:

• Daño de Segundo Orden: Dado que el checkpoint después de entrenar en el dominio $A$ es aproximadamente estacionario para su objetivo local, el efecto principal de una actualización posterior $\delta_B$ es un término de daño de segundo orden ($\frac{1}{2}\delta_B^\top H_A \delta_B$), no un conflicto de gradiente de primer orden.
• Subespacio de Conflicto de Baja Dimensión: Este daño se concentra en un subespacio de conflicto activo compartido de baja dimensión ($S_{A,B}$). Incluso si los gradientes globales son ortogonales y las ediciones son esparsas, la interferencia ocurre si la proyección de la actualización del dominio posterior sobre este subespacio sensible es grande.
• Contracción Geométrica mediante Refresco: Un "refresco" corto (re-entrenamiento) en el dominio dañado $A$ contrae geométricamente el componente dañino dentro de $S_{A,B}$. Bajo supuestos de curvatura positiva en el subespacio y un acoplamiento débil desde direcciones ortogonales, el desplazamiento dañino decae exponencialmente con el número de pasos de refresco, permitiendo una recuperación selectiva sin un re-entrenamiento completo.

Contribuciones Clave

1. Explicación Mecanicista de la Interferencia: El artículo demuestra que la degradación entre dominios es impulsada no por el conflicto de gradiente global o la co-edición directa de neuronas, sino por ediciones de RL esparsas que interactúan a lo largo de rutas de computación activas compartidas.
2. Formalización Teórica: Formaliza el mecanismo como un daño de segundo orden concentrado en un subespacio de conflicto compartido de baja dimensión. Esto explica por qué los gradientes globales casi ortogonales pueden coexistir con una degradación selectiva.
3. Validación de la Recuperación Selectiva: La teoría predice que un breve refresco en el dominio dañado puede recuperar el rendimiento contrayendo el componente de la ruta dañina dentro de $S_{A,B}$ mientras se limita el daño colateral a otros dominios.

Resultados Experimentales

Los autores validan su teoría a través de dos enfoques complementarios:

A. Recuperación a Nivel de Tarea (Refresco Corto)

• Configuración: Tras el entrenamiento secuencial (Code $\to$ Math $\to$ QA $\to$ CW), el rendimiento de Math cayó de 66.49 a 57.66.
• Intervención: Se aplicó un refresco corto de "Re-Math" al checkpoint final ($CWo$).
• Resultado: El rendimiento de Math se recuperó a 66.04 (cerca del experto de un solo dominio de 66.84), mientras que el rendimiento de Code, QA y CW se mantuvo mayormente estable.
• Resultado: El puntaje promedio en todos los dominios alcanzó 66.39, superando tanto al baseline secuencial como a los baselines de dominio mixto (JT y CGPO). Esto confirma que la interferencia es reversible mediante corrección localizada.

B. Intervención Directa (Rollback sin Entrenamiento)

• Configuración: Para probar directamente la afirmación de localización, los autores realizaron un rollback sin entrenamiento en el par Math-QA. Identificaron un conjunto esparso de "coordenadas de conflicto proxy" basadas en tres señales: activación compartida, magnitud de actualización y conflicto direccional.
• Intervención: Revirtieron el desplazamiento inducido por QA solo en estas coordenadas seleccionadas (2% de las neuronas MLP).
• Resultado: Este rollback esparso recuperó el 20.4% de la pérdida de Math (de 59.90 a 61.25) con un impacto insignificante en el rendimiento de QA. Extender el rollback para incluir capas de atención aumentó la recuperación al 73.6% con un presupuesto del 32%.
• Significancia: Esto proporciona evidencia directa de que el componente dañino de la interferencia entre dominios está localizado y puede revertirse parcialmente sin re-entrenamiento.

Significancia y Reivindicaciones

El artículo afirma proporcionar una cuenta mecanicista localizada de la interferencia y la recuperación en el RL multidominio. Su significancia radica en:

• Refutar Explicaciones Globales: Establece que la ortogonalidad del gradiente global no garantiza la seguridad frente a la interferencia, ya que el daño es un fenómeno localizado de segundo orden.
• Implicación Práctica: Sugiere que la mejora estable en múltiples dominios puede no requerir ajustes complejos de mezcla de datos o programas de replay diseñados a mano. En su lugar, breves y dirigidos refrescos en los dominios degradados pueden recuperar el rendimiento de manera eficiente con efectos secundarios limitados.
• Perspectiva Teórica: Cierra la brecha entre las actualizaciones esparsas de parámetros y la interferencia funcional, mostrando que el "conflicto" reside en la alineación de las actualizaciones en las rutas activas compartidas más que en el espacio de parámetros global.

Los autores mantienen la modestia, señalando que su intervención de subespacio de conflicto se basa actualmente en un proxy grueso y que es necesario un trabajo futuro para automatizar la detección de dominios degradados e identificar precisamente el subespacio de conflicto latente para intervenciones más eficientes.