Mechanistic origins of catastrophic forgetting: why RL preserves circuits better than SFT?

Resumen Técnico: Orígenes Mecanísticos del Olvido Catastrófico

Enunciado del Problema
El ajuste fino de modelos de lenguaje grandes (LLM) para nuevas tareas aguas abajo induce frecuentemente olvido catastrófico, donde las ganancias en un nuevo objetivo se logran a expensas de las capacidades previas. Aunque estudios conductuales recientes sugieren que el Aprendizaje por Refuerzo (RL) preserva las capacidades previas de manera más efectiva que el Ajuste Fino Supervisado (SFT) —atribuyendo esto a que las actualizaciones de gradiente de política permanecen más cerca de la política base en términos de deriva distribucional (medida por la divergencia KL)—, las razones mecanísticas internas de esta diferencia permanecen inexploradas. La pregunta central abordada es si la ventaja de retención del RL se refleja en una preservación más fuerte de los circuitos computacionales internos (cabezas de atención, capas MLP y vías residuales) que implementan las capacidades del modelo.

Metodología
Los autores investigan esta pregunta utilizando Qwen2.5-3B-Instruct adaptado a una tarea de respuesta a preguntas científicas. El pipeline experimental consta de tres fases:

1. Reproducción Conductual: El estudio reproduce la brecha de retención conocida entre SFT y RL. Un modelo base ($\pi_{base}$) se ajusta fino mediante una pérdida de entropía cruzada solo de finalización para crear un modelo SFT ($\pi_{SFT}$). Este modelo SFT se refina luego utilizando Dr.GRPO (una variante de la Optimización de Política Relativa por Grupos) para crear un modelo RL ($\pi_{RL}$). La deriva conductual se cuantifica utilizando la divergencia KL esperada en benchmarks de retención.
2. Identificación de Circuitos: Los autores emplean Enmascaramiento Binario Diferencial (DBM) para identificar circuitos computacionales internos a nivel de cabeza de atención. DBM aprende una máscara sobre las cabezas de atención que interpola entre las activaciones base y contrafactuales. Al optimizar estas máscaras para aumentar la probabilidad de respuestas objetivo mientras se mantiene la dispersión, el método aísla subredes causales dispersas (circuitos) responsables de comportamientos específicos.
3. Comparación de Circuitos entre Modelos: El estudio introduce la vulnerabilidad diferencial de circuitos, una medida a nivel de cabeza que compara cuánto se degrada un circuito bajo diferentes objetivos de entrenamiento. Las métricas clave incluyen:
   • Fidelidad del Circuito: La relación entre el comportamiento recuperado por el subgrafo extraído y el comportamiento del modelo completo.
   • Desplazamientos de Máscara a Nivel de Cabeza ($\Delta m_h$): Comparación de los valores de máscara de los modelos ajustados finos contra el modelo base para identificar cabezas preservadas, amplificadas o debilitadas.
   • Necesidad y Suficiencia: Intervenciones que miden la caída en la probabilidad logarítmica cuando una cabeza se interrumpe (necesidad) y el comportamiento recuperado cuando solo esa cabeza está activa (suficiencia).

Contribuciones Clave

• Vulnerabilidad Diferencial de Circuitos: El artículo introduce una métrica novedosa para cuantificar la susceptibilidad relativa de los subgrafos computacionales internos a la degradación bajo diferentes objetivos de entrenamiento (SFT vs. RL).
• Explicación Mecanística del Olvido: El trabajo extiende la explicación conductual de la superioridad del RL sobre el SFT al nivel mecanístico, demostrando que el RL preserva una fracción mayor del circuito base en comparación con el SFT.
• Caracterización del Compromiso: El estudio caracteriza un compromiso fundamental en el post-entrenamiento: el SFT se adapta más rápidamente a la tarea objetivo pero produce una interrupción sustancial del circuito, whereas el RL preserva el circuito base a costa de una adaptación más lenta a la tarea.

Resultados

• Trayectorias de Retención de Circuitos: A lo largo de dos épocas de entrenamiento, el SFT y el RL divergen marcadamente. El SFT retiene solo el 63.5% de las cabezas de atención base después de la Época 1, disminuyendo al 59.0% para la Época 2. En contraste, el RL retiene el 69.8% después de la Época 1 y se recupera al 72.5% para la Época 2, manteniendo una ventaja de 13.5 puntos porcentuales en la retención del circuito base.
• Compresión Estructural vs. Adaptación Distribuida: DBM identifica un circuito base de 297 cabezas. El modelo SFT experimenta una compresión estructural a aproximadamente 265 cabezas (46.0% del total), whereas el modelo RL retiene aproximadamente 296 cabezas (51.4%). El SFT concentra el comportamiento de la nueva tarea en un conjunto más pequeño de "especialistas críticos" (alta necesidad y suficiencia), mientras que el RL mantiene una arquitectura distribuida que se superpone estrechamente con el modelo base.
• Compromiso Causal: El RL mantiene puntuaciones de Mediación Causal Diferencial (DCM) consistentemente más altas (por ejemplo, 15.8 vs. 10.4 en la Época 1), lo que indica que el circuito preservado en el RL transporta una señal causal más fuerte sobre el comportamiento del modelo en comparación con el SFT.
• Métricas de Salida vs. Internas: Cabe destacar que el modelo RL exhibe una mayor divergencia KL en el espacio de salida que el modelo SFT, sin embargo, preserva más capacidades previas y estructura de circuito interno. Esto sugiere que las métricas en el espacio de salida podrían no predecir de manera fiable el olvido interno.

Significado
El artículo afirma que la preservación de circuitos ofrece una explicación mecanística de por qué el RL es más robusto al olvido catastrófico que el SFT. Los hallazgos sugieren que la adaptación continua debe considerarse no meramente como optimización de parámetros, sino como la preservación y modificación selectiva de circuitos que codifican habilidades. Los resultados indican un compromiso donde el SFT actúa como un "compresor" que reconfigura agresivamente los circuitos para una especialización rápida, mientras que el RL actúa como un "adaptador distribuido" que reutiliza conservadoramente las representaciones existentes. Esta perspectiva proporciona una base para comprender las causas internas del olvido y sugiere que los futuros métodos de adaptación podrían beneficiarse de combinar el aprendizaje eficiente con la preservación selectiva de circuitos.

Limitaciones
Los autores señalan que el estudio se limita a una única arquitectura de modelo (Qwen2.5-3B-Instruct) y a un conjunto específico de tareas (respuestas a preguntas científicas). El análisis de circuitos se centra principalmente en las cabezas de atención, excluyendo las capas MLP y las características del flujo residual. La generalización a otras arquitecturas (por ejemplo, Gemma, Mistral, Llama) y a dominios de capacidades más amplios permanece por validarse.