Resumen Técnico: Más allá de las ganancias en el razonamiento: Mitigación del olvido de capacidades generales en modelos de razonamiento extensos

Declaración del Problema

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) se ha convertido en un paradigma estándar de post-entrenamiento para mejorar las capacidades de razonamiento de los Modelos de Lenguaje Extensos (LLM) y Modelos de Lenguaje-Visión (VLM). Sin embargo, los autores identifican un modo de falla crítico: el olvido de capacidades generales. Si bien el RLVR mejora eficazmente el rendimiento en tareas de razonamiento específicas (por ejemplo, matemáticas, deducción lógica), a menudo conduce a una regresión significativa en las habilidades fundamentales adquiridas durante el pre-entrenamiento, tales como la percepción visual, la fundamentación fáctica y la robustez.

Las observaciones empíricas en el artículo confirman que los modelos de razonamiento de código abierto frecuentemente presentan un rendimiento inferior a sus contrapartes base en benchmarks de no-razonamiento (por ejemplo, estética de imágenes, razonamiento espacio-temporal, OCR y robustez ante cambios de distribución). Los autores señalan que las estrategias de mitigación existentes, como la regularización de la divergencia KL, son insuficientes porque se computan sobre la tarea actual y no garantizan la preservación de un conocimiento más amplio y heterogéneo. Además, el replay de experiencia estándar a través de dominios heterogéneos enfrenta el desafío del desequilibrio de objetivos: no es trivial determinar la ponderación óptima entre las recompensas de razonamiento y las pérdidas de capacidad general, ya que los diferentes objetivos convergen a ritmos notablemente distintos.

Metodología: RECAP

Para abordar estos problemas, los autores proponen RECAP (Replay-Enhanced CApability Preservation), una estrategia de entrenamiento de extremo a extremo que integra datos de capacidades generales en el pipeline de RLVR con un mecanismo de reponderación dinámica de objetivos.

Componentes Principales

1. Estrategia de Replay: RECAP entrelaza datos de dominios generales (por ejemplo, detección de objetos, segmentación, OCR) con datos de razonamiento objetivo durante el ajuste fino. Esto asegura que el modelo esté continuamente expuesto a tareas de no-razonamiento para prevenir el olvido catastrófico.
2. Mecanismo de Reponderación Dinámica: En lugar de utilizar pesos estáticos o ajustados manualmente, RECAP adapta los coeficientes de pérdida en línea basándose en el comportamiento de convergencia y la inestabilidad de los objetivos individuales.
   • Tasa de Convergencia ($c_k$): Medida comparando el promedio de la pérdida de la ventana deslizante actual contra la ventana anterior. Una relación cercana a 1 indica saturación (el objetivo ha sido aprendido), mientras que una relación $>1$ indica una mejora reciente.
   • Inestabilidad ($i_k$): Medida como el coeficiente de variación (desviación estándar relativa a la media) dentro de la ventana deslizante. Una alta inestabilidad sugiere que el objetivo es volátil y requiere más enfoque.
   • Puntuación de Prioridad: La puntuación de prioridad para el objetivo $k$ se define como $s_k = c_k + i_k$.
   • Reponderación Softmax: Los pesos $\lambda_k$ se computan usando un softmax controlado por temperatura sobre las puntuaciones de prioridad:
     $$\lambda_k = \frac{K \exp(s_k / T)}{\sum_{j=1}^K \exp(s_j / T)}$$
     Esta formulación, derivada de un problema de asignación de prioridad con regularización de entropía, reduce naturalmente la importancia de los objetivos saturados y de baja varianza (como el cumplimiento de formato, que converge rápidamente) y desplaza la capacidad hacia los objetivos con bajo rendimiento o alta varianza (como la precisión de razonamiento o la percepción).

Fundamento Teórico

El artículo establece que la regla de reponderación de RECAP es la solución de forma cerrada a un problema de asignación de prioridad con regularización de entropía. Esto proporciona una justificación teórica para la ponderación basada en softmax, asegurando que la asignación evite soluciones degeneradas (enfocarse en un solo objetivo) mientras prioriza los objetivos con altas puntuaciones de prioridad.

Contribuciones Clave

1. Reevaluación Sistemática: Los autores demuestran sistemáticamente que el ajuste fino enfocado en el razonamiento causa consistentemente una regresión en las capacidades generales (percepción, robustez) a través de múltiples modelos de código abierto (familias Qwen2.5-VL).
2. Algoritmo RECAP: Introducen un programador (scheduler) plug-in que repondera dinámicamente los objetivos basándose en señales de convergencia e inestabilidad. Este método no requiere modelos auxiliares, es agnóstico a la magnitud e se integra sin problemas en los pipelines de RLVR existentes (específicamente GRPO) con un overhead insignificante.
3. Ganancias de Rendimiento: El método no solo preserva las capacidades generales, sino que también mejora el rendimiento del razonamiento al permitir intercambios más flexibles entre las recompensas de la tarea, evitando la sobre-optimización de señales fáciles (como el formato) a expensas de señales más difíciles (como la precisión).

Resultados Experimentales

Los autores evaluaron RECAP en Qwen2.5-VL-3B y Qwen2.5-VL-7B en dos configuraciones: una configuración de "solo RLVR" y una configuración "Híbrida" (combinando RLVR con entrenamiento de estilo SFT).

• Preservación de Capacidades Generales: En la configuración de "solo RLVR", RECAP preservó o mejoró el rendimiento en benchmarks de percepción y robustez (por ejemplo, A-OKVQA, VisOnly, OCRBench) donde los baselines de solo-razonamiento mostraron una degradación significativa. Por ejemplo, en el benchmark de segmentación LISA, el ajuste fino de solo-razonamiento redujo el rendimiento de 65.13 a 57.58, mientras que RECAP mantuvo una puntuación de 67.24 (superando al modelo base).
• Rendimiento de Razonamiento: RECAP igualó o excedió el rendimiento de razonamiento del ajuste fino de solo-razonamiento. En el benchmark ScienceQA, RECAP alcanzó una puntuación de 71.59, superando al modelo base (6.20) y a varios baselines de razonamiento de código abierto.
• Eficiencia y Concisión: La reponderación dinámica condujo a un razonamiento más eficiente. Los modelos entrenados con RECAP generaron razonamientos significativamente más cortos (reduciendo la longitud promedio de pensamiento de ~67 palabras a ~27 palabras en tareas de razonamiento) sin comprometer la precisión, reduciendo así la latencia de inferencia y los costos de cómputo.
• Comparación con Baselines: RECAP superó consistentemente a baselines fuertes, incluyendo:
  • Solo-Razonamiento: Que sufrió un olvido severo.
  • Uniform/PropMix: Que utilizaba ponderación estática y no lograba adaptarse a las tasas de convergencia.
  • LwF (Learning without Forgetting): Que utilizaba regularización KL pero logró puntuaciones de razonamiento menores en comparación con RECAP.
  • MoDoMoDo: Un baseline complejo y computacionalmente costoso que requiere modelos proxy y ajuste manual.

Significancia y Reivindicaciones

El artículo afirma que RECAP ofrece una solución con principios y de bajo costo para el compromiso (trade-off) entre "razonamiento vs. capacidad general". Al desplazar el enfoque del post-entrenamiento lejos de los objetivos saturados (como el cumplimiento de formato) hacia los objetivos volátiles o de bajo rendimiento (como la precisión y la percepción), RECAP permite que los modelos "aprendan a razonar" sin "desaprender" a percibir.

Los autores enfatizan que su método es de extremo a extremo y no requiere el entrenamiento de modelos de recompensa adicionales ni un pesado ajuste de hiperparámetros. Posicionan a RECAP como una evolución necesaria en los pipelines de post-entrenamiento, argumentando que optimizar para recompensas de razonamiento estrechas sin una regularización dinámica conduce a modelos frágiles que fallan en escenarios reales y heterogéneos. El trabajo sugiere que el "olvido" observado en los modelos de razonamiento actuales no es un efecto secundario inevitable del RLVR, sino un problema de optimización soluble mediante la gestión dinámica de objetivos.