Overcoming Catastrophic Forgetting in Visual Continual Learning with Reinforcement Fine-Tuning

Resumen Técnico: Superar el Olvido Catastrófico en el Aprendizaje Continuo Visual con Ajuste Fino por Refuerzo

Enunciado del Problema
Aunque estudios recientes sugieren que el Ajuste Fino por Refuerzo (RFT), particularmente métodos como la Optimización de Política Relativa por Grupos (GRPO), es intrínsecamente más resistente al olvido catastrófico que el Ajuste Fino Supervisado (SFT) en Modelos de Lenguaje Grandes Multimodales (MLLM), su eficacia en entornos desafiantes de aprendizaje continuo visual (VCL) sigue siendo un problema abierto. Específicamente, en escenarios sin ensayo como el Aprendizaje Incremental por Clases (CIL) y el Aprendizaje Incremental por Dominio (DIL), el RFT estándar aún sufre un olvido no despreciable. Los autores identifican un cuello de botella específico denominado Agnosticismo de la Deriva a Nivel de Trayectoria: entre las secuencias de decisiones candidatas que logran recompensas de tarea idénticas, la divergencia de Kullback-Leibler (KL) respecto a la política de la tarea precedente varía sustancialmente. Un comportamiento impulsado puramente por la recompensa de la tarea falla en distinguir entre estas trayectorias, lo que lleva a una asignación de crédito que favorece inadvertidamente soluciones de alta deriva y acelera la pérdida de conocimiento histórico.

Metodología: Optimización de Política Consciente de la Retención (RaPO)
Para abordar el agnosticismo de la deriva a nivel de trayectoria, los autores proponen RaPO, un método RFT simple pero efectivo que mitiga explícitamente el olvido mediante la conformación de recompensas a nivel de trayectoria. RaPO consta de dos componentes centrales:

1. Recompensa de Retención: Este componente convierte la deriva de distribución a nivel de trayectoria en una señal de recompensa continua. Para una secuencia de decisiones $y_i$ generada por la política actual $\pi_t$, la deriva se mide como la razón de log-probabilidades normalizada por longitud frente a una política de anclaje congelada $\pi_{t-1}$ (la política de la tarea precedente).

   • La métrica de deriva se define como $\bar{D}_{drift}(y_i) = \max(\frac{1}{m_i}\sum \log \frac{\pi_t}{\pi_{t-1}}, 0)$.
   • Esta deriva se mapea a una recompensa acotada y positiva $R_{ret}(y_i) = \exp(-\alpha \bar{D}_{drift}(y_i))$, donde una menor deriva produce una mayor recompensa.
   • La recompensa total se formula como $R_{total} = R_{task} + \lambda R_{ret}$. Crucialmente, esta recompensa se añade antes del cálculo de la ventaja relativa por grupo. Esto asegura que, entre secuencias de decisiones con un rendimiento de tarea comparable, aquellas que permanecen más cerca de la política de anclaje (preservando el conocimiento previo) reciban ventajas más altas, dirigiendo la política hacia regiones de baja deriva.

2. Normalización de la Ventaja entre Tareas (CTAN): Para contrarrestar la inestabilidad de la optimización causada por cambios abruptos en las distribuciones de recompensa en los límites de las tareas, RaPO reemplaza la desviación estándar de recompensa por lote con una Media Móvil Exponencial (EMA) persistente $\hat{\sigma}$.

   • $\hat{\sigma}$ se actualiza a través de los pasos de optimización y los límites de las tareas ($\hat{\sigma} \leftarrow \beta \hat{\sigma} + (1-\beta)\sigma_{batch}$).
   • La ventaja se calcula como $A_i = \frac{R_{total}(y_i) - \mu_{group}}{\hat{\sigma} + \epsilon}$.
   • Este mecanismo evita que la escala de la ventaja colapse o explote al transitar entre tareas, asegurando una asignación de crédito estable a lo largo de la corriente de aprendizaje continuo.

Contribuciones Clave

• Identificación Empírica del Agnosticismo de la Deriva: El artículo proporciona el primer análisis sistemático que muestra que el GRPO estándar sufre de agnosticismo de la deriva a nivel de trayectoria en VCL visual, donde trayectorias con recompensas iguales exhiben grados vastamente diferentes de deriva distribucional respecto a tareas anteriores.
• Marco RaPO: Los autores introducen RaPO, que integra una Recompensa de Retención y CTAN para penalizar explícitamente las secuencias de decisiones de alta deriva y estabilizar las escalas de optimización, respectivamente.
• Evaluación Exhaustiva: El método se evalúa en cinco entornos diversos de aprendizaje continuo visual: clasificación de imágenes incremental por clases, clasificación de imágenes incremental por dominio, detección de objetos incremental por clases, detección de objetos incremental por dominio y clasificación de video incremental por clases.
• Primera Exploración Sistemática: Hasta donde llega el conocimiento de los autores, este es el primer trabajo que explora sistemáticamente el potencial del RFT basado en verificadores para el aprendizaje continuo visual.

Resultados Experimentales
Extensos experimentos en conjuntos de datos que incluyen ImageNet-R, ImageNet-A, TinyImageNet, CUB-200, COCO 2017, UCF-101 y Kinetics-200 demuestran que RaPO supera consistentemente a bases sólidas (incluyendo SFT, EWC, LwF y GRPO estándar).

• Clasificación de Imágenes: En ImageNet-R (10 tareas), RaPO logró una precisión del 85.92% con solo un 4.69% de olvido, superando significativamente a GRPO (74.67% de precisión, 20.02% de olvido).
• Detección de Objetos: En COCO (5 tareas), RaPO mejoró la AP de cajas del 14.64% al 19.31% mientras reducía el olvido del 6.67% al 1.39%.
• Generalización: RaPO mostró un rendimiento robusto en clasificación de video y entornos incrementales por dominio, manteniendo una fuerte plasticidad para nuevas tareas mientras preservaba el conocimiento histórico.
• Estudios de Ablación: Los autores confirmaron que tanto la Recompensa de Retención como CTAN son complementarios; eliminar cualquiera de ellos degrada el rendimiento. También se demostró que el método es robusto ante la elección de hiperparámetros y efectivo cuando se aplica a otros algoritmos de optimización de políticas (por ejemplo, SAPO).

Significado y Afirmaciones
El artículo afirma que, aunque el RFT es naturalmente más resistente al olvido catastrófico que el SFT, es insuficiente para el VCL visual desafiante sin una intervención explícita contra la deriva a nivel de trayectoria. RaPO aborda esto modificando la señal de recompensa para priorizar secuencias de decisiones que preservan el conocimiento, sin requerir cambios arquitectónicos ni reproducción de datos. Los autores posicionan este trabajo no como una búsqueda de puntos de referencia de última generación mediante ingeniería compleja, sino como una exploración fundamental de cómo el RFT puede adaptarse para el aprendizaje continuo. Concluyen que RaPO ofrece una estrategia simple y efectiva que reduce sustancialmente el olvido catastrófico mientras preserva las fuertes capacidades de razonamiento y adaptación de los MLLM, esperando inspirar más investigación en el aprendizaje continuo basado en RFT.