Overcoming Catastrophic Forgetting in Visual Continual Learning with Reinforcement Fine-Tuning

Resumo Técnico: Superando o Esquecimento Catastrófico no Aprendizado Contínuo Visual com Ajuste Fino por Reforço

Declaração do Problema
Embora estudos recentes sugiram que o Ajuste Fino por Reforço (RFT), particularmente métodos como a Otimização de Política Relativa em Grupo (GRPO), seja inerentemente mais resiliente ao esquecimento catastrófico do que o Ajuste Fino Supervisionado (SFT) em Modelos de Linguagem Grandes Multimodais (MLLMs), sua eficácia em cenários desafiadores de aprendizado contínuo visual (VCL) permanece um problema em aberto. Especificamente, em cenários sem ensaio, como Aprendizado Incremental por Classe (CIL) e Aprendizado Incremental por Domínio (DIL), o RFT padrão ainda sofre de esquecimento não negligenciável. Os autores identificam um gargalo específico denominado Agnosticismo de Deriva em Nível de Trajetória: entre os rolagens candidatas que alcançam recompensas de tarefa idênticas, a divergência de Kullback-Leibler (KL) em relação à política da tarefa precedente varia substancialmente. Comportamentos impulsionados puramente pela recompensa da tarefa falham em distinguir entre essas trajetórias, levando a uma atribuição de crédito que inadvertidamente favorece soluções de alta deriva e acelera a perda de conhecimento histórico.

Metodologia: Otimização de Política Consciente de Retenção (RaPO)
Para abordar o agnosticismo de deriva em nível de trajetória, os autores propõem o RaPO, um método RFT simples, porém eficaz, que mitiga explicitamente o esquecimento por meio de moldagem de recompensa em nível de trajetória. O RaPO consiste em dois componentes principais:

1. Recompensa de Retenção: Este componente converte a deriva de distribuição em nível de trajetória em um sinal de recompensa contínuo. Para uma rolagem $y_i$ gerada pela política atual $\pi_t$, a deriva é medida como a razão de log-probabilidade normalizada pelo comprimento em relação a uma política âncora congelada $\pi_{t-1}$ (a política da tarefa precedente).

   • A métrica de deriva é definida como $\bar{D}_{drift}(y_i) = \max(\frac{1}{m_i}\sum \log \frac{\pi_t}{\pi_{t-1}}, 0)$.
   • Esta deriva é mapeada para uma recompensa positiva limitada $R_{ret}(y_i) = \exp(-\alpha \bar{D}_{drift}(y_i))$, onde menor deriva resulta em maior recompensa.
   • A recompensa total é formulada como $R_{total} = R_{task} + \lambda R_{ret}$. Crucialmente, esta recompensa é adicionada antes do cálculo da vantagem relativa em grupo. Isso garante que, entre rolagens com desempenho de tarefa comparável, aquelas que permanecem mais próximas da política âncora (preservando conhecimento prévio) recebam vantagens mais altas, direcionando a política para regiões de baixa deriva.

2. Normalização de Vantagem entre Tarefas (CTAN): Para contrabalançar a instabilidade de otimização causada por mudanças abruptas nas distribuições de recompensa nas fronteiras de tarefas, o RaPO substitui o desvio padrão de recompensa por lote por uma Média Móvel Exponencial (EMA) persistente $\hat{\sigma}$.

   • $\hat{\sigma}$ é atualizada ao longo dos passos de otimização e fronteiras de tarefas ($\hat{\sigma} \leftarrow \beta \hat{\sigma} + (1-\beta)\sigma_{batch}$).
   • A vantagem é computada como $A_i = \frac{R_{total}(y_i) - \mu_{group}}{\hat{\sigma} + \epsilon}$.
   • Este mecanismo impede que a escala de vantagem colapse ou exploda ao transitar entre tarefas, garantindo atribuição de crédito estável ao longo do fluxo de aprendizado contínuo.

Principais Contribuições

• Identificação Empírica do Agnosticismo de Deriva: O artigo fornece a primeira análise sistemática mostrando que o GRPO padrão sofre de agnosticismo de deriva em nível de trajetória no VCL visual, onde trajetórias de recompensa igual exibem graus vastamente diferentes de deriva distribucional em relação a tarefas anteriores.
• Estrutura RaPO: Os autores introduzem o RaPO, que integra uma Recompensa de Retenção e CTAN para penalizar explicitamente rolagens de alta deriva e estabilizar escalas de otimização, respectivamente.
• Avaliação Abrangente: O método é avaliado em cinco configurações diversas de aprendizado contínuo visual: classificação de imagens incremental por classe, classificação de imagens incremental por domínio, detecção de objetos incremental por classe, detecção de objetos incremental por domínio e classificação de vídeo incremental por classe.
• Primeira Exploração Sistemática: Até onde os autores sabem, este é o primeiro trabalho a explorar sistematicamente o potencial de RFT baseado em verificadores para aprendizado contínuo visual.

Resultados Experimentais
Experimentos extensivos em conjuntos de dados incluindo ImageNet-R, ImageNet-A, TinyImageNet, CUB-200, COCO 2017, UCF-101 e Kinetics-200 demonstram que o RaPO supera consistentemente bases fortes (incluindo SFT, EWC, LwF e GRPO padrão).

• Classificação de Imagens: No ImageNet-R (10 tarefas), o RaPO alcançou uma precisão de 85,92% com apenas 4,69% de esquecimento, superando significativamente o GRPO (74,67% de precisão, 20,02% de esquecimento).
• Detecção de Objetos: No COCO (5 tarefas), o RaPO melhorou o AP de caixas de 14,64% para 19,31%, reduzindo o esquecimento de 6,67% para 1,39%.
• Generalização: O RaPO mostrou desempenho robusto em classificação de vídeo e configurações incrementais por domínio, mantendo forte plasticidade para novas tarefas enquanto preserva conhecimento histórico.
• Estudos de Ablação: Os autores confirmaram que tanto a Recompensa de Retenção quanto o CTAN são complementares; remover qualquer um degrada o desempenho. O método também mostrou-se robusto a escolhas de hiperparâmetros e eficaz quando aplicado a outros algoritmos de otimização de política (por exemplo, SAPO).

Significado e Alegações
O artigo alega que, embora o RFT seja naturalmente mais resiliente ao esquecimento catastrófico do que o SFT, ele é insuficiente para VCL visual desafiador sem intervenção explícita contra a deriva em nível de trajetória. O RaPO aborda isso modificando o sinal de recompensa para priorizar rolagens que preservam conhecimento, sem exigir mudanças arquitetônicas ou replay de dados. Os autores posicionam este trabalho não como uma busca por benchmarks de última geração através de engenharia complexa, mas como uma exploração fundamental de como o RFT pode ser adaptado para aprendizado contínuo. Eles concluem que o RaPO oferece uma estratégia simples e eficaz que reduz substancialmente o esquecimento catastrófico, preservando ao mesmo tempo as fortes capacidades de raciocínio e adaptação dos MLLMs, esperando inspirar mais pesquisas em aprendizado contínuo baseado em RFT.