The Stable Recovery Manifold: Geometric Principles Governing Recoverability in Continual Learning

Resumo Técnico: O Manifold de Recuperação Estável

Definição do Problema
O aprendizado contínuo visa permitir que modelos adquiram novos conhecimentos sequencialmente sem apagar informações previamente aprendidas. O obstáculo primário é o esquecimento catastrófico, tradicionalmente visto como a destruição permanente de representações codificadas. Embora as estratégias de mitigação anteriores (regularização, replay, isolamento arquitetural) operem sob a premissa de que a informação é perdida, trabalhos recentes dos autores [1] desafiaram isso, demonstrando que o conhecimento "esquecido" permanece frequentemente acessível via sondagem representacional. Este fenômeno, denominado colapso de acessibilidade, sugere que a rede perde o acesso à informação através de seu classificador ativo, em vez de perder a informação em si. No entanto, a estrutura geométrica e a dinâmica temporal desse conhecimento recuperável permaneceram não caracterizadas.

Metodologia
Os autores investigam a estrutura geométrica da recuperabilidade utilizando uma espinha dorsal ResNet-18 treinada sequencialmente no Split CIFAR-100 (dez tarefas, dez classes cada) sem buffers de replay, memória de exemplares ou regularização. O estudo emprega seis experimentos para medir:

1. Recuperabilidade ($R_t$): A acurácia de um classificador linear reinicializado aleatoriamente, treinado em características congeladas da tarefa $t$ para prever a Tarefa 0.
2. Deriva Geométrica: Medida via Deriva de Ângulo Principal ($D_t$) (rotação de subespaços) e Energia de Projeção ($PE_t$) (alinhamento de variância com o subespaço original da Tarefa 0).
3. Dimensionalidade do Subespaço ($k_t$): O posto mínimo (rank) da matriz de pesos do probe linear necessário para preservar 90% da acurácia total do probe.
4. Similaridade Representacional: Utilizando Alinhamento de Kernel Centrado (CKA) e Razão de Participação (PR) para analisar mudanças estruturais camada a camada.

O estudo testa uma hipótese inicial de Difusão de Recuperabilidade (a ideia de que a dimensionalidade do subespaço de recuperação cresce monotonicamente conforme mais tarefas são aprendidas) contra a proposta hipótese do Manifold de Recuperação Estável (SRM).

Principais Contribuições e Resultados

1. Falsificação da Difusão de Recuperabilidade:
   Ao contrário da hipótese inicial, a dimensionalidade do subespaço de recuperação ($k_t$) não cresce. Ela permanece surpreendentemente constante em aproximadamente 8 direções principais de um total de 512 dimensões em todas as dez tarefas (Média $k_t = 8,0$, $\sigma = 0,82$). Isso indica que a rede não requer subespaços cada vez mais complexos para recuperar o conhecimento antigo; a capacidade de recuperação é compacta e estável.

2. A Hipótese do Manifold de Recuperação Estável (SRM):
   O artigo postula que o esquecimento catastrófico é primariamente uma falha de acessibilidade geométrica e não uma destruição representacional. O conhecimento esquecido é preservado dentro de um manifold compacto, estável e de baixa dimensão. Embora o subespaço representacional rotacione significativamente (a deriva média do ângulo principal atinge 65°) e as camadas profundas se reorganizem, a informação permanece recuperável via leitura linear.

3. Previsibilidade Geométrica da Recuperabilidade:
   Um modelo de regressão linear usando três variáveis geométricas — acurácia do Probe Linear ($LP_t$), Energia de Projeção ($PE_t$) e Deriva de Ângulo Principal ($D_t$) — explica 82% da variância na recuperabilidade ($R^2 = 0,82$).

   • Deriva de Ângulo Principal ($D_t$) é o preditor dominante (Pearson $r = -0,862$), indicando que a recuperabilidade é governada pela orientação do subespaço em relação à tarefa original, não pelo volume de informação retida.
   • A rede perde o acesso à informação (alinhamento do classificador) muito antes de perder a informação em si.

4. Mecanismo de Estratificação de Profundidade:
   A análise da Razão de Participação revela um efeito de estratificação de profundidade inédito:

   • Camadas Iniciais (L1, L2): Tornam-se mais distribuídas (características gerais), com a L1 mostrando retenção quase perfeita (100,02%) através de todas as tarefas.
   • Camadas Profundas (L3, L4): Tornam-se mais concentradas (compressão específica da tarefa), passando por uma reorganização estrutural significativa.
     Esta estratificação fornece a base mecanística para o porquê de as camadas iniciais manterem características universais enquanto as camadas profundas impulsionam o colapso de acessibilidade.

Significância e Alegações
O artigo reformula o esquecimento catastrófico de um problema de perda de informação para um problema de preservação de orientação de subespaço. Os autores afirmam que:

• O esquecimento é um desalinhamento sistemático entre uma estrutura representacional estável e um classificador que se adapta dinamicamente.
• A hipótese de "Difusão de Recuperabilidade" é falsa; o subespaço de recuperação é estável, não difusivo.
• Estratégias de mitigação futuras devem visar a preservação da orientação do manifold (impedir a rotação das 8 direções singulares principais) em vez da deriva geral de parâmetros ou preservação do volume de informação.
• As descobertas sugerem que intervenções direcionadas preservando apenas ~8 dimensões poderiam manter a recuperabilidade quase total, oferecendo uma alternativa altamente eficiente ao armazenamento de checkpoints completos ou grandes buffers de replay.

Os autores mantêm-se modestos quanto à universalidade do achado $k_t \approx 8$, observando que ele está estabelecido atualmente apenas para ResNet-18 no Split CIFAR-100 e requer validação em arquiteturas não-residuais e sequências de tarefas mais longas.