Resumo Técnico: MoRe: Representações Modulares para Aprendizado Contínuo de Representações Principado em Dados Sequenciais

1. Definição do Problema

O artigo aborda o desafio do Aprendizado Contínuo (CL), especificamente o problema do esquecimento catastrófico quando modelos se adaptam a novos dados sequencialmente. Os autores argumentam que os métodos existentes de CL (tanto supervisionados quanto não supervisionados) dependem amplamente de estratégias heurísticas — como restrições de parâmetros, replay, destilação ou isolamento arquitetural — para decidir o que preservar e o que atualizar. Essas abordagens frequentemente tratam a decisão de "o que atualizar" como um problema de nível de tarefa ou de parâmetro, em vez de um problema representacional.

A questão central identificada é que as tarefas exigem representações distintas, porém estruturadas, que podem ser atualizadas seletivamente sem perturbar o conhecimento existente. No entanto, os métodos atuais carecem de um critério principiado fundamentado na estrutura intrínseca dos dados para determinar quais partes de uma representação devem ser reutilizadas versus substituídas. O artigo postula que, para dados sequenciais, as dependências com atraso temporal fornecem um sinal natural para revelar a organização intrínseca dos dados, mostrando como representações fundamentais dão origem a representações específicas.

2. Metodologia: Framework MoRe

Os autores propõem o MoRe (Representações Modulares), um framework para aprendizado contínuo de representações principiado. Diferentemente de métodos que alocam modularidade no nível arquitetural (por exemplo, redes separadas por tarefa), o MoRe identifica a modularidade dentro da própria representação.

2.1 Modelo Generativo e Suposições

O MoRe assume que os dados são gerados por um processo hierárquico onde variáveis latentes $Z_t$ são organizadas em $d$ camadas ($Z^1_t, \dots, Z^d_t$):

• Hierarquia: Camadas superiores codificam conhecimento fundamental e agnóstico ao domínio (por exemplo, princípios físicos), enquanto camadas inferiores capturam informações especializadas e específicas ao domínio.
• Dependências Unidirecionais com Atraso Temporal: Efeitos entre camadas fluem unidirecionalmente das camadas fundamentais para as específicas com um atraso temporal (por exemplo, $Z^i_t$ depende de $Z^j_{t-\tau}$ onde $j < i$). Dependências instantâneas entre camadas são proibidas.
• Dependências Intra-camada: Dependências dentro da mesma camada são ilimitadas.

2.2 Garantias Teóricas (Identificabilidade)

Uma contribuição central é a prova de que essa estrutura generativa específica permite a identificabilidade do processo latente:

• Teorema 1 (Identificabilidade de Variáveis Latentes): Sob condições de densidade suave e variabilidade suficiente, relações instantâneas garantem que variáveis latentes só podem ser misturadas dentro da mesma camada, não entre camadas.
• Teorema 2 (Identificabilidade da Ordem Hierárquica): Os efeitos unidirecionais com atraso temporal entre camadas restringem as permutações admissíveis das camadas. A hierarquia é identificável até uma "ordem compatível" (uma ordem que não reverte efeitos verdadeiros com atraso temporal).
• Corolário 1: Combinando estes, o processo latente completo é identificável até indeterminações dentro da camada e ordem hierárquica compatível. Isso transforma módulos de construções heurísticas em objetos bem definidos, permitindo decisões principiadas sobre reutilização e expansão.

2.3 Algoritmo de Adaptação

O MoRe emprega um procedimento de adaptação em duas fases para novos conjuntos de dados $D_k$:

1. Ajuste e Avaliação (Apenas Inferência):

   • Novos dados são projetados no sistema de coordenadas existente usando o codificador anterior $f_{k-1}$.
   • Pontuação de Auto-consistência: Cada módulo existente é pontuado ($a_j$) com base se sua estrutura generativa assumida (autocorrelação temporal e independência condicional dos resíduos de outros módulos) é preservada nos novos dados.
   • Análise de Resíduos: O resíduo de reconstrução no espaço de observação é analisado para identificar novas coordenadas candidatas ($V_{new}$) ortogonais à base existente, revelando estrutura ausente.

2. Atualização Seletiva:

   • Mecanismo de Portão: Cada módulo (existente e novo candidato) está associado a um portão Concreto Rígido ($g_j$). A pontuação de auto-consistência $a_j$ inicializa o prior do portão (alta $a_j$ $\rightarrow$ logit positivo; baixa $a_j$ $\rightarrow$ logit negativo).
   • Alinhamento: Uma matriz de alinhamento aprendível $T$ (inicializada como identidade) permite pequenos ajustes de coordenadas para módulos reutilizados sem retreinamento completo.
   • Função Objetivo: A perda combina ajuste aos dados (verossimilhança de mudança de variáveis), um regularizador de alinhamento ($\|T - I\|_F^2$) e penalidades de esparsidade nos portões ($L_0$) e em novos blocos de transição ($J_{new}$).
   • Compromisso: Ao final do treinamento, os portões são binarizados. Módulos com $g_j=0$ são desativados (mas mantidos na biblioteca), e novos módulos com $g_j=1$ são adicionados.

3. Contribuições Principais

1. Framework MoRe: Um método para decompor representações em uma hierarquia de módulos fundamentais e específicos que reflete o processo de geração de dados, e não os limites de tarefa.
2. Garantias de Identificabilidade: Provas teóricas mostrando que, sob dependências com atraso temporal entre camadas, a estrutura modular hierárquica é identificável, fornecendo uma base principiada para decidir quais módulos reutilizar ou expandir.
3. Procedimento de Adaptação: Um algoritmo em duas fases que interpreta novos dados através de módulos existentes, pontua-os quanto à consistência e os alinha, retém ou expande seletivamente usando portões aprendíveis.
4. Validação Empírica: Demonstrações em benchmarks sintéticos e dados de ativação de Modelos de Linguagem de Grande Escala (LLM) do mundo real, mostrando estrutura hierárquica interpretável e melhorias no trade-off plasticidade-estabilidade.

4. Resultados Experimentais

4.1 Benchmarks Sintéticos

• Identificabilidade (S-RQ1): O MoRe recuperou com sucesso fatores latentes em dimensões variadas (até 128) e profundidades (até 4 camadas) em configurações lineares e não lineares, alcançando altos Coeficientes de Correlação Média (MCC > 0,9).
• Plasticidade-Estabilidade (S-RQ2): Em cenários de transição envolvendo novos fatores ou fatores ausentes, o MoRe alcançou esquecimento próximo de zero ou negativo (melhorando a recuperação de fatores antigos) enquanto mantinha plasticidade comparável ao ajuste fino. Estudos de ablação confirmaram que a matriz de alinhamento $T$ é crítica para proteger representações antigas.
• Alocação de Fatores (S-RQ3): O MoRe roteou corretamente fatores para módulos reutilizados ou novos. Em casos seletivos "difíceis" onde fatores antigos e novos se sobrepunham parcialmente, a precisão do portão caiu para 0,5, refletindo ambiguidade inerente, mas exigiu penalidades de esparsidade tanto em portões antigos quanto novos para funcionar corretamente.

4.2 Ativações de LLM do Mundo Real

• Emergência Hierárquica (RW-RQ1): Aplicado a ativações de Pythia-1.4B e Gemma-2-9B em conjuntos de dados como ArXiv, AMPS e Wikipedia, o MoRe revelou uma estrutura "de amplo para específico".
  • Concentração de Conceitos: No conjunto de dados AMPS (currículo de matemática), camadas inferiores ($L_0$) mostraram maior concentração de conceitos (especificidade para níveis de dificuldade) do que camadas superiores, alinhando-se com a hierarquia do currículo.
  • Links entre Camadas: Links da matriz B extraídos mostraram transições de conceitos fundamentais (por exemplo, aritmética) para específicos (por exemplo, álgebra linear) no AMPS, e de matemática abstrata para domínios aplicados no ArXiv.
• Eficiência de Rótulos (RW-RQ2): Probes lineares treinados em representações MoRe congeladas superaram as bases PCA em configurações de poucos exemplos. Por exemplo, o MoRe alcançou desempenho equivalente ao PCA com 256 dimensões usando apenas 64 dimensões de uma única camada e metade dos dados rotulados.

5. Significado e Alegações

O artigo alega que o desafio central do aprendizado contínuo é representacional. Ao fundamentar o processo de adaptação na estrutura identificável dos dados (especificamente, dependências com atraso temporal entre camadas), o MoRe oferece uma alternativa principiada ao isolamento heurístico baseado em tarefa ou em parâmetros.

• Fundação Principiada: O framework sugere que a adaptação contínua não deve ser impulsionada por rótulos de tarefa, mas pela organização intrínseca dos dados, permitindo a reutilização de blocos de construção fundamentais enquanto expande componentes específicos.
• Interpretabilidade: A hierarquia aprendida é interpretável, refletindo a transição de princípios gerais para aplicações específicas, conforme evidenciado pelo alinhamento com hierarquias definidas por humanos em conjuntos de dados do mundo real.
• Eficiência: O método demonstra que representações ricas, uma vez aprendidas, permitem adaptação downstream eficiente em termos de rótulos, exigindo apenas algumas amostras para montar representações para novas tarefas.

Os autores permanecem modestos quanto às limitações, observando que a implementação atual usa instâncias lineares e que as suposições teóricas (atrasos unidirecionais, esparsidade) podem ser apenas aproximadamente satisfeitas na prática. Eles veem o trabalho como um passo fundamental em direção a um sistema completo de aprendizado contínuo, deixando a estabilidade de longo horizonte e a escalabilidade não linear para pesquisas futuras.