Resumo Técnico: Controles de Dimensionalidade Quando a Modularidade Auxilia no Aprendizado Contínuo

Declaração do Problema

O aprendizado contínuo enfrenta o dilema fundamental "estabilidade–plasticidade": um sistema deve adquirir novo conhecimento (plasticidade) enquanto preserva representações previamente aprendidas (estabilidade). Essa tensão é exacerbada quando as tarefas compartilham estrutura, criando um risco de interferência onde o novo aprendizado interrompe o conhecimento prévio. Embora arquiteturas modulares sejam frequentemente propostas para mitigar a interferência ao isolar computações específicas de cada tarefa, permanece incerto quando os vieses estruturais são funcionalmente benéficos versus quando são redundantes. Especificamente, o artigo investiga se a utilidade da modularidade depende do regime representacional — as propriedades geométricas das representações aprendidas, particularmente sua dimensionalidade efetiva.

Metodologia

Paradigma Experimental

O estudo utiliza um paradigma sequencial de transferência–interferência A–B–A (inspirado em Holton et al., 2026).

• Fase A1: A rede aprende a Tarefa A (mapeando pistas vegetais para posições de ponteiros baseadas em uma regra sazonal).
• Fase B: A rede aprende a Tarefa B com novos estímulos. A Tarefa B compartilha a mesma estrutura formal de A, mas varia na similaridade da regra: Mesma (regra idêntica), Próxima (pequeno desvio angular) ou Distante (grande desvio angular).
• Fase A2: A rede é retestada na Tarefa A para medir retenção e interferência.

Arquiteturas

Duas arquiteturas recorrentes foram comparadas:

1. Baseline de Rede Única: Uma única população recorrente processa todas as entradas com um readout compartilhado.
2. Rede Modular Particionada por Tarefa: As entradas são roteadas para módulos recorrentes distintos ($M_A$ para a Tarefa A, $M_B$ para a Tarefa B) com base na identidade da tarefa. As saídas dos módulos são concatenadas e processadas por um readout compartilhado. Isso impõe uma separação estrutural no processamento recorrente, mas mantém o acoplamento no nível da saída.

Controle de Regimes Representacionais

Para manipular a dimensionalidade efetiva das representações aprendidas sem alterar a capacidade da rede, os autores variaram a escala de inicialização de peso ($\gamma$).

• Regime de Alta Dimensionalidade ("Preguiçoso"): Valores altos de $\gamma$ mantêm as representações próximas da inicialização, resultando em alta dimensionalidade efetiva e códigos menos especializados.
• Regime de Baixa Dimensionalidade ("Rico"): Valores baixos de $\gamma$ forçam as representações para variedades (manifolds) de menor dimensão, induzindo códigos estruturados e especializados.
• Métrica: A dimensionalidade efetiva foi quantificada como o número de componentes principais necessários para explicar 99% da variância nos estados ocultos.

Análise

O desempenho foi medido via precisão angular, transferência (melhoria na Tarefa B baseada na Tarefa A) e interferência (desvio no comportamento da Tarefa A em direção às regras da Tarefa B). A geometria representacional foi analisada usando Análise de Componentes Principais (PCA) para calcular a dimensionalidade efetiva, ângulos principais entre subespaços específicos de tarefas e visualizações 3D das trajetórias das tarefas.

Resultados Principais

1. A Modularidade é Condicional à Dimensionalidade

O benefício da arquitetura modular não é universal, mas sim controlado pelo regime representacional:

• Regime de Alta Dimensionalidade ("Preguiçoso"): Tanto redes únicas quanto modulares alcançaram níveis comparáveis de precisão, transferência e interferência. A separação estrutural explícita da rede modular não proporcionou vantagem significativa, pois o espaço de alta dimensionalidade permitiu que a rede única codificasse as tarefas com pouca pressão geométrica.
• Regime de Baixa Dimensionalidade ("Rico"): A modularidade tornou-se decisiva. A rede modular manteceu alta precisão na Tarefa A e baixa interferência em todas as condições de similaridade. Em contraste, a rede única sofreu interferência significativa, particularmente na condição "Distante", pois lutou para reorganizar seu espaço representacional restrito sem sobrescrever o conhecimento prévio.

2. Emergência de Geometria Dependente de Similaridade

No regime de baixa dimensionalidade, a rede modular desenvolveu uma organização composicional e graduada de subespaços representacionais que a rede única falhou em alcançar:

• Tarefas Similares (Mesma): As representações permaneceram estreitamente alinhadas (subespaços sobrepostos).
• Tarefas Moderadamente Dissimilares (Próxima): As representações ocuparam ângulos intermediários (separação parcial).
• Tarefas Dissimilares (Distante): As representações tornaram-se fortemente ortogonais (subespaços separados).
  A rede única exibiu uma dependência menos estruturada e mais fraca da similaridade das tarefas, com os subespaços permanecendo mais emaranhados, independentemente da distância entre as tarefas.

3. Robustez dos Achados

Estudos de ablação variando o tamanho do módulo e o roteamento de entrada confirmaram que esses efeitos são robustos a variações arquiteturais moderadas. O achado central — que a dimensionalidade controla o impacto funcional da modularidade — manteve-se através das configurações.

Principais Contribuições

1. Identificação de uma Variável de Controle: O artigo identifica o regime representacional induzido pela inicialização (covariando com a dimensionalidade) como o fator chave que determina quando a modularidade estrutural torna-se funcionalmente benéfica no aprendizado contínuo.
2. Caracterização da Geometria Composicional: Demonstra que, em regimes restritos (baixa dimensionalidade), as redes modulares desenvolvem naturalmente uma organização geométrica dependente da similaridade (sobreposição $\to$ parcial $\to$ ortogonal) que suporta o reuso composicional enquanto minimiza a interferência.
3. Reenquadramento dos Objetos do Aprendizado Contínuo: Os achados apoiam a visão do aprendizado contínuo não como uma escolha binária entre "compartilhamento" e "separação", mas como uma alocação adaptativa de subespaços representacionais, onde a geometria ideal depende da similaridade das tarefas.

Significado e Alegações

O artigo argumenta que a dimensionalidade representacional controla quando a modularidade ajuda. Vieses estruturais (como a modularidade) só remodelam o comportamento de aprendizado e a geometria interna quando o espaço representacional é suficientemente restrito para tornar a geometria um fator vinculativo. Em regimes "preguiçosos" de alta dimensionalidade, a rede possui graus de liberdade suficientes para resolver tarefas sem precisar de separação estrutural explícita. No entanto, em regimes "ricos" de baixa dimensionalidade, a rede é forçada a organizar as computações em subespaços distintos, ponto no qual a modularidade arquitetônica fornece uma vantagem crucial na gestão do dilema estabilidade-plasticidade.

Os autores concluem que o aprendizado contínuo composicional robusto requer mecanismos que regulem dinamicamente tanto a dimensionalidade representacional quanto a organização dos subespaços em resposta às mudanças nas estruturas das tarefas, em vez de depender apenas de separação arquitetônica fixa.

Nota: O artigo declara explicitamente limitações, incluindo o uso de PCA como um proxy para a dimensionalidade intrínseca e a restrição a sequências de tarefas curtas e controladas, reconhecendo que trabalhos futuros são necessários para determinar se esses efeitos se estendem a benchmarks de aprendizado contínuo mais longos e heterogêneos.