Resumo Técnico: Além do Colapso Neural Ponto a Ponto

1. Declaração do Problema

A Aprendizagem Incremental de Classes (CIL) visa permitir que modelos aprendam novas categorias sequencialmente sem esquecer catastroficamente o conhecimento previamente adquirido. Embora o classificador de Média da Classe Mais Próxima (NCM) tenha se tornado o padrão de fato para CIL devido à sua robustez contra o esquecimento, sua otimalidade depende fortemente da teoria do Colapso Neural (NC). A teoria NC postula que, durante a fase terminal do treinamento, as características intra-classe colapsam em pontos únicos (médias de classe), tornando o classificador NCM equivalente a um classificador linear ótimo.

No entanto, os autores argumentam que, em configurações práticas de CIL, esse estado ideal é frequentemente violado devido a três fatores:

1. Convergência Insuficiente: Os modelos frequentemente não são treinados até o ponto de colapso para evitar overfitting.
2. Treinamento Constrained: Passos incrementais frequentemente utilizam regularização ou destilação que impedem a convergência completa em novas classes.
3. Deriva de Características: À medida que a rede base (backbone) é atualizada para novas tarefas, as representações das classes antigas se deslocam.

O artigo demonstra, por meio de análise de distância de Procrustes, que essa deriva de características não é uma simples transformação rígida, mas envolve deformações não lineares significativas (com distâncias normalizadas atingindo 0,3–0,4). Consequentemente, as características das classes residem em variedades complexas de alta dimensão (por exemplo, estruturas em "haltere" ou "crescente") em vez de pontos colapsados. Isso torna o NCM de único protótipo subótimo, pois falha em representar essas geometrias complexas, levando à degradação do desempenho.

2. Metodologia

O framework proposto consiste em dois componentes principais: um classificador consciente de topologia (HC-SOINN) e um mecanismo de adaptação à deriva (STAR).

2.1. HC-SOINN (SOINN Hierárquico-Agrupado)

Para capturar a estrutura intrínseca das variedades de classes, os autores propõem o HC-SOINN, que substitui a suposição de único protótipo por uma representação topológica "do local para o global".

• Inicialização Hierárquica: Em vez de aplicar agrupamento incremental diretamente a fluxos brutos (o que é sensível a ruído e ordem), o método primeiro acumula características em um buffer e realiza Agrupamento Hierárquico Aglomerativo (usando UPGMA e distância cosseno) para inicializar um esqueleto de variedade estável.
• Refinamento SOINN Esférico: Os nós iniciais são refinados usando uma Rede Neural Incremental Auto-Organizada (SOINN) simplificada, adaptada para a hipersfera unitária.
  • Aprendizado de Topologia: Arestas são criadas entre os nós vencedor e vice-campeão com base na Aprendizagem Hebbiana Competitiva (CHL).
  • Atualização Esférica: As posições dos nós são atualizadas usando Interpolação Linear Esférica (SLERP) para garantir que os sub-protótipos evoluam ao longo da superfície da variedade, em vez de derivar para o interior da hipersfera.
• Inferência de Dupla Visão: A pontuação de decisão final combina uma Visão Global (similaridade cosseno com a média da classe $\mu_c$) e uma Visão Local (máxima similaridade cosseno com qualquer sub-protótipo local $v \in V_c$). A pontuação é uma soma ponderada:
  $$S(x, c) = \alpha \cdot \cos\langle \tilde{f}_\theta(x), \mu_c \rangle + (1-\alpha) \cdot \max_{v \in V_c} \cos\langle \tilde{f}_\theta(x), v \rangle$$

2.2. STAR (Alinhamento de Estrutura-Topologia via Resíduos)

Para abordar a deriva não linear de características que métodos topológicos estáticos não conseguem suportar totalmente, o STAR introduz um paradigma de "adaptação à deriva".

• Rastreamento de Trajetória Ponto a Ponto: O STAR estabelece um mapeamento um para um entre nós topológicos e amostras de referência. Ele rastreia a deriva de cada nó individualmente comparando as características atuais com as características de referência armazenadas.
• Alinhamento por Resíduos: Uma Média Móvel Exponencial (EMA) suaviza os vetores de deriva ($\delta_i$). Esses resíduos são aplicados para transportar os sub-protótipos no espaço de características atual, permitindo que a estrutura da variedade se deforme ativamente e se alinhe com a distribuição de características em evolução, sem re-treinar a rede base.
• Sincronização Global: A média global da classe é atualizada sincronamente usando a deriva média de todos os nós.

3. Contribuições Principais

1. Revisão da Otimalidade do NCM: Os autores utilizam análise de Procrustes para demonstrar empiricamente que a deriva de características na CIL causa deformações estruturais não lineares significativas, expondo as limitações dos métodos de único protótipo em cenários práticos.
2. Classificador HC-SOINN: Um novo classificador consciente de topologia que representa variedades de classes usando uma estrutura hierárquica de centros locais e um centro global, oferecendo uma representação geométrica mais precisa do que protótipos únicos.
3. Mecanismo STAR: Uma mudança de "resistência à deriva" (tentar prevenir deslocamentos de características) para "adaptação à deriva". Ao aproveitar o rastreamento de trajetória ponto a ponto, o STAR permite que a topologia aprendida se deforme ativamente para corresponder à evolução complexa não linear das características.
4. Validação Extensa: A abordagem é integrada em sete métodos de CIL de última geração (incluindo paradigmas baseados em prompts, adaptadores e representações) em três benchmarks, demonstrando melhorias consistentes.

4. Resultados Experimentais

O método foi avaliado em Split CIFAR-100, Split CUB-200 e Split ImageNet-R.

• Ganhos de Desempenho: A integração do HC-SOINN (com ou sem STAR) em sete linhas de base (por exemplo, SimpleCIL, DualPrompt, CODA-Prompt, SEMA, CL-LoRA) resultou em melhorias consistentes tanto na Precisão Média (AAvg) quanto na Precisão da Última Tarefa (ALast).
  • Ganhos notáveis incluem o SEMA + HC-SOINN alcançando uma melhoria de +21,00% no Split CUB-200 (ALast) e o CODA-Prompt + HC-SOINN superando outros métodos SOTA no Split CUB-200.
• Análise do Classificador: Ao isolar a contribuição do classificador (fixando a rede base), o proposto HC-SOINN + STAR superou consistentemente camadas FC paramétricas, NCM padrão e o Classificador Não Linear de Kolmogorov-Arnold (KAC), particularmente em tarefas de sequência longa e fora da distribuição.
• Eficiência:
  • Treinamento: O método completo adiciona apenas ~3,96% de sobrecarga em comparação com a linha de base, alcançada via paralelização por classe.
  • Inferência: O método introduz virtualmente zero sobrecarga de latência (+0,01%), pois a rede base (99,7% do tempo de computação) domina o custo de inferência, e os cálculos de distância topológica são vetorizados na GPU.
• Armazenamento: A topologia adaptativa requer armazenar uma média de ~18–21 nós por classe, o que é comparável ou inferior aos buffers de 20 exemplares usados em métodos tradicionais baseados em ensaio, sem a necessidade de re-treinamento baseado em gradientes.

5. Significado e Alegações

O artigo afirma que a dependência de classificadores de único protótipo na CIL é teoricamente inconsistente quando o Colapso Neural está incompleto. Ao modelar classes como variedades complexas em vez de pontos, o framework proposto preenche a lacuna entre otimalidade teórica e restrições práticas de CIL.

• Mudança de Paradigma: O trabalho defende uma mudança de "resistência à deriva" (tentar prevenir deslocamentos de características) para "adaptação à deriva" (deformar ativamente a fronteira de decisão para corresponder ao deslocamento).
• Robustez: O método é apresentado como "livre de ajuste" (tuning-free), mantendo alto desempenho em diversos conjuntos de dados e redes base com um único conjunto unificado de hiperparâmetros.
• Limitações: Os autores reconhecem que os ganhos de desempenho vêm com uma sobrecarga computacional moderada para manutenção topológica e armazenamento adicional para buffers de referência. Além disso, o mecanismo de pontuação atual depende exclusivamente das distâncias dos nós, deixando a rica conectividade de arestas do grafo aprendido não explorada durante a classificação.

Os autores concluem que seu framework topológico fornece uma solução mais confiável para deslocamentos incrementais complexos do que limites lineares existentes ou limites não lineares fixos, estabelecendo novo desempenho de última geração em todos os conjuntos de dados avaliados.