Resumo Técnico: HERMAN para Aprendizado Incremental de Classes

Declaração do Problema

O Aprendizado Incremental de Classes (CIL - Class-Incremental Learning) visa adquirir continuamente novas classes enquanto preserva o conhecimento de categorias aprendidas anteriormente. Um desafio primário neste cenário é o esquecimento catastrófico, onde o aprendizado de novas informações degrada o desempenho em tarefas antigas. Embora abordagens recentes utilizem modelos pré-treinados como o CLIP para fornecer um forte alinhamento cross-modal e conhecimento prévio, os métodos baseados em CLIP existentes sofrem de duas limitações críticas:

1. Representação de Conhecimento Frágil: A maioria dos métodos depende de um alinhamento de nível único e de grão grosso entre a camada visual final e templates textuais fixos (ex: "uma foto de um [CLASSE]"). Isso força atualizações de grão fino (ex: distinguir um "lobo" de um "cachorro") no mesmo espaço semântico usado para separações de grão grosso (ex: "canídeo" vs. "felídeo"). Consequentemente, atualizações para novos detalhes podem inadvertidamente deslocar as fronteiras de decisão, degradando o desempenho em classes antigas.
2. Subutilização de Semântica Hierárquica: Os codificadores de visão e texto do CLIP capturam inerentemente recursos e descritores de múltiplos níveis, variando de conceitos de grão grosso a atributos de grão fino. No entanto, os métodos existentes tipicamente ignoram essas representações intermediárias, focando apenas na camada final.

Metodologia: HERMAN

Os autores propõem o HERMAN (HiErarchical Representation MAtchiNg), um framework projetado para estruturar, alinhar e rotear adaptativamente a semântica hierárquica dentro do CIL baseado em CLIP. O método consiste em três componentes principais:

1. Correspondência de Representação Hierárquica

Em vez de usar um único prompt fixo, o HERMAN utiliza Modelos de Linguagem de Grande Escala (LLMs) para gerar um conjunto de $M$ descritores textuais para cada classe, abrangendo desde pistas de identidade de grão grosso até detalhes visuais de grão fino.

• Geração Textual: Para uma classe $i$, um LLM gera recursivamente descritores $T_i = \{t_{i,1}, \dots, t_{i,M}\}$. Por exemplo, para "Aston Martin Virage", os descritores variam de "carro esportivo" (grão grosso) a "painéis laterais esculpidos" (grão fino).
• Alinhamento de Múltiplos Níveis: Esses descritores são codificados via codificador de texto do CLIP para formar um espaço textual hierárquico. O modelo alinha explicitamente esses embeddings textuais com camadas visuais intermediárias do codificador de visão do CLIP (não apenas a camada final).
• Agregação Top-K: Para reduzir o ruído, o modelo seleciona os top-$K$ descritores mais alinhados para cada camada visual e os agrega em um embedding textual compacto $h_i^b$ para a camada $b$.

2. Roteamento de Hierarquia Adaptativo

Reconhecendo que a importância de diferentes níveis hierárquicos varia conforme o input e a tarefa, o HERMAN introduz um roteador adaptativo condicionado ao input.

• Ponderação Dinâmica: Uma camada linear leve gera pesos não negativos $\beta_i$ baseados na representação visual final. Esses pesos equilibram dinamicamente as contribuições dos embeddings textuais hierárquicos unificados de diferentes camadas para formar a representação final $\tilde{h}_i$.
• Atualização Baseada em Projeção (Anti-Esquecimento): Para evitar que o roteador esqueça as políticas aprendidas para tarefas anteriores, os pesos do roteador são atualizados usando uma estratégia baseada em projeção.
  • A matriz de peso $W_r$ é decomposta via Decomposição de Valor Singular (SVD).
  • Uma matriz de projeção $P_{old}$ é construída para preservar o subespaço contendo os padrões de roteamento de tarefas anteriores.
  • As novas atualizações são decompostas em componentes dentro deste subespaço preservado (estabilidade) e direções ortogonais (plasticidade). A atualização final combina estes para se adaptar a novas tarefas sem interromper o conhecimento estabelecido.

3. Correspondência Cross-Modal e Treinamento

O framework emprega um adaptador visual leve e um objetivo contrastivo.

• Embeddings Mistos: A predição final utiliza uma interpolação convexa do embedding hierárquico agregado $\tilde{h}_i$ e o embedding de template padrão $e_i$, controlado por um fator $\lambda$.
• Replay Generativo: Para mitigar ainda mais o esquecimento sem armazenar imagens brutas, o método utiliza replay generativo ao nível de feature. Ele modela a distribuição do token visual final ($x_{cls}^B$) para cada classe como uma distribuição Gaussiana, amostrando pseudo-features durante o treinamento incremental para estabilizar o conhecimento passado.

Principais Contribuições

1. Estruturação Semântica Hierárquica: O artigo introduz um método para gerar e alinhar descritores textuais de múltiplos níveis com recursos visuais intermediários, indo além do alinhamento de camada única para criar um espaço semântico estruturado.
2. Mecanismo de Roteamento Adaptativo: Um roteador inovador equilibra dinamicamente as contribuições hierárquicas por instância, permitindo que o modelo priorize pistas de grão grosso ou fino conforme necessário.
3. Adaptação Contínua Baseada em Projeção: Uma estratégia de atualização baseada em projeção para o roteador garante que o aprendizado de novas tarefas não sobrescreva as políticas de roteamento essenciais para tarefas antigas, mitigando efetivamente o esquecimento catastrófico.
4. Desempenho de Estado da Arte: A integração desses componentes resulta em um framework que aumenta a discriminação e a robustez em cenários de aprendizado contínuo.

Resultados Experimentais

Os autores avaliaram o HERMAN em nove conjuntos de dados de referência (incluindo CIFAR100, ImageNet-R, CUB200, StanfordCars e SUN397) sob várias configurações incrementais (ex: Base0 Inc10, Base50 Inc10).

• Desempenho: O HERMAN supera consistentemente os métodos de estado da arte (incluindo L2P, DualPrompt, CODA-Prompt, RAPF e PROOF) em 1% a 5% em termos de acurácia média ($\bar{A}$) e acurácia final ($A_B$).
• Robustez: O método demonstra estabilidade através de diferentes sementes aleatórias para partição de classes e permanece robusto a variações de hiperparâmetros (ex: descritores Top-K, fator de mistura $\lambda$ e parâmetros de projeção $\delta, \rho$).
• Eficiência: O HERMAN requer menos tempo de treinamento do que os métodos concorrentes enquanto mantém um desempenho superior, tornando-o computacionalmente eficiente para tarefas de larga escala.
• Estudos de Ablação: Experimentos confirmam que cada componente (descritores de LLM, roteador adaptativo e atualizações de projeção) contribui positivamente para o desempenho final. O mecanismo de projeção é especificamente mostrado para manter uma alta similaridade de cosseno entre os embeddings visuais e textuais de classes antigas ao longo do tempo, ao contrário de métodos sem projeção que sofrem rápida degradação.

Significância e Alegações

O artigo afirma que o HERMAN aborda a fragilidade fundamental dos métodos de CIL baseados em CLIP ao desacoplar o aprendizado através de granularidades semânticas. Ao isolar atualizações de grão fino para níveis específicos da hierarquia enquanto ancora as separações de grão grosso, o método evita deslocamentos destrutivos de fronteira. Os autores afirmam que sua abordagem aproveita efetivamente a capacidade hierárquica inerente dos modelos pré-treinados, transformando-os em aprendizes contínuos mais robustos, capazes de se adaptar a novas categorias sem esquecer o conhecimento prévio. O trabalho destaca o potencial de combinar a riqueza semântica gerada por LLM com o alinhamento adaptativo estruturado em modelos de visão-linguagem.