LDEPrompt: Layer-importance guided Dual Expandable Prompt Pool for Pre-trained Model-based Class-Incremental Learning

1. O Problema

O artigo aborda o desafio do Aprendizado Incremental de Classes (CIL) no contexto de modelos pré-treinados (PTMs). O objetivo é permitir que um modelo aprenda novas tarefas sequencialmente sem esquecer as anteriores (evitando o "esquecimento catastrófico") e sem armazenar dados antigos (cenário exemplar-free).

Embora métodos baseados em Prompting (como L2P e DualPrompt) tenham mostrado resultados promissores ao congelar o backbone do modelo e treinar apenas vetores de prompt, eles enfrentam limitações críticas:

1. Sobrescrita de Prompts: Prompts selecionados repetidamente em diferentes tarefas tendem a ser sobrescritos, agravando o esquecimento.
2. Pool Fixo: O conjunto de prompts (pool) é estático, limitando a capacidade do modelo de acomodar novas tarefas complexas.
3. Dependência do Backbone: A seleção de prompts depende exclusivamente de embeddings gerados pelo modelo pré-treinado congelado, que carecem de informações específicas da tarefa atual, criando uma forte dependência do backbone.

2. Metodologia: LDEPrompt

Os autores propõem o LDEPrompt (Layer-importance guided Dual Expandable Prompt Pool), uma arquitetura que combina seleção adaptativa de camadas e expansão dinâmica do pool de prompts. O método opera em três etapas principais:

A. Avaliação da Importância da Camada (Layer Importance Evaluation)

Antes de treinar uma nova tarefa, o método realiza várias passagens forward no backbone pré-treinado para avaliar o ganho de informação em cada camada.

• Calcula-se o Ganho de Informação (IG) como a diferença entre a informação mútua da entrada e da saída de cada camada.
• As camadas com pontuações de importância acima da média são selecionadas para a inserção de prompts. Isso evita a redundância de parâmetros ao inserir prompts em todas as camadas.

B. Arquitetura de Duplo Pool Expansível (Dual Expandable Prompt Pools)

Para evitar a sobrescrita e permitir o crescimento, o sistema utiliza dois pools distintos:

1. Pool Global ($P_g$): Armazena prompts de todas as tarefas passadas. Estes prompts são congelados após o treinamento para preservar o conhecimento antigo.
2. Pool de Treinamento ($P_c$): Contém prompts específicos para a tarefa atual, com capacidade fixa $S$.

Mecanismo de Interação:

• Para uma nova tarefa, o sistema busca no Pool Global os prompts mais similares (via similaridade de cosseno com o token [CLS]) e os transfere para o Pool de Treinamento.
• Os prompts restantes no Pool de Treinamento são inicializados aleatoriamente.
• Após o treinamento, os novos prompts aprendidos são incorporados ao Pool Global, expandindo-o dinamicamente sem sobrescrever o conhecimento antigo.

C. Otimização

O modelo é treinado minimizando a perda de entropia cruzada padrão sobre os dados da tarefa atual, otimizando simultaneamente os prompts no Pool de Treinamento e o classificador, enquanto o backbone permanece congelado.

3. Contribuições Principais

1. Seleção Adaptativa de Camadas: Introduz um mecanismo baseado em ganho de informação para identificar as camadas mais informativas para a inserção de prompts, melhorando a eficiência e a adaptação à tarefa.
2. Arquitetura Dual Expansível: Propõe um design inovador com um pool global congelado e um pool de treinamento dinâmico. Isso permite o compartilhamento de conhecimento entre tarefas sem risco de esquecimento catastrófico por sobrescrita.
3. Expansão Dinâmica: O pool de prompts cresce conforme novas tarefas são aprendidas, superando a limitação de pools fixos de métodos anteriores.

4. Resultados Experimentais

O LDEPrompt foi avaliado em benchmarks amplamente utilizados de aprendizado incremental: CIFAR100, CUB (Caltech-UCSD Birds) e VTAB.

• Desempenho Geral: O método superou consistentemente os métodos state-of-the-art (SOTA) como L2P, DualPrompt, CODA-Prompt e Evoprompt.
• Métricas Específicas:
  • Em CIFAR100 (B0-Inc10), obteve 91.60% de precisão média (vs. 91.20% do Evoprompt).
  • Em CUB (B0-Inc20), alcançou 92.31% de precisão média, superando o segundo melhor por 2.91%.
  • Em VTAB (B0-Inc20), atingiu 94.44% de precisão média, com uma melhoria de 1.37% sobre o segundo melhor.
• Estudos de Ablação: Confirmaram que tanto o congelamento do pool global quanto a expansão dinâmica são essenciais. Além disso, a seleção de camadas baseada em importância superou a inserção de prompts em todas as camadas, evitando redundância de parâmetros.

5. Significado e Impacto

O trabalho LDEPrompt representa um avanço significativo no aprendizado contínuo baseado em prompts. Ao resolver o dilema entre preservação de conhecimento (através do congelamento) e adaptabilidade (através da expansão e seleção de camadas), o método oferece uma solução escalável para modelos de visão computacional que precisam evoluir continuamente.

A principal contribuição teórica é a demonstração de que a alocação de prompts não deve ser uniforme ou baseada apenas em similaridade de embeddings estáticos, mas sim guiada pela importância da camada e por uma arquitetura de memória dinâmica. Isso abre novas direções para pesquisas em aprendizado de vida (lifelong learning) eficiente em parâmetros, reduzindo a necessidade de re-treinamento massivo de modelos grandes.