Resumo Técnico: Escalonamento da Aprendizagem Contínua para 300+ Tarefas com Mistura de Especialistas de Roteamento Bi-Nível (CaRE)

1. Declaração do Problema

A aprendizagem contínua, particularmente a Aprendizagem Incremental de Classes (CIL), visa permitir que modelos aprendam novas tarefas sequencialmente sem esquecer o conhecimento anterior. Embora abordagens recentes que aproveitam Modelos Pré-treinados (PTMs) e Ajuste Fino Eficiente em Parâmetros (PEFT) tenham mostrado promessa, elas enfrentam desafios significativos ao escalar para sequências de tarefas muito longas (por exemplo, centenas de tarefas).

As dificuldades centrais identificadas são:

• Equilibrar Representações Discriminativas e Abrangentes: Métodos existentes frequentemente lutam para gerar representações que sejam altamente discriminativas para classes específicas e abrangentes o suficiente para aproveitar conhecimento complementar de tarefas históricas semanticamente relacionadas. Estratégias de granularidade grosseira (por exemplo, prompts globais) falham em explorar efetivamente pistas complementares de granularidade fina.
• Decisões Locais Multi-nível: Modelos de visão possuem níveis variados de abstração através de diferentes profundidades de rede. Uma estratégia de roteamento estática falha em tomar decisões locais ótimas em cada camada intermediária para incorporar seletivamente conhecimento histórico.
• Falta de Benchmarks Escaláveis: A maioria dos benchmarks CIL existentes (por exemplo, CIFAR-100, subconjuntos padrão do ImageNet) é limitada a um pequeno número de classes (frequentemente <100), tornando-os inadequados para avaliar o desempenho em sequências longas (100–300+ tarefas). Isso deixa a escalabilidade dos métodos atuais para fluxos de tarefas do mundo real, ilimitados, amplamente inexplorada.

2. Metodologia: CaRE e BR-MoE

Os autores propõem o CaRE (Aprendiz Contínuo com Mistura de Especialistas de Roteamento Bi-Nível eficiente), construído sobre uma espinha dorsal de Vision Transformer (ViT) congelada. A inovação central é o módulo Mistura de Especialistas de Roteamento Bi-Nível (BR-MoE), que é integrado em cada bloco construtor do ViT.

2.1 Visão Geral da Arquitetura

Para cada tarefa incremental $t$, o CaRE aprende um triplo de componentes eficientes em parâmetros dentro de cada módulo BR-MoE:

1. Perceptron de Classe ($C_t$): Extrai informações discriminativas ao nível da classe.
2. Rede Roteadora ($R_t$): Gera coeficientes de controle para seleção de especialistas.
3. Especialista/Adaptador ($E_t$): Um adaptador específico da tarefa para transformação de características.
   Além disso, um Especialista Compartilhado ($\bar{E}$) é mantido, atualizado via Média Móvel Exponencial (EMA) através de todas as tarefas para codificar conhecimento consolidado entre tarefas.

2.2 O Mecanismo de Roteamento Bi-Nível

O processo de roteamento ocorre em dois estágios dinâmicos para cada característica de entrada $z_a$ em cada camada:

Estágio 1: Seleção Dinâmica do Roteador

• O token [CLS] da característica de entrada é alimentado em todos os perceptrons de classe aprendidos $\{C_t\}$.
• Cada perceptron produz uma distribuição de probabilidade sobre as classes de sua tarefa.
• A entropia dessas distribuições é calculada. Menor entropia indica maior confiança de que a entrada pertence àquela tarefa.
• O sistema seleciona as Top-M redes roteadoras associadas aos valores de entropia mais baixos (tarefas mais prováveis). Isso garante que o modelo recupere conhecimento das tarefas históricas mais semanticamente relevantes.

Estágio 2: Roteamento Dinâmico de Especialistas

• Cada um dos $M$ roteadores selecionados gera pontuações de controle para seu conjunto associado de especialistas específicos da tarefa (adaptadores).
• Para cada roteador, os Top-K especialistas com as maiores pontuações de controle são ativados e agregados.
• O Especialista Compartilhado ($\bar{E}$) é sempre ativado para enriquecer a representação com conhecimento geral entre tarefas.
• A saída final é a soma das características específicas da tarefa agregadas e a saída do especialista compartilhado.

2.3 Objetivos de Treinamento

• Perda de Classificação: Perda padrão de penalidade angular é aplicada na camada final.
• Supervisão do Perceptron de Classe: Para garantir orientação semântica robusta em camadas intermediárias, o perceptron de classe em cada camada $\ell$ é supervisionado não apenas por sua própria perda de classificação, mas também por uma perda de divergência KL contra as probabilidades softmax da camada final. Isso força camadas intermediárias a imitar abstrações semânticas de alto nível, permitindo tomada de decisão local efetiva.

3. Contribuições Principais

3.1 O Framework CaRE

O CaRE é o primeiro aprendiz contínuo projetado para escalar efetivamente para sequências de tarefas muito longas (100 a 300+ tarefas não sobrepostas). Ao empregar um mecanismo de roteamento bi-nível, ele injeta dinamicamente representações tanto discriminativas quanto abrangentes em cada camada intermediária da rede, permitindo recuperação de conhecimento personalizada em diferentes níveis de abstração.

3.2 OmniBenchmark-1K

Para abordar a falta de protocolos de avaliação adequados para sequências longas, os autores introduzem o OmniBenchmark-1K. Curado a partir do OmniBenchmark-V2, este conjunto de dados contém 1.000 classes em 21 domínios visuais com ~190.000 imagens. É especificamente projetado para facilitar avaliações CIL escaláveis com centenas de tarefas, superando as limitações de benchmarks existentes como o CIFAR-100.

3.3 Validação Empírica

Experimentos extensivos demonstram que o CaRE supera métodos CIL baseados em PTM de última geração (por exemplo, L2P, DualPrompt, TUNA, MOS, MIN) em configurações diversas:

• Sequências Longas: No OmniBenchmark-1K, o CaRE alcança ganhos significativos na precisão final ($A_B$) sobre as linhas de base em configurações de 100, 151, 200 e 301 tarefas. Por exemplo, supera o TUNA em 8,23% e o MIN em 8,68% em $A_B$ em 100 e 151 tarefas, respectivamente.
• Sequências Curtas: O CaRE também mantém desempenho superior em benchmarks clássicos (CIFAR-100, ImageNet-R, ImageNet-A, VTAB) com 5–20 tarefas, demonstrando robustez em comprimentos de sequência.
• Eficiência: O CaRE alcança um compromisso favorável entre desempenho e custo computacional, usando significativamente menos parâmetros treináveis e menor latência de inferência comparado a métodos como MOS e TUNA, enquanto entrega maior precisão.

4. Significado e Alegações

O artigo afirma que o CaRE representa um passo significativo para tornar a aprendizagem contínua prática para cenários do mundo real onde fluxos de dados são não estacionários e sequências de tarefas são potencialmente ilimitadas.

• Escalabilidade: O trabalho é apresentado como o primeiro a escalar com sucesso o CIL para mais de 300 tarefas não sobrepostas, mantendo superioridade clara de desempenho.
• Validade do Mecanismo: Os autores argumentam que o mecanismo de roteamento bi-nível aborda efetivamente o dilema "estabilidade-plasticidade", permitindo que o modelo recupere dinamicamente conhecimento histórico relevante (via seleção de roteador) e agregue características complementares (via roteamento de especialistas) em cada camada.
• Impacto na Comunidade: Ao liberar tanto o código do CaRE quanto o conjunto de dados OmniBenchmark-1K, os autores visam inspirar pesquisas futuras em sequências de tarefas extremamente longas, um domínio anteriormente prejudicado pela falta de benchmarks apropriados e métodos escaláveis.

O artigo conclui com um reconhecimento modesto de que, embora o CaRE escale para 300+ tarefas, a complexidade do modelo ainda cresce linearmente com o número de tarefas (devido à adição de novos módulos), e trabalhos futuros podem focar em simplificação arquitetônica adicional e extensão desses protocolos para modelos de visão-linguagem.