🤖 AI

Multi-Level Knowledge Distillation and Dynamic Self-Supervised Learning for Continual Learning

Este artigo propõe um método de aprendizado contínuo para cenários de classes incrementais com repetição (CIR) que combina destilação de conhecimento multinível e aprendizado auto-supervisionado dinâmico para aproveitar dados não rotulados, garantindo estabilidade e plasticidade e alcançando o segundo lugar no desafio CVPR 5th CLVISION.

Autores originais: Taeheon Kim, San Kim, Minhyuk Seo, Dongjae Jeon, Wonje Jeung, Jonghyun Choi

Publicado 2026-04-01

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Taeheon Kim, San Kim, Minhyuk Seo, Dongjae Jeon, Wonje Jeung, Jonghyun Choi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um amigo a reconhecer milhares de tipos de pássaros, peixes e insetos. O problema é que você não pode mostrar a ele todas as fotos de uma vez. Você tem que mostrar um grupo, depois outro, e assim por diante.

O grande desafio aqui é o "Esquecimento Catastrófico": quando seu amigo aprende o novo grupo de pássaros, ele tende a esquecer completamente os que aprendeu antes. É como se o cérebro dele fosse um quadro branco que, ao escrever algo novo, apaga o antigo.

Além disso, no mundo real, as coisas não são perfeitas. Às vezes, você precisa ensinar sobre um pássaro que ele já viu antes, mas misturado com novos. E, pior ainda, você não pode guardar todas as fotos antigas na memória dele por questões de privacidade ou espaço.

Aqui entra o trabalho da equipe da Universidade Yonsei e da Universidade Nacional de Seul, que ficou em 2º lugar em uma grande competição de inteligência artificial (o CVPR 2024 CLVISION Challenge). Eles criaram um "super-estudante" usando duas técnicas mágicas para lidar com esse problema, usando até mesmo fotos da internet que não têm rótulos (não sabemos o que são, apenas que são imagens).

Vamos entender as duas técnicas deles com analogias do dia a dia:

1. A "Distilação de Conhecimento em Níveis Múltiplos" (MLKD)

A Analogia: O Mestre e os Discípulos

Imagine que seu amigo (o modelo de IA) tem vários "mentores" (modelos treinados no passado). Em vez de apenas perguntar ao mentor atual "qual é a resposta?", eles fazem algo mais inteligente:

Olhar para a "Intuição" (Logits): Eles não olham apenas para a resposta final (ex: "é um pardal"). Eles olham para a confiança que o mentor tinha em cada possibilidade. É como perguntar: "Você achava que era um pardal, mas também pensou que poderia ser um melro?". Isso ajuda a manter a "sensibilidade" do modelo.
Olhar para a "Visão" (Features): Eles também olham para como o mentor enxerga a imagem internamente. É como se o mentor dissesse: "Veja, preste atenção nas penas azuis e no bico curvo".
O Truque da Mistura: Eles não usam apenas um mentor antigo. Eles misturam a opinião de vários mentores do passado. É como formar um conselho de sábios. Se um esqueceu um detalhe, o outro lembra.
Ajuste Fino: Eles usam uma técnica chamada "Média Móvel Exponencial" (EMA), que é como dar um "polimento" constante nos mentores antigos, atualizando-os levemente com o que o modelo atual aprendeu, para que eles não fiquem obsoletos.

Resultado: O modelo não esquece o que aprendeu antes porque ele está constantemente "relembrando" através desses mentores, mesmo sem ter as fotos antigas na mão.

2. O "Aprendizado Auto-Supervisionado Dinâmico" (SSL)

A Analogia: O Treinador de Ginástica vs. O Professor de História

Para aprender coisas novas rápido (plasticidade), o modelo precisa ser inteligente e capaz de entender padrões gerais, não apenas decorar nomes.

O Problema: Eles usam fotos da internet que não têm nome (sem rótulo). Se o modelo tentar aprender com elas da mesma forma que aprende com as fotos rotuladas, ele pode se confundir e esquecer o que é importante (a classificação dos pássaros).
A Solução (O Treinador): Eles usam essas fotos sem nome para fazer o modelo praticar "ginástica mental". Por exemplo, o modelo tenta adivinhar se uma foto foi girada 90 graus ou não. Isso força o cérebro a entender a estrutura da imagem (o que é céu, o que é chão, formas) sem se preocupar com o nome do animal.
O Controle de Volume (Pesagem Dinâmica): Aqui está a genialidade. No começo do curso, eles deixam o "treinador" (o aprendizado sem rótulos) falar muito alto, porque o modelo precisa aprender a se adaptar rápido. Mas, conforme o tempo passa, eles baixam o volume do treinador e aumentam o do "professor" (a tarefa principal de classificar pássaros).
- Por que? Porque no final, o objetivo é classificar pássaros, não apenas entender imagens genéricas. Se o treinador falar alto demais no final, o aluno perde o foco na prova.

O Resultado Final

Ao combinar essas duas estratégias:

Memória Robusta: O modelo lembra do passado usando os "mentores" (Distilação).
Aprendizado Ágil: O modelo aprende o novo rápido usando as fotos da internet como treino geral (Auto-Supervisionado).

Eles conseguiram criar um sistema que aprende continuamente, sem esquecer o passado e sem precisar guardar milhões de fotos privadas. Na competição, onde o modelo tinha que lidar com 50 etapas diferentes de aprendizado, essa abordagem garantiu a 2ª melhor pontuação do mundo, superando métodos tradicionais que simplesmente "esqueciam" tudo ou que precisavam de muito espaço de memória.

Em resumo: Eles ensinaram a IA a ter uma "memória de elefante" (relembrando através de mentores) e uma "mente ágil" (treinando com o mundo real), tudo enquanto economizava espaço e respeitava a privacidade.

Resumo Técnico: Aprendizado Contínuo com Repetição (CIR) via Destilação de Conhecimento Multinível e Aprendizado Auto-supervisionado Dinâmico

Este relatório técnico descreve a abordagem vencedora (2º lugar) do 5º Desafio CLVISION da CVPR 2024. O trabalho foca em um cenário de aprendizado contínuo mais realista, onde o modelo enfrenta classes novas e antigas simultaneamente, utilizando dados não rotulados externos para mitigar o esquecimento catastrófico sem depender de buffers de memória grandes.

1. Problema: Aprendizado Incremental de Classes com Repetição (CIR)

O cenário tradicional de Aprendizado Incremental de Classes (CIL) assume que novas tarefas introduzem apenas classes nunca vistas antes. No entanto, em cenários do mundo real, um modelo frequentemente encontra uma mistura de classes novas e classes já aprendidas anteriormente.

Desafio Principal: O CIR (Class-Incremental Learning with Repetition) exige que o modelo aprenda novas classes enquanto mantém o desempenho nas antigas, mesmo quando estas reaparecem.
Restrições: O uso de métodos baseados em "rehearsal" (replay) que armazenam exemplos reais de tarefas anteriores é muitas vezes inviável devido a preocupações com privacidade de dados e limitações de armazenamento.
Solução Proposta: Utilizar dados não rotulados abundantes de fontes externas (como a Internet) para treinar o modelo, contornando a necessidade de armazenar dados sensíveis ou grandes volumes de exemplos rotulados.

2. Metodologia

A equipe propõe dois componentes principais construídos sobre uma linha de base de Cross-Entropy e Feature Replay para promover estabilidade (não esquecer o passado) e plasticidade (aprender o novo) simultaneamente.

A. Destilação de Conhecimento Multinível (MLKD - Multi-Level Knowledge Distillation)
O objetivo é preservar o conhecimento de tarefas anteriores sem depender dos dados originais.

Abordagem Multinível: A destilação ocorre em múltiplas perspectivas (nível de features e nível de logits) e através de múltiplos modelos anteriores.
Destilação de Features: Utiliza perda L2 para garantir que as representações internas do modelo permaneçam consistentes ao longo do tempo. O peso desta perda aumenta linearmente com o número de tarefas.
Destilação de Logits (Correlacional): Para evitar que a distribuição de dados não rotulados distorça o conhecimento, a equipe não usa comparação simples por instância. Em vez disso, utiliza Matrizes de Gram para destilar as correlações entre instâncias dentro de um lote e entre classes.
Múltiplos Modelos e EMA: O sistema mantém vários modelos treinados de tarefas anteriores. As saídas são misturadas para destilação, e todos os modelos anteriores são atualizados gradualmente através de uma Média Móvel Exponencial (EMA) com o modelo atual, incorporando novos conhecimentos ao processo de destilação.

B. Aprendizado Auto-supervisionado Dinâmico (Dynamic SSL)
O objetivo é aumentar a plasticidade do modelo para aprender conceitos gerais rapidamente.

Mecanismo: Utiliza dados não rotulados para treinar o modelo em tarefas auxiliares (como previsão de rotação de imagem), ajudando-o a extrair características gerais úteis para novas classes.
Ponderação Dinâmica: Como o SSL não está alinhado diretamente com a tarefa principal (classificação), um peso fixo poderia degradar o desempenho. A equipe introduz um peso dinâmico ( $\alpha$ ) que decai ao longo das tarefas ( $\alpha = c \cdot \omega^t$ ). Isso garante que o modelo foque na tarefa principal nas fases iniciais e de transição, enquanto ainda se beneficia da generalização do SSL.

Função de Perda Final:
A perda total combina:

Perda de Cross-Entropy assíncrona (tarefa principal).
Perda de SSL dinâmica (dados não rotulados).
Restrição de Logits (para discriminar classes de diferentes tarefas).
Perda de Replay de Features (buffer de memória pequeno).
Perdas de Destilação de Features e Logits (MLKD).

3. Contribuições Chave

Novo Paradigma de CIR: Validação eficaz de que dados não rotulados externos podem substituir o rehearsal de dados rotulados, resolvendo problemas de privacidade e armazenamento.
MLKD Robusto: Introdução de uma destilação baseada em correlações (Matrizes de Gram) e uso de múltiplos modelos com EMA para lidar com a mudança de distribuição de dados entre tarefas rotuladas e não rotuladas.
Estratégia de Ponderação Dinâmica: Um mecanismo simples, porém eficaz, para equilibrar a tensão entre aprender novas características (via SSL) e manter a precisão na tarefa de classificação.

4. Resultados Experimentais

Os experimentos foram realizados no subconjunto ImageNet-1K (130 classes de aves, animais marinhos e insetos) com 50 tarefas sequenciais.

Desempenho Final: O método proposto alcançou 42,00% de acurácia final.
Comparação:
- Fine-tuning puro: 5,82% (esquecimento catastrófico severo).
- Baseline (sem MLKD/SSL): 19,54%.
- Baseline + SSL Dinâmico: 23,82%.
- Baseline + MLKD: 39,82%.
- Método Completo (Ours): 42,00%.
Estudo de Ablação:
- O uso de 3 modelos anteriores foi identificado como o ponto ótimo (42,00%), equilibrando conhecimento e redundância.
- A ponderação dinâmica do SSL foi crucial, elevando a acurácia de 40,76% (sem ponderação) para 42,00%.
- Entre as tarefas de SSL, a Previsão de Rotação superou métodos contrastivos mais complexos (como SimCLR e VICReg), provavelmente devido às restrições de tamanho de lote e tempo de treinamento do desafio.

5. Significado e Impacto

Este trabalho demonstra que é possível construir sistemas de aprendizado contínuo robustos em cenários realistas (CIR) sem violar a privacidade de dados ou exigir armazenamento massivo de exemplos.

Eficiência: A combinação de destilação de conhecimento multinível e aprendizado auto-supervisionado dinâmico permite que o modelo mantenha alta estabilidade e plasticidade simultaneamente.
Aplicabilidade: A abordagem é particularmente relevante para aplicações em borda (edge computing) e cenários federados, onde o acesso a dados históricos rotulados é restrito, mas dados não rotulados abundantes estão disponíveis.
Reconhecimento: A eficácia da metodologia foi comprovada ao alcançar o 2º lugar no prestigiado desafio CLVISION da CVPR 2024, superando diversas abordagens de state-of-the-art.