💻 computer science

Miles: Metric Learning with Expandable Subspace for Pre-Trained Model-Based Class-Incremental Learning

O artigo propõe o Miles, um método de aprendizado incremental de classes que aproveita modelos pré-treinados ao desacoplar módulos aprendíveis e utilizar um subespaço expansível com aprendizado métrico para equilibrar eficazmente o desempenho e o custo computacional, enquanto mitiga o esquecimento catastrófico.

Autores originais: Kai Jiang, Zisong Lin, Hongyuan Zhang, Xueru Bai, Xuelong Li

Publicado 2026-07-21

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Kai Jiang, Zisong Lin, Hongyuan Zhang, Xueru Bai, Xuelong Li

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando ensinar um robô superinteligente a reconhecer coisas novas, como um novo tipo de pássaro ou uma flor rara, sem que ele esqueça tudo o que já sabe sobre cães e gatos. Este é o mundo do Aprendizado Incremental de Classes (CIL - Class Incremental Learning). No passado, se você quisesse ensinar um novo conceito a um robô, muitas vezes precisava treinar todo o cérebro dele do zero, o que era lento e propenso ao "esquecimento catastrófico" — onde o robô subitamente esquecia como reconhecer um cão apenas por ter aprendido sobre uma nova flor.

Para resolver isso, os cientistas começaram a usar Modelos Pré-Treinados (PTMs). Pense neles como robôs que já passaram anos lendo todos os livros da biblioteca e assistindo a todos os documentários de natureza. Eles já conhecem o básico do mundo. O desafio agora é ensinar esses robôs "especialistas" novas habilidades específicas sem estragar seu conhecimento existente ou torná-los pesados e lentos para operar. A grande questão é: Como adicionamos novas habilidades ao cérebro de um especialista de forma eficiente, mantendo as habilidades antigas afiadas enquanto aprende as novas, tudo isso sem precisar de uma biblioteca massiva de fotos antigas para revisar?

Apresentamos o MILES (Aprendizado Métrico com Subespaço Expansível), um novo método proposto pelos pesquisadores Kai Jiang e sua equipe. Eles notaram que, embora esses robôs pré-treinados sejam inteligentes, às vezes eles ficam confusos ao tentar aprender novas categorias porque o "espaço mental" onde armazenam ideias fica congestionado. As ideias antigas e as novas começam a se sobrepor, como tentar estacionar um carro novo em uma garagem que já está lotada de carros antigos.

Para corrigir isso, o MILES utiliza uma estratégia inteligente de duas partes. Primeiro, ele cria uma Projeção de Protótipo de Subespaço (SPP). Imagine que o robô tem uma garagem gigante e bagunçada (o espaço de características). O MILES constrói uma série de "mini-garagens" especializadas ou subespaços para cada nova tarefa. Quando uma nova categoria chega, o robô projeta suas características para dentro desta nova mini-garagem, onde pode organizar os novos itens de forma organizada logo ao lado de um "protótipo" (um exemplo perfeito) desse item, mantendo-os longe dos itens antigos e não relacionados. Isso é como ter uma prateleira dedicada para sua nova coleção de selos para que ela não se misture com sua antiga coleção de moedas.

No entanto, apenas construir uma prateleira não é suficiente se os olhos do robô (o modelo pré-treinado) não estiverem vendo os detalhes com clareza suficiente para a nova tarefa. Por isso, o MILES adiciona uma Extensão de Representação de Subespaço (SRE). Isso é como dar ao robô um par de óculos especializados e leves para cada nova tarefa. Esses óculos não substituem a visão principal do robô; eles apenas adicionam um pouco de zoom e clareza extra às etapas intermediárias de visão, permitindo que o robô aprenda a nova tarefa muito melhor sem precisar reconstruir todo o seu cérebro.

Finalmente, os pesquisadores notaram um problema: às vezes o robô fica bom demais na nova tarefa e começa a ignorar as antigas, ou a "distância" entre os itens fica estranhamente inconsistente. Para impedir isso, eles introduziram a Regularização de Distância (DR). Pense nisso como um bibliotecário rigoroso que garante que a distância entre quaisquer dois livros na prateleira seja sempre justa e consistente, não importa em qual seção da biblioteca você esteja. Isso evita que o robô fique obcecado pelo conteúdo novo e esqueça o equilíbrio de toda a biblioteca.

A equipe testou o MILES em seis conjuntos de dados diferentes, variando de imagens simples como o CIFAR-100 a fotos complexas do mundo real como o ImageNet-R. Os resultados foram impressionantes: o MILES alcançou a maior precisão na maioria das configurações, superando outros métodos de ponta. Por exemplo, no conjunto de dados CIFAR-100 com 10 tarefas, ele atingiu uma precisão de 93,93%, o que é quase 1% melhor que o segundo melhor método, enquanto esqueceu muito pouco do que aprendeu anteriormente. O método também provou ser eficiente, utilizando muito poucos recursos de computador e memória em comparação com outras abordagens.

Em resumo, o MILES sugere que, ao combinar o poder do conhecimento pré-treinado com adições inteligentes e leves que organizam novas informações em espaços dedicados e mantêm tudo equilibrado, podemos ensinar a IA a aprender continuamente sem esquecer. É um passo em direção à criação de uma IA que pode crescer e se adaptar como um humano, aprendendo coisas novas todos os dias sem perder o seu passado.

Resumo Técnico: MILES (Aprendizado de Métrica com Subespaço Expansível)

Definição do Problema
O Aprendizado Incremental de Classes (CIL - Class-Incremental Learning) visa aprender novos conceitos sequencialmente a partir de um fluxo de dados sem esquecer as categorias aprendidas anteriormente. Embora os métodos tradicionais de CIL frequentemente treinem modelos do zero — levando a longos tempos de treinamento e baixa generalização — as abordagens baseadas em Modelos Pré-treinados (PTM) oferecem uma alternativa promissora ao alavancar o conhecimento prévio. No entanto, os métodos atuais de CIL baseados em PTM enfrentam um compromisso crítico entre desempenho e eficiência computacional. Métodos que compartilham o mesmo espaço de parâmetros frequentemente sofrem de esquecimento catastrófico, enquanto aqueles que expandem um novo ramo para cada tarefa incorrem em custos computacionais significativos devido a múltiplas propagações para frente ou um aumento linear no tempo de inferência com o número de tarefas. Além disso, o ajuste fino direto de PTMs em múltiplas tarefas de downstream ainda encontra um esquecimento severo, e os métodos existentes muitas vezes lutam para equilibrar a plasticidade do modelo (aprender novas tarefas) e a estabilidade (reter o conhecimento antigo) sem modificar o backbone congelado ou sofrer overfitting para as novas tarefas.

Metodologia
O método proposto, MILES (Metric Learning with Expandable Subspace), aborda esses desafios ao desacoplar módulos aprendíveis do backbone pré-treinado e orquestrar uma expansão eficiente do espaço de parâmetros através de otimização guiada. A arquitetura consiste em um backbone pré-treinado congelado (ex: Vision Transformer) e três componentes principais:

Projeção de Protótipo de Subespaço (SPP - Subspace Prototype Projection):
- Motivação: Observações indicam que categorias não vistas nos espaços de características de PTM exibem agrupamento (clustering) em vez de dispersão. O MILES aproveita isso ao computar protótipos de classe para novas categorias sem treinamento.
- Mecanismo: Para cada nova tarefa $t$ , um adaptador leve e aprendível ( $A_t$ ) é cascateado após o backbone. Este adaptador projeta as características originais em um subespaço específico da tarefa.
- Estrutura: O adaptador utiliza um design residual composto por um ramo MLP de dimensão total e um ramo de projeção progressiva de redução/aumento de dimensão (semelhante a uma U-Net 1D operando nas dimensões de canal). Esta estrutura comprime as características em um gargalo de baixa dimensão e as restaura, permitindo a reparametrização de características específica da tarefa enquanto mantém a compatibilidade com o backbone congelado.
- Otimização: Uma perda de centro (center loss) minimiza a distância entre as características intra-tarefa e seus respectivos protótipos. Para evitar o overfitting para novas tarefas, uma perda de estabilidade é introduzida, que maximiza a distância entre as pseudo-características de categorias antigas (modeladas via distribuições Gaussianas) e os novos protótipos da tarefa.
Extensão de Representação de Subespaço (SRE - Subspace Representation Extension):
- Motivação: Depender exclusivamente do backbone congelado limita a capacidade do modelo de aprender semânticas de alta dimensão a partir de novos dados, pois o backbone não consegue se adaptar às novas distribuições de tarefas.
- Mecanismo: Uma sub-rede de baixo rank ( $S_t$ ) é estendida para cada tarefa para aprender características intermediárias do modelo pré-treinado.
- Estrutura: A sub-rede SRE mimetiza a arquitetura dos blocos de transformer do backbone usando dois módulos MLP de baixo rank por bloco. Um aproxima o módulo de atenção e o outro aproxima a Rede Feed-Forward (FFN).
- Integração: A saída da sub-rede SRE é concatenada com as características originais do backbone antes de ser enviada ao adaptador SPP. Isso aumenta a capacidade representacional do modelo sem modificar os pesos pré-treinados ou exigir múltiplas passagens para frente durante a inferência (apenas uma passagem para frente pelo backbone é necessária, seguida pelo processamento paralelo dos ramos SRE).
Regularização de Distância (DR - Distance Regularization):
- Motivação: Sem restrições unificadas, o modelo pode sofrer overfitting para subespaços de tarefas específicas, resultando em distâncias significativamente menores para novas tarefas em comparação com as anteriores, levando ao viés.
- Mecanismo: Dois termos de regularização são adicionados à função de perda:
  - Restrição de Distância Média da Tarefa: Garante que a distância média dos vetores de características para os protótipos de tarefas irrelevantes permaneça consistente entre as tarefas.
  - Restrição de Distância Média de Classe: Mantém uma distância média consistente entre as características intra-tarefa e seus protótipos em todos os subespaços de tarefas.
- Objetivo: Estes termos equilibram o equilíbrio métrico entre as tarefas, mitigando o overfitting e garantindo um critério de classificação consistente.

Principais Contribuições

Integração de Aprendizado de Métrica e PTMs: O artigo integra o aprendizado de métrica com modelos pré-treinados em um cenário de CIL, propondo o SPP para otimizar a distância entre as características da tarefa atual e os protótipos correspondentes dentro de um novo subespaço de tarefa.
Extensão de Representação de Subespaço (SRE): Uma nova sub-rede de baixo rank é introduzida para aprender características intermediárias do PTM. Isso fortalece a capacidade representacional do modelo com modificações mínimas na rede pré-treinada e evita o aumento linear no tempo de inferência associado a arquiteturas de múltiplos ramos.
Regularização de Distância (DR): Uma estratégia de regularização é proposta para manter distâncias médias consistentes para cada tarefa, resolvendo efetivamente o problema de overfitting frequentemente observado em novos subespaços de tarefas.

Resultados Experimentais
Experimentos extensivos foram conduzidos em seis conjuntos de dados de referência: CIFAR-100, CUB-200, Omnibenchmark, ImageNet-A, ImageNet-R e FOOD-101. A avaliação cobriu sequências de tarefas curtas ( $T=10$ ) e longas ( $T=50$ ).

Desempenho: O MILES alcançou desempenho de estado da arte (SOTA) em vários cenários de CIL. Por exemplo, no CIFAR-100 ( $T=10$ ), alcançou 93,93% de acurácia média com uma taxa de esquecimento de 3,12%, superando o segundo colocado (DGR) em 0,88% de acurácia e 1,73% na taxa de esquecimento. Resultados superiores semelhantes foram observados no CUB, Omnibenchmark e variantes do ImageNet.
Eficiência: O método mantém um baixo overhead computacional. Requer apenas uma passagem para frente através do backbone congelado durante a inferência. O número de parâmetros treináveis é comparável aos menores métodos concorrentes (ex: FeCAM), e as Operações de Multiplicação-Acúmulo (MACs) são mínimas em comparação com métodos que exigem múltiplas passagens para frente (como o EASE) ou atualizações extensas de parâmetros.
Estudos de Ablação: Experimentos confirmaram a eficácia de cada componente. Adicionar o SPP melhorou o desempenho em relação ao baseline; adicionar o SRE aumentou ainda mais a capacidade representacional; e adicionar o DR reduziu consistentemente a taxa de esquecimento e estabilizou o desempenho através de diferentes configurações de hiperparâmetros.
Robustez: O método demonstrou robustez a diferentes ordens de aprendizado e combinações de hiperparâmetros.

Significância e Alegações
O artigo afirma que o MILES orquestra com sucesso uma expansão eficiente do espaço de parâmetros ao aproveitar a informação prévia dentro do conhecimento pré-treinado. Ao desacoplar módulos aprendíveis e empregar otimização guiada via aprendizado de métrica, o MILES alcança um compromisso superior entre desempenho e gasto computacional em comparação com os métodos atuais de CIL baseados em PTM. O trabalho valida que o aproveitamento da natureza de agrupamento das características nos espaços de PTM, combinado com extensões de subespaço leves e regularização de distância, permite um aprendizado contínuo eficaz sem esquecimento catastrófico ou custo computacional excessivo.

Limitações e Trabalho Futuro
Os autores reconhecem que o estudo atual foca em configurações padrão de incremento de classe, onde o backbone pré-treinado fornece representações transferíveis e os dados de downstream permanecem dentro do escopo semântico alvo. A robustez do método sob mudanças de Distribuição Fora do Padrão (OOD - Out-of-Distribution) (estilo, condições de aquisição ou conteúdo semântico) não foi investigada sistematicamente. O trabalho futuro visa estender o MILES para CIL consciente de OOD, incorporando modelagem de incerteza e correção de desvio em tempo de teste.

Resumo Técnico: MILES (Aprendizado de Métrica com Subespaço Expansível)

Mais como este