🤖 machine learning

GLAM: Efficient Continual Learning at Scale via Grouped LoRA Adapter Merging

O GLAM é um framework de aprendizado contínuo eficiente que treina adaptadores LoRA leves com escalares de importância para cada tarefa, e então os poda, reescala e mescla em módulos agrupados para alcançar uma precisão de estado da arte em sequências longas de tarefas, enquanto reduz significativamente os parâmetros treináveis e o tempo de treinamento.

Autores originais: Irene Testa, Luigi Quarantiello, Eric Nuertey Coleman, Samrat Mukherjee, Julio Hurtado, Vincenzo Lomonaco

Publicado 2026-08-12

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Irene Testa, Luigi Quarantiello, Eric Nuertey Coleman, Samrat Mukherjee, Julio Hurtado, Vincenzo Lomonaco

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô brilhante e superinteligente a reconhecer tudo no mundo, desde o seu gato de estimação até um pássaro raro e, depois, um tipo específico de carro. O robô começa com um cérebro massivo e pré-carregado que já sabe muita coisa. Mas aqui está a parte complicada: toda vez que você ensina algo novo, ele tende a ficar um pouco "esquecido", apagando acidentalmente as memórias do que aprendeu ontem. Isso é um problema famoso na ciência da computação chamado "esquecimento catastrófico". Normalmente, para corrigir isso, você teria que treinar todo o cérebro do robô do zero toda vez, o que leva uma eternidade e custa uma fortuna em eletricidade. Cientistas têm tentado encontrar uma maneira de ensinar novos truques a esses robôs sem que eles esqueçam o que aprenderam antes, esperando construir máquinas que possam aprender continuamente, assim como os humanos fazem, sem precisar de um enorme upgrade de memória todos os dias.

Apresentamos o GLAM, um novo método que age como um bibliotecário inteligente e organizado para o cérebro deste robô. Em vez de socar cada nova lição em um livro separado e volumoso que ocupa um espaço infinito nas prateleiras, o GLAM ensina o robô a escrever notas minúsculas e leves (chamadas de "adaptadores") para cada nova tarefa. Mas aqui está o truque de mágica: em vez de guardar milhares dessas notas, o GLAM agrupa notas semelhantes, poda as rabiscos bagunçados e sem importância, e as funde em um resumo único e organizado. É como pegar uma pilha de 50 diários de viagem diferentes, lê-los e condensá-los em um único guia de viagem perfeito que contém todas as melhores dicas sem ser pesado.

Os pesquisadores descobriram que essa abordagem é incrivelmente eficiente. Quando testaram o GLAM em uma sequência de até 50 tarefas diferentes (como reconhecer 50 conjuntos diferentes de imagens), ele não apenas aprendeu bem; ele aprendeu rápido. Na verdade, foi cerca de três vezes mais rápido de treinar do que os melhores métodos concorrentes e usou apenas cerca de 20% do "poder cerebral treinável" (parâmetros) que outros precisavam. Enquanto outros métodos lutavam para acompanhar o ritmo conforme o número de tarefas crescia, o GLAM manteve-se afiado, alcançando a maior precisão em todos os testes realizados. Ele provou que você pode manter um robô aprendendo coisas novas ao longo de um longo período sem que ele esqueça o passado ou precise de um supercomputador para fazer as contas.

O Problema: A Memória Curta do Robô

Pense em um modelo de IA moderno como um céreamente gigante e pré-treinado que já leu toda a internet. É incrível, mas tem uma falha: se você tentar ensinar algo novo, como reconhecer uma raça específica de cachorro, ele pode ficar confuso e esquecer como reconhecer o gato que conhecia antes. Este é o problema do "esquecimento".

Para impedir isso, os cientistas geralmente tentam congelar as partes principais do cérebro e permitem que apenas uma seção pequena e especial aprenda as coisas novas. Isso é chamado de LoRA (Low-Rank Adaptation). Imagine que o cérebro é uma biblioteca gigante, e o LoRA é como adicionar um pequeno post-it em uma prateleira específica em vez de reescrever o livro inteiro. É eficiente, mas se você tiver 50 tarefas diferentes, acabará com 50 post-its. Gerenciar 50 notas é bagunçado e, se você tentar ler todas de uma vez, isso atrasa o robô.

A Solução GLAM: O Jogo do Agrupamento

O GLAM (Grouped LoRA Adapter Merging) muda o jogo ao organizar esses post-its em equipes. Veja como funciona, passo a passo:

A Nova Lição: Quando o robô aprende uma nova tarefa, o GLAM cria uma nota minúscula e leve (um adaptador) apenas para aquele trabalho. Ele também atribui a esta nota uma "pontuação de importância" para dizer o quanto ela importa.
O Agrupamento: Em vez de manter cada nota separada, o GLAM a atribui aleatoriamente a um de vários "grupos" (como colocar um novo livro em uma de cinco prateleiras específicas).
A Limpeza (Poda): Antes de a nota ser adicionada ao grupo, o GLAM faz uma limpeza rápida. Ele analisa a nota e joga fora as partes fracas e sem importância (o "ruído"), mantendo apenas as informações fortes e claras. Isso impede que as notas fiquem bagunçadas e interfiram umas nas outras.
A Fusão: A nova nota limpa é então suavemente misturada ao resumo existente do grupo. O resumo do grupo é atualizado para incluir a nova informação, mas continua sendo apenas uma nota.
O Resultado Final: Ao final, todos os resumos dos grupos são combinados em um único módulo super eficiente. O robô não precisa olhar para 50 notas; ele apenas olha para um resumo compacto que contém tudo o que aprendeu.

Por Que Isso é Importante

Os pesquisadores testaram isso em três conjuntos de dados de imagens: CIFAR-100 (100 tipos de objetos), CUB-200 (200 tipos de aves) e ImageNet-R (200 tipos de imagens artísticas). Eles fizeram o robô aprender em sequências de até 50 tarefas, o que é muito mais longo do que os testes usuais de 10 tarefas que a maioria dos cientistas utiliza.

Os resultados foram impressionantes:

Velocidade: O GLAM treinou cerca de 3 vezes mais rápido do que o melhor método concorrente (CL-LoRA).
Tamanho: Usou apenas 16–19% dos parâmetros treináveis que o melhor baseline utilizou.
Precisão: Obteve as pontuações mais altas em todos os três conjuntos de dados. Por exemplo, no conjunto de dados de aves CUB-200, atingiu 70,96% de precisão, superando o próximo melhor método por uma margem significativa.
Esquecimento: Esqueceu menos do que os outros. Enquanto alguns métodos esqueceram cerca de 33% do que aprenderam, o GLAM esqueceu apenas cerca de 20% nesse mesmo conjunto de dados.

O artigo sugere que esta estratégia de "agrupamento e fusão" é a chave para fazer uma IA que possa aprender continuamente sem ficar sobrecarregada. Ao manter o número de notas ativas baixo e limpá-las conforme o processo avança, o GLAM permite que o robô aprenda uma longa sequência de tarefas de forma eficiente, sem precisar lembrar de cada detalhe separadamente. É um passo em direção a máquinas que podem realmente aprender e crescer ao longo do tempo, assim como nós.

=== RESUMO ===

Resumo Técnico: GLAM – Aprendizado Contínuo Eficiente em Escala via Fusão de Adaptadores LoRA Agrupados

Declaração do Problema

O Aprendizado Contínuo (CL - Continual Learning) visa permitir que modelos aprendam incrementalmente a partir de sequências de tarefas enquanto retêm o conhecimento adquirido anteriormente, abordando o problema persistente do esquecimento catastrófico. Embora os modelos de fundação pré-treinados de grande escala ofereçam representações ricas que mitigam parcialmente o esquecimento, eles têm dificuldade em se adaptar eficientemente a distribuições de dados em evolução sem incorrer em custos computacionais proibitivos.

Os métodos existentes de Ajuste Fino de Parâmetros Eficientes (PEFT), particularmente a Adaptação de Baixo Rank (LoRA), são tipicamente projetados para cenários estáticos de tarefa única. Aplicar o LoRA ao CL apresenta três desafios principais:

Esquecimento Catastrófico: Prevenir a perda de conhecimento de tarefas anteriores.
Transferência de Conhecimento: Permitir a transferência eficaz entre tarefas relacionadas.
Escalabilidade: Alocar parâmetros de forma eficiente à medida que o número de tarefas cresce.

As abordagens de CL baseadas em LoRA atuais frequentemente armazenam adaptadores separados para cada tarefa (exigindo identificadores de tarefa na inferência) ou empregam estratégias de isolamento complexas que limitam a transferência de conhecimento. Alternativamente, métodos de fusão post-hoc consolidam adaptadores apenas após o treinamento, limitando a transferência durante a fase de aprendizado e muitas vezes dependendo de coeficientes subótimos ajustados manualmente. Além disso, muitos métodos existentes tratam os adaptadores de forma independente, falhando em suportar o aprendizado compartilhado ou o reúso adaptativo, e incorrem em altos custos de treinamento conforme as sequências de tarefas se alongam.

Metodologia: GLAM

Os autores propõem o GLAM (Grouped LoRA Adapter Merging), um framework projetado para aprendizado contínuo incremental de classes que agrupa e funde adaptadores dinamicamente conforme as tarefas se desenrolam, sem exigir acesso a amostras de tarefas anteriores. O método opera através de um pipeline de três estágios:

1. Treinamento de LoRA Específico por Tarefa

Para cada nova tarefa $T_i$ , o GLAM treina um adaptador LoRA leve e específico para a tarefa $\Delta W_i = B_i A_i$ junto com um escalar de importância associado $\alpha_i$ .

Otimização: O adaptador $\Delta W_i$ e seu escalar $\alpha_i$ são otimizados no conjunto de dados atual $D_i$ .
Congelamento: Os pesos pré-treinados base $W_0$ e os adaptadores de grupo aprendidos anteriormente $\{\Delta W_{G_j}\}$ são mantidos congelados.
Escalonamento Dinâmico: Os fatores de escala dos adaptadores de grupo existentes $\{\alpha_{G_j}\}$ são atualizados durante o treinamento da nova tarefa para manter um equilíbrio de importância relativa.
Mascaramento de Classificador: Os logits para classes fora da tarefa atual são mascarados para otimizar apenas os parâmetros do classificador relevantes.

2. Agrupamento de Adaptadores

Para evitar o crescimento ilimitado de parâmetros, o GLAM emprega uma estratégia de agrupamento dinâmico em vez de reter um módulo separado para cada tarefa.

Associação de Grupo: Ao concluir o treinamento para a tarefa $T_i$ , o novo adaptador é atribuído a um grupo $G_j$ via uma estratégia de amostragem aleatória a partir de um conjunto de slots de grupo disponíveis (até um máximo de $G_{max}$ ). Se o slot estiver vazio, um novo grupo é inicializado; caso contrário, o adaptador junta-se a um grupo existente.
Agregação de Importância: Cada grupo mantém um único fator de escala $\alpha_{G_j}$ , atualizado como uma média móvel dos fatores de importância de todos os adaptadores atribuídos a ele.
Poda Baseada em Magnitude: Antes da fusão, o adaptador de entrada passa por uma poda baseada em magnitude. Apenas os top- $k\%$ dos pesos (por valor absoluto) nas matrizes $B_i$ e $A_i$ são retidos. Este passo reduz a interferência de componentes fracos ou redundantes sem o alto custo computacional dos critérios baseados em Fisher.
Fusão Intra-Grupo: O adaptador podado é fundido linearmente com o adaptador de grupo atual $\Delta W_{G_j}$ usando uma média ponderada baseada no tamanho do grupo. Isso consolida múltiplas atualizações específicas de tarefa em uma única representação de nível de grupo.

3. Alinhamento de Classificador e Concatenção Final

Alinhamento de Classificador: Para mitigar o viés em direção às classes aprendidas recentemente, um estágio de alinhamento de classificador é realizado. Características sintéticas são amostradas a partir de estatísticas Gaussianas armazenadas (média e variância) das características das classes de todas as tarefas vistas. O classificador linear final é retreinado nessas características sintéticas enquanto o extrator de características permanece congelado.
Concatenação Final: Na inferência, todos os adaptadores de grupo são combinados em um único módulo unificado. Isso é alcançado escalonando cada adaptador de grupo pelo seu fator de importância $\alpha_{G_j}$ e concatenando-os ao longo da dimensão do rank. O modelo resultante possui um único adaptador compacto $\Delta W_{final}$ , garantindo um custo computacional constante independentemente do número de tarefas.

Principais Contribuições

Metodologia de CL Escalável: Uma abordagem inovadora para modelos de fundação que utiliza técnicas de PEFT, combinando adaptação específica de tarefa com um mecanismo para aprender conjuntamente módulos LoRA e seus coeficientes de importância.
Pipeline de Fusão Progressiva: Uma estratégia que consolida adaptadores específicos de tarefa em um conjunto limitado de adaptadores de grupo. Isso controla o crescimento de parâmetros e mitiga a interferência de fusão ao longo de longas sequências de tarefas através de agrupamento sequencial e poda baseada em magnitude.
Validação Empírica: Experimentos extensos em diversos benchmarks (CIFAR-100, CUB-200, ImageNet-R) demonstrando desempenho de estado da arte em cenários de CL dinâmico com longas sequências de tarefas (até 50 tarefas), enquanto reduz significativamente o tempo de treinamento e os parâmetros treináveis em comparação com bases fortes.

Resultados Experimentais

Os autores avaliaram o GLAM em benchmarks padrão usando sequências de até 50 tarefas, um cenário significativamente mais exigente do que os protocolos típicos de 10 tarefas encontrados na literatura recente.

Acurácia e Esquecimento: O GLAM alcançou a maior acurácia média em todos os três benchmarks. Comparado à base de maior desempenho (que varia conforme o conjunto de dados e métrica, ex: CL-LoRA no CIFAR-100, SEMA no ImageNet-R), o GLAM obteve um aumento médio de 6% na acurácia e uma redução de 8% no esquecimento. Por exemplo, no CIFAR-100, o GLAM (84,73%) superou significativamente o CL-LoRA (77,56%), enquanto no CUB-200, o GLAM (70,96%) superou o CL-LoRA (61,49%).
Eficiência: O GLAM demonstrou eficiência computacional superior. Alcançou aproximadamente um aceleração de treinamento de 3× sobre a base de maior desempenho, enquanto utilizou apenas 16–19% dos parâmetros treináveis usados por essa base (ex: ~3,6M de parâmetros para o GLAM vs. ~19,2M para o CL-LoRA no CIFAR-100).
Escalabilidade: À medida que o número de tarefas aumentou de 10 para 50, o GLAM manteve um desempenho robusto com degradação mínima, enquanto métodos concorrentes exibiram quedas de acurácia perceptíveis.
Estudos de Ablação: Análises confirmaram a eficácia da estratégia de fusão sequencial de duas fases. O agrupamento aleatório mostrou-se tão eficaz quanto estratégias de agrupamento (clustering) mais complexas, e a poda baseada em magnitude provou ser eficaz na redução da interferência.

Significância e Alegações

O artigo posiciona o GLAM como um passo significativo em direção ao aprendizado vitalício (lifelong learning) em modelos de fundação. Ao abordar o gargalo de escalabilidade dos métodos de CL baseados em PEFT existentes, o GLAM permite a adição contínua de novos conhecimentos sem a explosão linear de parâmetros ou custo computacional.

Os autores afirmam que o GLAM oferece uma solução prática para cenários do mundo real, onde modelos devem se adaptar a longas sequências de tarefas sob orçamentos de tempo e recursos restritos. O método equilibra com sucesso o compromisso estabilidade-plasticidade, preservando o conhecimento de tarefas anteriores enquanto integra eficientemente novas informações, tudo isso mantendo um custo de inferência constante através da concatenação final do adaptador. O trabalho sugere que o agrupamento e a fusão dinâmica, em vez do isolamento estático ou consolidação post-hoc, são um caminho viável para o aprendizado contínuo de larga escala e eficiente.