💻 computer science

TAS-LoRA: Transformer Architecture Search with Mixture-of-LoRA Experts

TAS-LoRA é um método inovador de busca de arquitetura Transformer que aborda o problema do colapso de características nas abordagens existentes ao introduzir uma estratégia de Mixture-of-LoRA Experts com roteamento dinâmico e inicialização por grupos, permitindo aprendizado de características específico para sub-redes enquanto mantém a eficiência computacional.

Autores originais: Jeimin Jeon, Hyunju Lee, Bumsub Ham

Publicado 2026-05-12

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jeimin Jeon, Hyunju Lee, Bumsub Ham

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando construir o carro perfeito para cada motorista possível na estrada: um pequeno commuter urbano, um caminhoneiro de serviço pesado e um corredor de luxo.

No mundo da Inteligência Artificial (IA), especificamente nos Transformers de Visão (ViTs), esses "carros" são redes neurais projetadas para reconhecer imagens. Geralmente, engenheiros projetam essas redes manualmente, o que é lento e caro. Para acelerar isso, pesquisadores usam um método chamado Busca de Arquitetura de Transformer (TAS).

Pense no TAS como a construção de uma enorme "Supernet" — uma fábrica gigante e tudo-em-um que contém todos os possíveis projetos de carros dentro dela. Em vez de construir cada carro separadamente, a fábrica compartilha as mesmas peças do motor (pesos) para todos os carros. A ideia é treinar essa única fábrica gigante uma vez e, em seguida, apenas "retirar" o projeto de carro específico que você precisa.

O Problema: A Armadilha do "Tamanho Único"

O artigo identifica uma falha grave nessa abordagem de fábrica, que eles chamam de "Colapso de Características".

Como cada projeto de carro na fábrica compartilha exatamente as mesmas peças do motor, todos acabam dirigindo da mesma maneira. A fábrica aprende um estilo de direção "genérico" que funciona bem para todos, mas não é perfeito para ninguém.

O commuter urbano precisa ser ágil.
O caminhão precisa ser forte.
O corredor precisa ser rápido.

Mas, como todos compartilham as mesmas peças, a fábrica força todos a dirigirem como um sedan "meio-termo". Nenhum deles atinge seu potencial máximo. Em termos de IA, os diferentes projetos de rede falham em aprender as características específicas de que precisam para serem bons em seus trabalhos específicos.

A Solução: TAS-LoRA (O "Kit de Ajuste Personalizado")

Os autores propõem um novo método chamado TAS-LoRA. Em vez de forçar cada carro a usar exatamente as mesmas configurações de motor, eles adicionam um "Kit de Ajuste Personalizado" a cada carro.

Eles usam uma técnica chamada LoRA (Adaptação de Baixo Rango). Imagine o LoRA como um pequeno módulo leve que você pode prender ao motor compartilhado.

O motor principal (os pesos compartilhados) permanece o mesmo para todos.
Mas cada carro recebe seu próprio kit LoRA único que ajusta o motor apenas para suas necessidades específicas.

Isso permite que o carro urbano aprenda agilidade, o caminhão aprenda força e o corredor aprenda velocidade, tudo enquanto ainda usa o mesmo motor principal da fábrica.

O Gerente Inteligente: Mixture-of-LoRA-Experts (MoLE)

Aqui está a parte complicada: Existem milhões de projetos de carros possíveis. Se você tentasse dar a cada projeto único seu próprio kit de ajuste, a fábrica se tornaria grande demais e lenta demais para gerenciar.

Para resolver isso, o TAS-LoRA introduz um Mixture-of-LoRA-Experts (MoLE).

Em vez de milhões de kits únicos, a fábrica tem um conjunto limitado de "Kits de Especialista" (por exemplo, um "Kit de Velocidade", um "Kit de Força", um "Kit de Agilidade").
Um Gerente Inteligente (Roteador) fica na linha de montagem. À medida que cada projeto de carro desce a linha, o Gerente olha suas especificações (quantas rodas, quão grande é o motor) e decide instantaneamente: "Este precisa do Kit de Velocidade misturado com o Kit de Agilidade."

Dessa forma, a fábrica permanece pequena e eficiente, mas cada carro ainda recebe uma experiência personalizada.

O Truque do "Grupo": Evitando Confusão

O artigo notou um problema: Quando a fábrica começa, o Gerente Inteligente não sabe qual kit vai para qual carro. Ele apenas dá o mesmo kit para todos, levando de volta ao problema de "Colapso de Características".

Para corrigir isso, eles inventaram a Inicialização de Roteador por Grupo.

Antes da fábrica abrir, eles agrupam os carros por sua forma básica (por exemplo, todos os "carros pequenos" vão para o Grupo A, todos os "caminhões grandes" no Grupo B).
Eles forçam o Gerente a dar o "Kit de Velocidade" ao Grupo A e o "Kit de Força" ao Grupo B logo no primeiro dia.
Isso garante que, desde o primeiro dia de treinamento, os diferentes grupos aprendam coisas diferentes, impedindo que todos se tornem o mesmo carro "genérico".

Os Resultados

Os autores testaram isso em um conjunto de dados massivo chamado ImageNet (uma enorme biblioteca de fotos) e vários outros conjuntos de dados menores (como flores, carros e pássaros).

Melhor Desempenho: Seu método (TAS-LoRA) produziu modelos de IA significativamente mais precisos do que métodos anteriores.
Sem Custo Extra: Como os "kits de ajuste" podem ser mesclados de volta ao motor principal antes que o carro seja usado, não há custo extra quando a IA realmente olha para uma imagem. Ela roda tão rápido quanto os métodos antigos.
Flexibilidade: Ao contrário de outros métodos que podem precisar ser reconstruídos se você mudar as regras de hardware (como tornar o carro menor), o TAS-LoRA pode se adaptar a novas regras sem começar do zero.

Resumo

Em resumo, o artigo diz: "Não force cada projeto de IA a compartilhar exatamente o mesmo cérebro. Dê a eles um cérebro compartilhado, mas permita que eles usem diferentes 'óculos inteligentes' (especialistas LoRA) para que possam ver o mundo da maneira que é melhor para seu trabalho específico." Isso torna o processo de busca de IA mais rápido, mais inteligente e mais eficaz.

Resumo Técnico: TAS-LoRA

Declaração do Problema

A Busca de Arquitetura de Transformer (TAS) visa descobrir automaticamente arquiteturas ótimas de Vision Transformer (ViT), reduzindo o esforço manual necessário para o projeto. Os métodos atuais de TAS mais avançados dependem principalmente de abordagens one-shot, que treinam uma "supernet" contendo todas as possíveis sub-redes. Nessas supernets com pesos entrelaçados, todas as sub-redes compartilham um conjunto comum de pesos.

O artigo identifica uma limitação crítica nesse paradigma: o problema do colapso de características. Como a supernet é otimizada para minimizar uma perda global em todas as sub-redes, os pesos compartilhados tendem a aprender características genéricas que funcionam adequadamente para arquiteturas diversas, mas falham em capturar características específicas da sub-rede. Consequentemente, as sub-redes individuais não conseguem aproveitar plenamente suas propriedades arquitetônicas únicas (por exemplo, números específicos de cabeças de atenção ou razões de MLP), levando a um desempenho subótimo em comparação com sub-redes treinadas independentemente do zero. A análise empírica no artigo confirma que as sub-redes dentro de supernets com pesos entrelaçados exibem representações de características quase idênticas (alta similaridade cosseno), enquanto as sub-redes treinadas independentemente desenvolvem representações distintas.

Metodologia: TAS-LoRA

Para abordar o colapso de características mantendo a eficiência computacional, os autores propõem o TAS-LoRA (Busca de Arquitetura de Transformer com Mistura de Especialistas LoRA). O método integra Adaptação de Baixo Rango (LoRA) ao processo de treinamento da supernet para permitir aprendizado de características especializado para cada sub-rede, sem incorrer no custo proibitivo de atribuir parâmetros exclusivos a cada configuração possível de sub-rede.

1. Mistura de Especialistas LoRA (MoLE)

Em vez de atribuir um módulo LoRA exclusivo a cada sub-rede (o que é computacionalmente inviável devido ao vasto espaço de busca), o TAS-LoRA emprega uma estratégia de Mistura de Especialistas LoRA (MoLE).

Arquitetura: Especialistas LoRA são aplicados às camadas lineares da supernet (incluindo camadas de projeção QKV e camadas MLP).
Roteamento Dinâmico: Um roteador leve seleciona e combina dinamicamente um conjunto limitado de especialistas LoRA com base na arquitetura específica da sub-rede amostrada.
Eficiência na Inferência: No momento da inferência, os parâmetros LoRA selecionados são mesclados aos pesos originais da supernet. Como a configuração da sub-rede é fixa durante a inferência, o roteador executa apenas uma vez, e os pesos mesclados introduzem nenhum custo computacional adicional.

2. Design do Roteador

O roteador é projetado para capturar as dependências sequenciais dos blocos de transformer:

Entrada: Ele recebe tanto atributos em nível de bloco (por exemplo, número de cabeças de atenção, razão de MLP) quanto atributos em nível de sub-rede (por exemplo, dimensão de incorporação, profundidade) como entrada.
Mecanismo: Esses atributos são codificados por uma camada de incorporação aprendível e processados por um LSTM para capturar dependências sequenciais entre os blocos. O LSTM produz representações ocultas, que são passadas por uma "cabeça de roteador" totalmente conectada para gerar uma distribuição de probabilidade sobre os especialistas LoRA disponíveis para cada camada.

3. Inicialização do Roteador por Grupos

Um desafio chave identificado é que, durante o treinamento inicial, o roteador tende a atribuir pesos semelhantes a todos os especialistas, levando à redundância e impedindo a especialização. Para mitigar isso, os autores introduzem uma técnica de inicialização do roteador por grupos:

Agrupamento: Blocos de transformer em diferentes sub-redes são agrupados com base em similaridades arquitetônicas (especificamente contagem de cabeças de atenção, razão de MLP e dimensão de incorporação).
Inicialização: O número de especialistas LoRA é definido para corresponder ao número de grupos. O roteador é inicializado de modo que cada especialista seja enviesado para um grupo distinto. Isso é alcançado definindo termos de viés específicos na cabeça do roteador para um valor positivo $\beta$ para o par grupo-especialista correspondente, enquanto os demais são zerados.
Efeito: Isso força o roteador a atribuir especialistas distintos a diferentes grupos arquitetônicos no início do treinamento, incentivando o aprendizado diversificado de características. À medida que o treinamento progride, o roteador atualiza dinamicamente essas atribuições com base nas propriedades da sub-rede.

Contribuições Principais

Identificação do Colapso de Características em TAS: O artigo identifica e analisa formalmente o problema do colapso de características em supernets com pesos entrelaçados, demonstrando que pesos compartilhados impedem que as sub-redes aprendam representações especializadas.
Framework TAS-LoRA: Um método inovador que combina LoRA com um mecanismo de roteamento dinâmico (MoLE) para aprender características específicas de sub-redes de forma eficiente. Permite que as sub-redes refinem características compartilhadas com base em suas propriedades arquitetônicas sem retreinar toda a supernet do zero.
Inicialização do Roteador por Grupos: Uma técnica para prevenir a redundância de especialistas durante as etapas iniciais do treinamento, garantindo que os especialistas LoRA aprendam representações de características distintas.
Desempenho de Estado da Arte: Experimentos extensivos demonstram que o TAS-LoRA supera significativamente os métodos existentes de TAS (por exemplo, AutoFormer, DYNAS, FocusFormer) em vários espaços de busca e conjuntos de dados.

Resultados Experimentais

Os autores avaliaram o TAS-LoRA no conjunto de dados ImageNet e em vários benchmarks de aprendizado por transferência (CIFAR-10/100, Flowers, CARS, INAT-19).

Desempenho no ImageNet: O TAS-LoRA melhorou consistentemente a precisão top-1 de supernets treinadas com AutoFormer e DYNAS nos espaços de busca Tiny, Small e Base.
- Por exemplo, no espaço AutoFormer-T, o TAS-LoRA alcançou 75,7% de precisão, superando o AutoFormer original (74,7%) e outros métodos SOTA como PreNAS-Ti (77,1%, mas com menos flexibilidade).
- No espaço AutoFormer-B, o TAS-LoRA-B alcançou 82,6% de precisão com 54M de parâmetros, superando o AutoFormer-B (82,4%) e igualando ou excedendo modelos maiores como GLiT-B (82,3% com 96M de parâmetros).
Aprendizado por Transferência: O TAS-LoRA demonstrou generalização superior, alcançando resultados competitivos ou de estado da arte em CIFAR-10/100, Flowers, CARS e INAT-19.
Estudos de Ablação:
- Inicialização: A inicialização por grupos superou consistentemente a inicialização aleatória, confirmando seu papel na redução da redundância de especialistas.
- Similaridade de Características: A análise de similaridade cosseno mostrou que o TAS-LoRA com inicialização por grupos produziu representações de características significativamente mais diversas entre os especialistas em comparação com a inicialização aleatória ou métodos padrão com pesos entrelaçados.
- Comparação com Ajuste Fino: O TAS-LoRA superou uma supernet totalmente ajustada (onde todos os pesos são atualizados), apesar de treinar apenas por 50 épocas nas camadas MoLE. Isso indica que os ganhos derivam da capacidade de aprendizado de características específicas da sub-rede do MoLE, e não apenas de treinamento estendido.

Significado e Alegações

O artigo alega que o TAS-LoRA representa um avanço significativo na Busca de Arquitetura de Transformer ao resolver efetivamente o problema do colapso de características inerente a supernets com pesos entrelaçados.

Eficiência vs. Desempenho: Diferentemente de métodos que exigem o treinamento de múltiplas supernets (por exemplo, MoS) ou o re-treinamento do zero quando as restrições de hardware mudam (por exemplo, PreNAS), o TAS-LoRA treina uma única supernet com camadas de adaptação específicas da sub-rede. Isso permite adaptação flexível a novas restrições de hardware (por exemplo, FLOPs, latência) sem re-treinar todo o modelo.
Escalabilidade: Ao usar um conjunto limitado de especialistas e um roteador dinâmico, o método escala para supernets com números enormes de configurações possíveis de sub-redes sem um aumento linear em parâmetros ou custo computacional.
Generalizabilidade: A abordagem é apresentada como uma solução geral aplicável a qualquer supernet com pesos entrelaçados, melhorando o desempenho independentemente da estratégia de treinamento subjacente (por exemplo, AutoFormer ou DYNAS).

Os autores concluem que o TAS-LoRA mitiga com sucesso o colapso de características, permitindo que as sub-redes aprendam representações especializadas e alcançando desempenho de estado da arte tanto em tarefas de busca de arquitetura quanto em aprendizado por transferência.