🤖 machine learning

Sparse Layers are Critical to Scaling Looped Language Models

O artigo demonstra que a combinação de arquiteturas de Mistura de Especialistas (MoE) com repetição de camadas e mecanismos de saída antecipada permite que modelos de linguagem superem os transformadores padrão em eficiência de escalabilidade, ao mesmo tempo que reduzem significativamente os custos de memória e inferência.

Autores originais: Ryan Lee, Jacob Biloki, Edward J. Hu, Jonathan May

Publicado 2026-05-12

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Ryan Lee, Jacob Biloki, Edward J. Hu, Jonathan May

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando construir um cérebro de robô superinteligente (um Modelo de Linguagem de Grande Escala) capaz de ler e escrever como um humano. O problema é que esses cérebros são enormes. Eles ocupam muita memória para armazenar e são lentos para executar porque precisam processar informações através de um longo e sinuoso corredor de salas (camadas), uma por uma.

O artigo explora um truque inteligente para tornar esses cérebros menores e mais rápidos sem torná-los "burros". Aqui está a história do que eles descobriram, explicada de forma simples.

O Problema: O Cérebro de "Copiar e Colar"

Normalmente, um cérebro de robô tem uma sala única para cada etapa de seu processo de pensamento. Se ele tem 16 etapas, precisa de 16 salas diferentes. Isso é caro para construir e armazenar.

Para economizar dinheiro, os pesquisadores tentaram uma ideia diferente: Looping. Em vez de construir 16 salas únicas, eles construíram apenas 8 salas e disseram ao robô para atravessá-las duas vezes.

A Ideia: Atravesse as salas 1–8, depois atravesse as salas 1–8 novamente.
O Resultado: Economiza espaço de armazenamento porque você construiu apenas 8 salas.
O Problema: Quando o robô atravessa a mesma sala pela segunda vez, ele faz exatamente a mesma coisa que fez na primeira vez. É como ler a mesma página de um livro duas vezes na esperança de entendê-la melhor. O robô fica confuso e desempenha pior do que aquele com 16 salas únicas.

A Solução: A "Equipe de Especialistas" (MoE)

Os autores perceberam que o problema era que as salas eram genéricas demais. Elas eram como um empreiteiro geral que tenta consertar um cano vazando, pintar uma parede e instalar uma lâmpada tudo ao mesmo tempo.

Eles substituíram essas salas genéricas por salas de Mistura de Especialistas (MoE).

A Analogia: Imagine uma sala com uma recepcionista inteligente (um roteador). Quando um visitante (um pedaço de dados) entra, a recepcionista não deixa todos verem a mesma pessoa. Em vez disso, ela envia o visitante para um especialista específico com base no que ele precisa.
- Se o visitante precisa de matemática, ele vai ao Especialista em Matemática.
- Se ele precisa de poesia, ele vai ao Especialista em Poesia.
A Magia: Em um modelo MoE com Loop, a recepcionista é inteligente o suficiente para mudar de ideia na segunda volta.
- Primeira passagem: O visitante entra na Sala 1 e é enviado ao Especialista em Matemática.
- Segunda passagem: O visitante entra na Sala 1 novamente, mas desta vez, a recepcionista o envia ao Especialista em Poesia.

O Resultado: Embora a sala física seja a mesma, o trabalho que acontece dentro dela é diferente a cada vez. Isso corrige o "tédio" do modelo com loop. O artigo descobriu que os modelos MoE com Loop ficam na verdade mais inteligentes do que os grandes modelos padrão, mesmo armazenando menos "plantas" únicas (parâmetros).

O Bônus: A Porta de "Saída Antecipada"

O artigo também descobriu um segundo superpoder: Saídas Antecipadas.

Em um cérebro de robô padrão, você precisa atravessar todas as 16 salas para obter a resposta final. Se o robô descobrir a resposta após 8 salas, ainda precisa atravessar as outras 8, desperdiçando tempo e energia.

Em um modelo com Loop, as "portas de saída" estão colocadas no final de cada loop.

A Analogia: Imagine uma linha de montagem de fábrica. Em uma linha padrão, você tem que esperar até o final da linha para verificar se o produto está bom. Em uma linha com loop, você verifica o produto após a primeira passagem, depois a segunda passagem.
Por que funciona melhor: Porque as salas no final do loop são as mesmas salas usadas para fazer a resposta final, o robô aprende a dar uma resposta "boa o suficiente" muito mais cedo.
A Descoberta: O artigo descobriu que os modelos com loop podem parar mais cedo (economizar energia) com muito mais frequência do que os modelos padrão sem perder qualidade. É como conseguir sair de uma reunião mais cedo porque você já concordou com os pontos principais, enquanto em uma reunião padrão, você tem que ficar até o fim.

A Grande Conclusão

O artigo conclui com uma receita simples para construir IA melhor e mais barata:

Não faça apenas loop em salas padrão. (Isso torna a IA pior).
Faça loop em salas de "Especialistas" (MoE). (Isso torna a IA mais inteligente e menor).
Use as fronteiras do loop como portas de saída. (Isso economiza poder de computação).

Ao combinar isso, você obtém um modelo que é mais barato de armazenar, mais rápido para executar e tão inteligente (ou mais inteligente) quanto os modelos massivos que temos hoje. O artigo chama isso de arquitetura MoE com Loop.

Resumo Técnico: Camadas Esparsas são Críticas para a Escalonamento de Modelos de Linguagem em Loop

Declaração do Problema

Modelos de Linguagem de Grande Porte (LMs) enfrentam custos significativos de armazenamento e inferência devido aos seus enormes números de parâmetros, onde cada parâmetro é tipicamente utilizado apenas uma vez por etapa de inferência. Embora a reutilização de parâmetros através da profundidade (looping) ofereça um caminho para reduzir custos de memória e fornecer pontos de saída antecipada naturais, arquiteturas anteriores que utilizam essa abordagem tiveram desempenho inferior aos transformadores padrão com camadas únicas quando comparados sob igual poder de computação de treinamento. Os autores hipotetizam que o gargalo de expressividade em LMs em loop decorre da rede feed-forward densa (FFN), que aplica a mesma operação a cada token. Essa invariância se compõe quando as camadas são em loop, limitando a capacidade do modelo de aprender representações complexas.

Metodologia

Os autores realizam um estudo controlado comparando quatro arquiteturas de transformador para isolar os efeitos do looping de camadas e das camadas esparsas de Mistura de Especialistas (MoE):

Base: Transformador padrão com camadas únicas e FFNs densas.
Em Loop: Transformador com pilhas de camadas repetidas (amarramento de pesos) e FFNs densas.
MoE: Transformador padrão com camadas únicas e FFNs MoE esparsas.
Em Loop-MoE: Transformador com pilhas de camadas repetidas e FFNs MoE esparsas.

Configuração Experimental:

Análise de Leis de Escalonamento: O estudo emprega Parametrização de Atualização Máxima (µP) para escalar modelos eficientemente através de diferentes larguras sem re-ajustar as taxas de aprendizado. Os modelos são treinados sob orçamentos de computação fixos (IsoFLOP) variando de $5 \times 10^{16}$ a $10^{18}$ FLOPs.
Detalhes da Arquitetura: As variantes em loop utilizam 8 camadas únicas repetidas 2 vezes ( $8 \times 2$ ) para corresponder à profundidade efetiva de 16 camadas dos contrapartes não em loop. As configurações MoE utilizam roteamento top-2 entre 8 especialistas.
Avaliação de Saída Antecipada: Os autores avaliam as compensações entre computação e qualidade usando um critério de saída antecipada sem treinamento baseado na entropia de saída. Para modelos em loop, as saídas são restritas aos limites do loop (após cada passagem completa pela pilha de camadas únicas), enquanto modelos não em loop podem sair em qualquer camada intermediária.
Benchmarks Descendentes: Modelos ótimos em computação são avaliados no conjunto de benchmarks AI2 OLMES.

Principais Contribuições e Descobertas

1. Especialistas Esparsos Resolvem o Déficit de Escalonamento do Looping

A descoberta primária é que modelos Em Loop-MoE escalam significativamente melhor do que as bases densas padrão, enquanto modelos em loop densos escalam estritamente pior.

Recuperação de Expressividade: Os autores traçam essa melhoria até a divergência de roteamento. Em modelos Em Loop-MoE, o roteador seleciona conjuntos diferentes de especialistas para a mesma camada física em cada passagem de loop. Isso permite que camadas compartilhadas implementem computações distintas através das iterações, recuperando a expressividade perdida pelo amarramento de pesos sem adicionar parâmetros.
Leis de Escalonamento: O ajuste de leis de potência aos pontos ótimos em computação produz expoentes de escalonamento ( $\alpha$ ) de 0,076 para o modelo Base e 0,077 para o Em Loop-MoE, consistentes com leis de escalonamento estabelecidas. Em contraste, modelos em loop densos falham em alcançar desempenho comparável.
Precisão Descendente: No orçamento de $10^{18}$ FLOPs, o modelo Em Loop-MoE ótimo em computação alcança a pontuação média mais alta (39,6) nos 9 benchmarks principais do AI2 OLMES, superando o modelo Base (38,7) enquanto armazena menos parâmetros únicos (216M vs. 246M).

2. Compensações Computação-Qualidade Superiores via Saídas Antecipadas

Modelos em loop demonstram melhor eficiência ao utilizar saídas antecipadas em comparação com transformadores padrão.

Limites de Loop como Pontos de Saída: Como as camadas no final de um loop são idênticas às camadas que produzem a saída final, os limites do loop servem como pontos de saída superiores.
Convergência Mais Rápida: A análise da Divergência de Jensen-Shannon (JSD) revela que modelos em loop convergem para distribuições de saída próximas à final muito mais cedo do que modelos não em loop. Ao final da primeira iteração de loop, a maioria dos tokens atingiu previsões estáveis.
Ganhos de Eficiência: Em um alvo de economia de 10% de FLOPs, modelos em loop mantêm perplexidade significativamente menor em comparação com seus contrapartes não em loop. Notavelmente, o benefício é atribuído à própria arquitetura de loop e não ao componente MoE, pois modelos em loop densos também superam as bases MoE em eficiência de saída antecipada.

3. Impacto do Aumento do Looping

O estudo investiga o aumento do número de loops (por exemplo, configurações $4 \times 4$ e $2 \times 8$ ). Os resultados indicam que mais loops geralmente produzem compensações computação-qualidade estritamente melhores para modelos Em Loop-MoE. Isso se deve ao aumento da frequência de pontos de saída de alta qualidade onde a saída convergiu suficientemente.

Significado e Implicações Práticas

O artigo conclui que substituir FFNs densas por camadas MoE top-k em LMs em loop é uma mudança arquitetural crítica. Essa abordagem oferece um caminho claro para modelos de linguagem que são:

Mais baratos de armazenar: Alcançando precisão competitiva com menos parâmetros armazenados.
Mais rápidos de executar: Permitindo economias significativas de inferência através de saídas antecipadas sem treinamento nos limites do loop.
Escaláveis: Superando o desempenho historicamente inferior de arquiteturas em loop ao abordar o gargalo de expressividade das camadas densas.

Os autores posicionam o Em Loop-MoE como uma solução prática para escalonamento, observando que, embora os resultados de saída antecipada demonstrem economias teóricas de computação, os ganhos de throughput de ponta a ponta em configurações auto-regressivas otimizadas permanecem um assunto para validação futura. O estudo é modesto em escopo, confiando na transferência µP para prever desempenho em maior escala e reconhecendo que extensões de escalonamento de profundidade não foram exploradas devido a restrições de computação.