🤖 machine learning

Structured Recurrent Mixers for Massively Parallelized Sequence Generation

Este artigo apresenta o Misturador Recorrente Estruturado (SRM), uma arquitetura inovadora que permite a conversão algébrica entre o treinamento paralelo e a inferência recorrente para alcançar eficiência de treinamento, capacidade de informação e vazão de inferência superiores em comparação com modelos existentes de complexidade linear, ao mesmo tempo que demonstra ganhos significativos de desempenho tanto em benchmarks padrão quanto em tarefas de aprendizado por reforço.

Autores originais: Benjamin L. Badger

Publicado 2026-05-12

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Benjamin L. Badger

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Problema: A "Linha de Montagem" vs. A "Biblioteca"

Imagine que você está tentando escrever uma história, uma palavra de cada vez.

Escola Antiga (Modelos Recorrentes): Pense nisso como um único escritor sentado em uma mesa. Ele escreve uma palavra, lembra dela, escreve a próxima e assim por diante. Ele é muito eficiente em lembrar a história conforme avança (baixo uso de memória), mas só pode escrever uma palavra de cada vez. Se você quiser 100 histórias escritas, terá que esperar o escritor terminar uma antes de começar a próxima.
Padrão Moderno (Transformers): Pense nisso como uma biblioteca massiva onde você pode consultar todas as palavras de uma história de uma só vez. Isso é ótimo para treinamento porque você pode ler o livro inteiro em paralelo. No entanto, quando chega a hora de escrever a história (inferência), a biblioteca fica congestionada. Para escrever a próxima palavra, a biblioteca precisa reescanear todo o livro que você escreveu até agora para encontrar o contexto. À medida que a história fica mais longa, a biblioteca fica mais lenta e mais lenta, e precisa de uma quantidade enorme de espaço (memória) para guardar todos esses livros.

O Dilema: Queremos a velocidade da biblioteca para treinamento, mas a eficiência do único escritor para gerar texto.

A Solução: O "Misturador Recorrente Estruturado" (SRM)

O autor introduz uma nova arquitetura chamada Misturador Recorrente Estruturado (SRM). Você pode pensar no SRM como um camaleão ou um transformer (no sentido de super-herói, não no sentido de IA) que pode mudar de forma dependendo do que está fazendo.

Durante o Treinamento (Modo Biblioteca): Quando o modelo está aprendendo, ele age como a biblioteca massiva. Ele olha para toda a sequência de palavras de uma só vez. Isso torna o aprendizado rápido e estável.
Durante a Inferência (Modo Escritor): Quando o modelo está realmente gerando texto, ele muda instantaneamente para ser o único escritor. Ele não precisa reescanear todo o livro; apenas mantém um "caderninho" (cache) minúsculo e de tamanho constante do que acabou de escrever. Isso o torna incrivelmente rápido e permite que ele lide com muitas histórias ao mesmo tempo.

O truque mágico é que a matemática por trás do SRM permite que ele alterne entre esses dois modos algebricamente. É como ter um projeto que diz: "Se estamos construindo, usamos estes tijolos; se estamos morando nele, usamos estas paredes", sem precisar demolir o prédio e reconstruí-lo.

Por Que Isso Importa: O "Lote" vs. O "Comprimento"

O artigo faz uma observação crucial sobre como devemos escalar a IA:

Escalar o Comprimento (A História): O artigo argumenta que tentar fazer esses modelos de "único escritor" lerem livros infinitamente longos é uma má ideia. Eventualmente, a memória do escritor (o caderninho) fica cheia demais, e ele começa a esquecer detalhes. É como tentar lembrar de um romance de 1.000 páginas em um caderno de 1 página; você perderá informações.
Escalar o Lote (A Multidão): No entanto, esses modelos são incríveis em lidar com muitas histórias diferentes ao mesmo tempo. Como eles não precisam de uma biblioteca enorme para cada história, você pode ter 100 escritores trabalhando em paralelo em 100 histórias diferentes sem que eles tropecem uns nos outros.

A Analogia: Imagine uma cafeteria.

Transformers são como uma loja com uma única máquina de espresso gigante que leva 10 minutos para preparar um único latte, mas pode preparar 100 xícaras de uma vez se você tiver um balcão enorme. À medida que o pedido fica mais complexo, a máquina fica mais lenta.
SRMs são como uma loja com 100 baristas manuais simples e rápidos. Cada barista prepara uma xícara rapidamente e lembra da receita na cabeça. Você não pode preparar um pedido de 100 xícaras em um único barista (memória demais), mas pode atender 1.000 clientes simultaneamente usando 1.000 baristas diferentes.

Os Resultados: Velocidade e Volume

O artigo testou essa nova arquitetura e encontrou alguns números impressionantes:

Velocidade: Em hardware padrão, o SRM foi 12 vezes mais rápido na geração de texto do que um Transformer padrão.
Concorrência: Ele pôde lidar com 170 vezes mais solicitações simultâneas (usuários) do que um Transformer.
Precisão: Mesmo sendo tão rápido e lidando com tantas solicitações, ele não perdeu sua inteligência. Em testes de matemática (GSM8k), ele na verdade resolveu cerca de 30% mais problemas do que um Transformer quando recebeu a mesma quantidade de poder de computador.

O "Twist" do "Aprendizado por Reforço"

O artigo também examinou como isso ajuda no Aprendizado por Reforço (ensinar IA por tentativa e erro).

Imagine que você está ensinando um cachorro a buscar.

Abordagem Padrão: Você manda o cachorro sair uma vez. Se ele falhar, você tenta novamente.
Abordagem SRM: Como o SRM é tão rápido, você pode mandar 50 cachorros ao mesmo tempo. Você verifica quais pegaram a bola e recompensa apenas os vencedores.

O artigo descobriu que, ao gerar muitas amostras de uma vez e usar um truque especial de "reamostragem" (garantindo que você tenha exemplos "bons" suficientes para aprender), o SRM aprendeu muito melhor do que modelos que tentaram apenas algumas vezes.

Resumo

O Misturador Recorrente Estruturado é um novo design de IA que pega o melhor dos dois mundos:

Ele aprende eficientemente como um computador paralelo moderno.
Ele gera texto eficientemente como um escritor simples e leve em memória.
Ele é construído para lidar com multidões massivas de usuários simultaneamente, o que está se tornando mais importante à medida que a IA avança de "uma grande resposta" para "muitas respostas rápidas".

O artigo conclui que, embora frequentemente tentemos tornar a IA mais inteligente fazendo-a ler livros mais longos, devemos, em vez disso, focar em torná-la mais rápida ao lidar com muitas tarefas diferentes ao mesmo tempo, e o SRM é a ferramenta perfeita para esse trabalho.

Resumo Técnico: Misturadores Recorrentes Estruturados para Geração de Sequências Massivamente Paralelizada

Declaração do Problema

O campo da modelagem de linguagem deslocou-se de arquiteturas recorrentes (RNNs, LSTMs) para modelos não recorrentes e paralelos em sequência (Transformers) para alcançar eficiência e estabilidade no treinamento. No entanto, essa mudança incorre em um custo significativo durante a inferência: os Transformers exigem memória $O(n)$ e geração sequencial de tokens, levando a uma menor taxa de transferência e concorrência de inferência em comparação com modelos recorrentes. Por outro lado, embora os modelos recorrentes ofereçam memória $O(1)$ por amostra e geração sequencial eficiente, historicamente lutam com eficiência e estabilidade no treinamento e frequentemente falham em escalar efetivamente para comprimentos de contexto longos devido aos limites de compressão de informações.

Abordagens híbridas (por exemplo, Mamba, Redes Delta com Portões) tentam preencher essa lacuna, mas frequentemente dependem de kernels especializados de dispositivo e ainda enfrentam problemas de escalabilidade de cache. Além disso, para tarefas onde as saídas podem ser rapidamente verificadas (por exemplo, geração de código, provas matemáticas), o paradigma de "precisão por computação" sugere que gerar muitas amostras a partir de modelos menores e mais rápidos pode ser mais eficiente do que gerar menos amostras a partir de modelos maiores e mais precisos. O artigo postula que os modelos recorrentes são inadequados para escalar o comprimento da sequência para entradas ricas em informações, mas são idealmente adequados para escalar na dimensão do lote (amostra) devido ao seu tamanho de memória constante por amostra.

Metodologia: Misturadores Recorrentes Estruturados (SRMs)

Os autores introduzem o Misturador Recorrente Estruturado (SRM), uma arquitetura projetada para converter algebricamente entre uma representação paralela em sequência (para treinamento) e uma representação recorrente (para inferência), sem exigir kernels especializados ou gerenciamento de memória específico de dispositivo.

Arquitetura Central

Os SRMs baseiam-se no Misturador Mascarado, uma arquitetura semelhante a Transformers onde a atenção é substituída por Perceptrons Multicamada (MLPs) mascarados. A inovação principal reside na parametrização das matrizes de mistura de tokens:

Mapeamento de Características Qualitativas: A análise de Misturadores Mascarados treinados revelou que as matrizes de mistura de tokens eficientes exibem características qualitativas específicas: colunas com valores quase idênticos, linhas com valores quase idênticos e decaimento de pesos aumentando com a distância da diagonal principal.
Restrições Estruturais: Para permitir a conversão algébrica para uma forma recorrente, os SRMs restringem as matrizes de mistura de tokens a estruturas de repetição de linha ou repetição de coluna.
- Repetição de Linha: As linhas contêm elementos idênticos.
- Repetição de Coluna: As colunas contêm elementos idênticos.
- Decaimento: Uma constante de decaimento treinável $\lambda$ é aplicada aos elementos da diagonal ou fora da diagonal para gerenciar a retenção de informações.
Conversão Algébrica: Essas restrições permitem que a multiplicação de matrizes $Y = XM + B$ seja reescrita como uma operação recorrente de memória fixa (Equação 2 e 3 no artigo). O estado oculto recorrente (cache) torna-se um termo de soma simples, exigindo apenas memória constante ( $O(d)$ ) independentemente do comprimento da sequência.
Cabeças Híbridas: A arquitetura emprega cabeças "mistas", onde metade das cabeças usa matrizes de repetição de linha e metade usa matrizes de repetição de coluna, combinadas por meio de projeções lineares. Essa configuração foi encontrada como oferecendo o melhor equilíbrio entre eficiência de treinamento e retenção de informações.

Treinamento e Inferência

Treinamento: Os SRMs são treinados usando paralelismo em sequência (deslocamento de tokens) semelhante aos Transformers. A complexidade quadrática no momento do treinamento é efetivamente ocultada por sobrecargas de transferência de memória, tornando-os comparáveis em taxa de transferência aos Transformers para comprimentos de contexto padrão.
Inferência: O modelo alterna para uma representação recorrente onde os tokens são gerados um por um, atualizando um cache de tamanho constante. Isso elimina a necessidade de grandes caches KV, reduzindo drasticamente os requisitos de largura de banda de memória.

Contribuições Principais

Mapeamento de Características Qualitativas: Um método para mapear as operações de mistura de tokens de modelos de complexidade quadrática para modelos recorrentes de complexidade linear, impondo estruturas de repetição de linha/coluna e decaimento.
Design de Arquitetura Dual: Uma arquitetura que suporta paralelismo em sequência durante o treinamento e paralelismo em lote durante a inferência, permitindo conversão algébrica entre os dois sem alterar parâmetros do modelo ou estruturas de cache.
Motor de Inferência Otimizado: Implementação de SRMs usando o framework Mojo/MAX, demonstrando ganhos de desempenho significativos sobre implementações padrão em PyTorch.
Reamostragem Balanceada para RL: Um método de reamostragem para Otimização de Política Relativa de Grupo (GRPO) que mantém a exploração em aprendizado por reforço de grande lote, garantindo uma mistura de amostras "boas" e "ruins" no lote de treinamento.

Resultados Experimentais

Eficiência de Treinamento

Os SRMs são ligeiramente menos eficientes para treinar do que Transformers $O(n^2)$ e Misturadores Mascarados em uma base por parâmetro, mas são mais eficientes do que modelos Mamba em diversos conjuntos de dados (FineWeb-edu, FineMath).
Ao contrário dos modelos Mamba, que sofrem quedas significativas de taxa de transferência em hardware mais antigo (por exemplo, V100s), os SRMs desempenham consistentemente em diferentes arquiteturas de GPU.

Desempenho em Benchmarks

Precisão: Em benchmarks equivalentes em computação (IFEval, SQuAD, GSM8k, etc.), os Transformers geralmente lideram os benchmarks. Os SRMs superam os modelos Mamba na maioria das tarefas, mas geralmente ficam atrás dos Transformers em precisão de amostra única.
Retenção de Informações: Os SRMs exibem maior retenção de informações e capacidade do que os modelos Mamba, comparáveis a modelos de complexidade quadrática. No entanto, como todos os modelos recorrentes, enfrentam perda de informações quando os comprimentos de contexto excedem seus limites de compressão.

Taxa de Transferência e Concorrência de Inferência

Taxa de Transferência: Os SRMs demonstram melhorias massivas na taxa de transferência em relação aos Transformers devido à redução na transferência de memória.
- Em PyTorch (V100): Os SRMs alcançam uma taxa de transferência 9,66x a 43,29x maior do que os Transformers, dependendo do comprimento do contexto.
- Em Mojo/MAX (H100): Os SRMs alcançam 12x a taxa de transferência dos Transformers inferidos via vLLM.
Concorrência: Os SRMs suportam lotes significativamente maiores.
- Em Mojo/MAX (H100): Os SRMs alcançam 170x a concorrência dos Transformers.
- Comparado ao Mamba: Os SRMs mostram >500x mais concorrência e ~7x mais taxa de transferência do que modelos Mamba de poder equivalente.

Aprendizado por Reforço e Saídas Verificáveis

Escala Pass@k: Para GSM8k, os SRMs seguem uma lei de potência Pass@k semelhante à dos Transformers.
Eficiência Computacional: Devido ao aumento de 10-30x na taxa de transferência, os SRMs podem gerar muitas mais amostras para o mesmo orçamento computacional. O artigo relata um aumento de 30% no Pass@k do GSM8k para SRMs em comparação com Transformers quando a computação é mantida constante.
Treinamento RL: Usando reamostragem balanceada, os SRMs treinados com GRPO em grandes lotes (50 amostras) alcançam maior precisão de amostra única e melhor exploração do que os Transformers treinados em pequenos lotes (5 amostras).

Significado e Alegações

O artigo conclui que, embora os modelos recorrentes sejam pouco adequados para escalar o comprimento da sequência para entradas densas em informações, eles são excepcionalmente adequados para escalar na dimensão do lote. A arquitetura SRM preenche com sucesso a lacuna entre a eficiência de treinamento de modelos quadráticos e a eficiência de inferência de modelos recorrentes.

Os autores afirmam que os SRMs oferecem um caminho viável para paradigmas de "precisão por computação", particularmente para tarefas com verificação rápida. Ao aproveitar a pegada de memória constante dos modelos recorrentes, os SRMs podem explorar as limitações da "parede de memória" do hardware moderno de forma mais eficaz do que os Transformers, alcançando melhorias de ordem de magnitude na taxa de transferência e concorrência sem a necessidade de kernels especializados. O trabalho sugere que, para as tendências futuras de hardware multithread, arquiteturas como os SRMs que maximizam as operações aritméticas em relação aos acessos à memória se tornarão cada vez mais dominantes.