🤖 machine learning

Toeplitz MLP Mixers are Low Complexity, Information-Rich Sequence Models

O artigo apresenta o Misturador MLP de Toeplitz (TMM), uma arquitetura semelhante ao transformer que substitui a atenção por multiplicação de matriz de Toeplitz com máscara triangular para alcançar complexidade subquadrática, ao mesmo tempo que demonstra eficiência superior no treinamento, retenção de informações e desempenho de aprendizado em contexto em comparação com outros modelos subquadráticos.

Autores originais: Benjamin L. Badger, Ethan Roland

Publicado 2026-05-11

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Benjamin L. Badger, Ethan Roland

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Problema: O Gargalo da "Biblioteca de Babel"

Imagine que você está tentando escrever uma história, mas precisa ler toda a sua história desde a primeira palavra cada vez que quiser adicionar uma nova frase. Se sua história for curta, isso é fácil. Mas se sua história for um romance inteiro, reler tudo de novo para cada nova palavra leva uma eternidade.

Isso é exatamente o problema dos modelos de IA de ponta atuais (chamados de Transformers). Eles usam um mecanismo chamado "atenção" que permite olhar para cada palavra anterior para decidir a próxima. Embora poderoso, isso fica incrivelmente lento e consome muita memória conforme o texto fica mais longo. É como tentar encontrar um livro específico em uma biblioteca onde você precisa verificar cada livro em cada prateleira antes de poder pegar um.

A Nova Solução: O "Misturador Toeplitz"

Os autores introduzem um novo modelo chamado Misturador MLP Toeplitz (TMM). Pense nisso como uma nova maneira de organizar essa biblioteca.

Em vez de verificar cada livro individualmente, o TMM usa um padrão especial e repetitivo (matematicamente chamado de matriz Toeplitz) para organizar as informações.

A Analogia: Imagine uma esteira rolante em uma fábrica. Em um modelo padrão, um trabalhador precisa percorrer toda a linha para pegar uma peça específica. No TMM, as peças estão dispostas em um padrão repetitivo e previsível. O trabalhador pode usar um atalho (um truque matemático chamado Transformada Rápida de Fourier) para pegar exatamente o que precisa instantaneamente, independentemente do comprimento da linha.
O Resultado: Isso torna o modelo muito mais rápido e usa menos memória, especialmente quando está lendo um prompt longo pela primeira vez (como preencher previamente um documento).

A Surpresa: Velocidade Não Significa "Burro"

Geralmente, quando você torna um modelo de computador mais rápido simplificando como ele analisa os dados, ele fica "mais burro". Começa a esquecer coisas.

Modelos de "Espaço de Estado": Outros modelos rápidos (como o Mamba) tentam ser eficientes mantendo um único "resumo" de tudo o que leram até agora. É como tentar lembrar de um livro de 500 páginas lembrando apenas da última frase. Isso é rápido, mas o modelo frequentemente esquece detalhes.
A Vantagem do TMM: O TMM não depende de um único resumo. Ele mantém o "padrão" de todo o texto acessível.
- O Teste de Cópia: Os autores testaram isso pedindo aos modelos que copiassem uma longa lista de números ou palavras.
- O Resultado: Enquanto os modelos de "resumo" (Mamba) lutavam para lembrar a lista, o TMM conseguia copiá-la quase perfeitamente, assim como os Transformers lentos e pesados. Ele retinha as informações muito melhor do que outros modelos rápidos.

Por Que Isso Funciona? (A Teoria dos "Sem Vieses")

O artigo sugere que outros modelos rápidos têm "vieses" ou hábitos embutidos. Por exemplo, eles podem ser programados para prestar atenção extra às palavras mais recentes e ignorar as mais antigas.

A Analogia: Imagine um aluno que estuda apenas o último capítulo de um livro didático porque acha que é o mais importante. Ele pode passar em um teste sobre o último capítulo, mas falhar se for perguntado sobre o início.
O TMM: O TMM não tem esse viés. Ele trata o padrão do texto de forma uniforme. Como não se força a esquecer informações antigas, ele naturalmente mantém mais detalhes, levando a um melhor desempenho em tarefas como encontrar fatos específicos em um documento longo ou seguir instruções complexas.

A "Magia" da Invertibilidade

Os autores fizeram uma análise matemática profunda (usando algo chamado "teoria do índice de operador") e descobriram um fato contra-intuitivo:

Embora o TMM seja projetado para processar informações de uma maneira que deveria perder alguns detalhes (porque é um modelo "causal" que só olha para frente), a matemática mostra que suas camadas internas são, na verdade, muito próximas de serem reversíveis.
A Analogia: Imagine uma máquina que tritura papel. Geralmente, você não consegue recuperar o papel. Mas o TMM é como uma trituradora que corta o papel em tiras que ainda estão perfeitamente alinhadas. Se você tiver a ferramenta certa, pode colá-las de volta quase perfeitamente. Isso sugere que o modelo está mantendo muito bem a "forma" da informação original, mesmo enquanto a processa.

O Problema (Limitações)

O artigo é honesto sobre o que o TMM ainda não consegue fazer:

Escala: Eles testaram modelos que são relativamente pequenos (20 a 300 milhões de parâmetros). Ainda não sabemos se isso funciona para os modelos massivos usados pelas grandes empresas de tecnologia hoje.
Gerar Uma Palavra de Cada Vez: Embora o TMM seja super rápido ao ler um prompt longo (a fase de "preenchimento prévio"), assim que começa a gerar texto uma palavra de cada vez, ele desacelera para a mesma velocidade dos antigos Transformers. É rápido no início, mas não necessariamente rápido na linha de chegada.

Resumo

O Misturador MLP Toeplitz é um novo tipo de arquitetura de IA que usa um truque matemático inteligente para ler textos longos rapidamente sem esquecer os detalhes. Ele prova que você não precisa sacrificar a "memória" para obter "velocidade". Ele age como um bibliotecário que usa um sistema de arquivamento inteligente para encontrar livros instantaneamente, em vez de um bibliotecário que tenta memorizar toda a biblioteca em sua cabeça.

Resumo Técnico: Misturadores MLP Toeplitz como Modelos de Sequência de Baixa Complexidade e Ricos em Informação

1. Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) baseados em Transformers são fundamentalmente limitados pela complexidade temporal ( $O(n^2)$ ) e espacial quadrática dos mecanismos de autoatenção. Embora várias tentativas tenham sido feitas para reduzir essa complexidade para níveis subquadráticos ou lineares (por exemplo, linearização da atenção, modelos de espaço de estado como Mamba), essas abordagens frequentemente introduzem trade-offs significativos. Especificamente, modelos de complexidade linear sofrem frequentemente com redução na eficiência de treinamento, instabilidade numérica e uma incapacidade marcada de reter informações de entrada. Esse déficit de retenção de informação manifesta-se como desempenho pobre em tarefas que exigem cópia precisa, aprendizado em contexto e recuperação de contexto longo, que são marcas registradas das capacidades modernas de LLMs. O desafio central é reduzir a complexidade computacional sem impor restrições severas ao acesso à informação dos tokens que degradam essas capacidades emergentes.

2. Metodologia: O Misturador MLP Toeplitz (TMM)

Os autores introduzem o Misturador MLP Toeplitz (TMM), uma arquitetura semelhante a Transformers que substitui a autoatenção pela multiplicação de matrizes Toeplitz com máscara triangular sobre a dimensão da sequência.

Arquitetura Central

Parametrização Toeplitz: Diferentemente dos Misturadores MLP padrão, onde os pesos de mistura de tokens são matrizes arbitrárias, os TMMs parametrizam esses pesos como matrizes Toeplitz. Em uma matriz Toeplitz, todos os valores em uma dada diagonal são idênticos, permitindo que toda a matriz seja representada por um único vetor (a primeira linha e coluna).
Mascaramento Causal: Para impor causalidade na previsão do próximo token, a matriz de pesos materializada é mascarada triangularmente. Na implementação, as ativações são multiplicadas à esquerda por essa matriz Toeplitz mascarada ( $T'$ ), que é triangular superior.
Cálculo via FFT: Ao incorporar a matriz Toeplitz em uma matriz circulante, os autores aproveitam a Transformada Rápida de Fourier (FFT) para calcular o produto matriz-vetor. Isso reduz a complexidade computacional de $O(n^2)$ para $O(dn \log n)$ durante o treinamento e o preenchimento (prefill) de inferência, com complexidade espacial de $O(dn)$.
Variantes Multi-Cabeça e Multi-Núcleo: A arquitetura suporta configurações multi-cabeça onde matrizes Toeplitz independentes são aplicadas a dimensões de cabeças projetadas. Além disso, variantes de "núcleo" permitem a mistura ao longo de um número limitado de elementos de dimensão oculta, análogo a convoluções 1D.

Fundamentos Teóricos

O artigo analisa os TMMs através da lente da teoria do índice de operadores. Especificamente, examina o índice de Fredholm das camadas Toeplitz treinadas. Os autores observam que, embora os TMMs não sejam estritamente invertíveis sobre todos os possíveis inputs, as camadas causais TMM treinadas frequentemente exibem índices (especificamente -1) que se assemelham a operadores de deslocamento, sugerindo um mecanismo para deslocamento sequencial de informação que difere dos vieses encontrados em outras arquiteturas.

3. Principais Contribuições e Afirmações

O artigo faz três afirmações principais sobre a eficácia dos TMMs em comparação com outras arquiteturas subquadráticas (como Hyena, Mamba e Transformers com atenção em janela):

Eficiência de Treinamento: Sob condições de computação constantes, os TMMs alcançam perdas de avaliação semelhantes ou inferiores em comparação com outros modelos subquadráticos. Eles demonstram taxas de convergência superiores em relação a baselines de complexidade linear como Hyena e Mamba.
Preservação de Informação: Os TMMs retêm significativamente mais informação de entrada do que modelos subquadráticos comparáveis. Isso é evidenciado por:
- Extração de Informação: Maior fidelidade na regeneração de sequências de entrada a partir do estado oculto final.
- Capacidade de Cópia: Os TMMs aproximam-se ou excedem a eficiência de treinamento em tarefas de cópia de Transformers de complexidade quadrática, uma tarefa onde os modelos Mamba e Hyena geralmente lutam.
- Capacidade de Informação: Quando treinados explicitamente para maximizar a retenção de informação, os TMMs exibem uma capacidade informacional maior do que modelos Hyena ou Mamba, mesmo exigindo significativamente menos computação (1/2 a 1/8) para treinar.
Desempenho em Benchmarks: Devido à superior retenção de informação, os TMMs superam outros modelos de baixa complexidade em benchmarks que exigem representação precisa de entrada, como Recuperação de Informação (IR) e Aprendizado em Contexto (ICL), mantendo paridade em tarefas gerais de compreensão de linguagem.

4. Resultados Experimentais

Os autores treinaram modelos em um subconjunto de 10 bilhões de tokens do FineWeb-edu e os avaliaram contra Transformers, Mamba 2 e modelos Hyena.

Eficiência de Treinamento: Os TMMs convergiram mais rápido do que os modelos Hyena e Mamba quando equiparados em computação e memória. Os autores observam que implementações de atenção linear sofreram de instabilidade numérica e convergência lenta, levando-os a focar nos TMMs.
Tarefa de Cópia: Em uma tarefa exigindo que os modelos copiassem 512 tokens da entrada para a saída, os TMMs alcançaram eficiência de treinamento comparável à dos Transformers. Notavelmente, um TMM com 1/32 da dimensão do modelo ( $d_m$ ) de um modelo Hyena alcançou eficiência de cópia quase idêntica. O estudo descobriu que parâmetros Toeplitz treináveis eram críticos; congelar essas matrizes resultou em falha total na cópia, enquanto projeções de cabeças treináveis sozinhas foram insuficientes.
Benchmarks:
- IR/ICL: Os TMMs superaram o Hyena em SQuAD, SQuAD v2, LongBench e IFEval.
- Tarefas Gerais: Os TMMs desempenharam em par com Hyena e Transformers em tarefas como ARC-Easy, GLUE e HellaSwag.
Estudos de Ablação: Os autores descobriram que o uso de duas camadas Toeplitz sequenciais separadas por não-linearidade (estilo padrão de misturador MLP) foi menos eficiente do que uma única camada. Além disso, aumentar o número de cabeças melhorou a convergência assintótica, enquanto aumentar o tamanho do núcleo além de um certo ponto reduziu a eficiência.

5. Significado e Limitações

Significado

O artigo argumenta que o TMM oferece um "caminho simples, livre de atenção" para eficiência competitiva de treinamento e decodificação rápida. Seu significado principal reside em demonstrar que modelos de baixa complexidade não requerem inerentemente vieses arquitetônicos severos (como viés de recência ou seletividade de espaço de estado) que degradam a retenção de informação. Ao usar parametrização Toeplitz explícita, o modelo evita a "lacuna de cópia" vista em Mamba e Hyena, sugerindo que padrões de acesso estruturados (Toeplitz) podem preservar as capacidades ricas em informação dos Transformers sem o custo quadrático durante a fase de preenchimento (prefill).

Os autores também destacam uma descoberta teórica contra-intuitiva: camadas causais TMM treinadas, que são não-invertíveis sobre todo o seu espaço de entrada, frequentemente possuem índices de Fredholm mais próximos de zero (ou especificamente -1, atuando como operadores de deslocamento) do que modelos explicitamente treinados para invertibilidade (como autoencoders). Isso sugere que a "invertibilidade" de uma camada em um modelo causal é menos sobre reversibilidade matemática e mais sobre a preservação do fluxo de informação através do deslocamento.

Limitações

Os autores reconhecem explicitamente várias limitações:

Escala: Os experimentos foram conduzidos em modelos variando de 20M a 300M parâmetros treinados em ~13-26B tokens. Não há garantia de que essas descobertas escalem para modelos treinados em ordens de magnitude mais de computação.
Inferência Autoregressiva: Embora os TMMs sejam $O(dn \log n)$ durante o preenchimento (prefill), eles retornam à complexidade $O(n^2)$ para geração autoregressiva assim que o primeiro token é computado (como as linhas da matriz de entrada devem ser armazenadas em cache e processadas sequencialmente). Assim, os TMMs oferecem um tempo menor até o primeiro token para prompts longos, mas não aceleram a geração de tokens subsequentes em comparação com Transformers.
Espaço de Configuração: O estudo testou um número limitado de configurações arquitetônicas devido ao número exponencial de combinações possíveis de hiperparâmetros.

Em conclusão, o TMM representa uma direção promissora para modelagem de sequências que equilibra eficiência computacional com a alta retenção de informação necessária para tarefas complexas de raciocínio e recuperação, desde que o gargalo de inferência da geração autoregressiva seja gerenciado.