💬 NLP

Linear-Time and Constant-Memory Text Embeddings Based on Recurrent Language Models

Este artigo propõe o uso de arquiteturas recorrentes, como Mamba2, RWKV e xLSTM, combinadas com uma estratégia de inferência em blocos verticais, para gerar embeddings de texto com complexidade de memória constante e tempo linear, superando as limitações computacionais e de memória dos modelos baseados em Transformers para sequências longas.

Autores originais: Tobias Grantner, Emanuel Sallinger, Martin Flechl

Publicado 2026-04-21

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Tobias Grantner, Emanuel Sallinger, Martin Flechl

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma biblioteca gigante de documentos e precisa encontrar informações específicas rapidamente. Para fazer isso, os computadores usam "resumos digitais" chamados embeddings (ou vetores de texto). Eles transformam palavras em números para que a máquina entenda o significado e a conexão entre frases.

O problema é que os modelos atuais, baseados em uma tecnologia chamada Transformers (a mesma usada no ChatGPT), funcionam como um estudante que precisa ler toda a página de uma vez para entender uma única linha. Se o texto for muito longo (como um livro inteiro), esse estudante precisa de uma memória enorme e demora muito para processar. É como tentar segurar um elefante inteiro na palma da mão: quanto maior o elefante, mais difícil fica.

Os autores deste artigo, da Dynatrace Research e da TU Wien, propuseram uma solução inteligente: usar Modelos Recorrentes (como Mamba2, RWKV e xLSTM) e uma nova estratégia de leitura chamada "Inferência Verticalmente Fragmentada".

Aqui está a explicação simplificada com analogias:

1. O Problema: O Elefante na Sala de Estar

Os modelos antigos (Transformers) tentam olhar para todas as palavras de um texto ao mesmo tempo para criar o resumo.

Analogia: Imagine que você precisa fazer um resumo de um livro de 1.000 páginas. O modelo antigo coloca todas as 1.000 páginas espalhadas na sua mesa de uma só vez. Se a mesa for pequena (memória do computador), o livro não cabe. Se o livro for gigante, a mesa quebra ou você gasta horas organizando tudo.
Consequência: Para textos longos, esses modelos ficam lentos e exigem computadores superpotentes e caros.

2. A Solução: O Leitor Recorrente (Mamba2)

Os autores usaram modelos mais novos (Mamba2, etc.) que funcionam de forma diferente. Eles são como um leitor que avança página por página, mantendo apenas a ideia principal na cabeça.

Analogia: Em vez de espalhar o livro todo na mesa, esse leitor lê uma página, guarda a ideia principal no bolso, descarta a página e lê a próxima. Ele nunca precisa segurar o livro inteiro de uma vez.
Vantagem: O tamanho do "poço" (memória) não importa se o livro tem 10 páginas ou 10.000. A memória usada é sempre a mesma.

3. O Truque de Mestre: A "Fita Vertical" (Inferência Verticalmente Fragmentada)

Aqui está a parte mais criativa do artigo. Mesmo que o leitor seja eficiente, processar um livro gigante página por página, uma de cada vez, ainda pode ser lento. Os autores criaram uma estratégia para acelerar isso sem gastar memória.

Eles chamam isso de "Inferência Verticalmente Fragmentada".

A Analogia da Fábrica de Montagem:
Imagine que você tem uma linha de montagem com várias estações de trabalho (camadas do modelo).
- Método Antigo (Horizontal): Você pega todo o livro, passa por todas as estações de montagem de uma vez só. Para fazer isso, você precisa de espaço enorme para guardar o livro em cada estação.
- Novo Método (Vertical): Você pega apenas um pequeno bloco de páginas (digamos, 50 páginas) e passa esse bloco por todas as estações de montagem antes de pegar o próximo bloco.
- O Segredo: Enquanto o bloco de 50 páginas passa pelas estações, o computador guarda apenas o "resumo" do que foi processado até agora. Assim, ele nunca precisa guardar o livro inteiro na memória, apenas um pedacinho dele.

4. Os Resultados: O Que Isso Significa na Vida Real?

Os autores testaram essa ideia e descobriram coisas incríveis:

Qualidade: Os novos modelos conseguem criar resumos digitais tão bons quanto os modelos antigos e caros. Eles entendem o significado do texto quase tão bem quanto os gigantes do mercado.
Memória Constante: Se você tentar processar um texto de 30.000 palavras, o computador usa a mesma quantidade de memória que usaria para 1.000 palavras. É como se o computador tivesse um "poço infinito" de memória, mas na verdade ele só usa o tamanho de um copo d'água.
Velocidade: Para textos longos, eles são muito mais rápidos e baratos de rodar.

Resumo Final

Pense nisso como a diferença entre tentar carregar um caminhão inteiro de areia de uma vez só (modelo antigo) e usar uma esteira rolante que transporta a areia em pequenas pás, mantendo o caminhão vazio e leve (modelo novo com fragmentação vertical).

Conclusão Simples:
Este trabalho mostra que podemos ter inteligência artificial que entende textos gigantes (como livros inteiros ou longas transcrições de reuniões) sem precisar de supercomputadores caros. Eles tornaram a tecnologia de "resumo de texto" mais rápida, mais barata e acessível para qualquer pessoa ou empresa, especialmente quando lidamos com documentos longos. É um passo gigante para tornar a IA mais eficiente e sustentável.

Resumo Técnico: Embeddings de Texto em Tempo Linear e Memória Constante Baseados em Modelos de Linguagem Recorrentes

1. O Problema

Os modelos de embedding de texto baseados em Transformers são o estado da arte para tarefas de Processamento de Linguagem Natural (PLN), como recuperação de informação e similaridade semântica. No entanto, eles apresentam limitações críticas para documentos longos e ambientes com recursos limitados:

Complexidade Computacional Quadrática: O mecanismo de atenção padrão exige $O(T^2)$ operações, onde $T$ é o comprimento da sequência.
Complexidade de Memória Linear: O consumo de memória cresce linearmente com o comprimento da sequência ( $O(T)$ ), tornando-se proibitivo para documentos muito longos (ex: milhares de tokens) em hardware padrão.
Ineficiência em Contextos Longos: Mesmo com otimizações como FlashAttention ou janelas deslizantes, os Transformers ainda lutam para manter a eficiência e a qualidade em sequências extensas.

Embora arquiteturas recorrentes modernas (como Mamba2, RWKV e xLSTM) ofereçam escalabilidade linear no tempo e uso de memória constante para geração de texto, sua aplicação como geradores de embeddings de propósito geral permanecia pouco explorada.

2. Metodologia

Os autores propõem uma abordagem que combina o treinamento de modelos recorrentes para geração de embeddings com uma nova estratégia de inferência otimizada.

A. Treinamento do Modelo

Base: Utilizam modelos de linguagem pré-treinados baseados em Mamba2 (especificamente Mamba2 1.3B e Codestral Mamba2 7B).
Procedimento: Adaptam a receita de treinamento do E5mistral-7b (baseada em Transformers).
- Removem a cabeça de modelagem de linguagem.
- Usam a representação do token de fim de sequência (EOS) como o embedding do texto.
- Aplicam Fine-tuning Contrastivo com a função de perda InfoNCE para distinguir pares positivos de negativos.
- Incorporam Instruction Tuning (ajuste de instruções) para permitir que o modelo se adapte a diversas tarefas downstream sem treinamento específico para cada tarefa.

B. Estratégia de Inferência: Chunking Vertical (Vertical Chunking)
A contribuição central é uma estratégia de inferência que explora a dualidade das arquiteturas recorrentes modernas (como Mamba2), que podem ser vistas tanto como recorrências lineares quanto como transformações matriciais estruturadas.

Chunking Horizontal (Padrão): Processa a sequência inteira em paralelo dentro de uma camada, mas exige armazenar todas as ativações intermediárias, mantendo o uso de memória linear em relação ao tamanho da entrada.
Chunking Vertical (Proposto):
1. Divide a sequência de entrada em blocos verticais de tamanho fixo $V$ .
2. Processa um bloco vertical inteiro através de todas as camadas do modelo antes de avançar para o próximo bloco.
3. Mantém apenas o estado recorrente de cada camada (constante) e as ativações do bloco atual.
4. Resultado: Para sequências maiores que o tamanho do bloco vertical ( $T > V$ ), o uso de memória torna-se constante em relação ao comprimento da entrada, dependendo apenas da profundidade do modelo e do tamanho do bloco.

3. Principais Contribuições

Validação de Arquiteturas Recorrentes para Embeddings: Demonstram que modelos baseados em Mamba2, RWKV e xLSTM podem ser ajustados para se tornarem embedders de texto de propósito geral, competindo com modelos baseados em Transformers.
Estratégia de Inferência Híbrida: Introduzem o chunking vertical, que permite paralelização intra-bloco (via formulação matricial) e recorrência inter-bloco, equilibrando velocidade e uso de memória.
Eficiência Constante: Estabelecem que, com essa estratégia, o uso de memória de ativação é constante para longas sequências, superando a limitação linear dos Transformers.
Reprodutibilidade: Liberam os checkpoints dos modelos ajustados e a implementação da inferência.

4. Resultados Experimentais

Os modelos foram avaliados nos benchmarks MTEB (Inglês e Multilíngue) e LongEmbed (focado em contextos longos).

Desempenho de Qualidade:
- Os modelos recorrentes (Mamba2) alcançaram desempenho competitivo em relação aos Transformers (Mistral 7B, Qwen2) em tarefas gerais de inglês e multilíngue.
- Em tarefas multilíngues, o Codestral Mamba2 7B superou o Mistral 7B v0.1.
- Em tarefas de recuperação (Retrieval) em inglês, houve uma pequena defasagem (1-2 pontos percentuais), atribuída principalmente à diferença no tamanho e composição dos dados de pré-treinamento (os modelos Mamba2 usados foram pré-treinados com menos dados que os Transformers equivalentes).
- No benchmark LongEmbed (até 32k tokens), os modelos recorrentes mantiveram desempenho comparável aos Transformers.
Eficiência de Inferência (Tempo e Memória):
- Memória: Enquanto os modelos baseados em Transformers mostram crescimento linear no uso de memória à medida que a sequência aumenta, os modelos recorrentes com chunking vertical atingem um teto de memória constante após o tamanho do bloco vertical (ex: 4096 tokens).
- Tempo de Execução: Para sequências longas (>4096 tokens), os modelos recorrentes são significativamente mais rápidos e consomem menos memória que os Transformers.
- Paralelização: A paralelização satura em tamanhos de bloco vertical relativamente pequenos (ex: 4096 tokens para batch size 1), permitindo que o modelo opere com a velocidade de inferência paralela, mas com a eficiência de memória da recorrência.

5. Significado e Conclusão

Este trabalho estabelece as arquiteturas recorrentes modernas como uma alternativa viável e escalável para a geração de embeddings de texto, especialmente em cenários onde:

Documentos Longos: A necessidade de processar textos extensos sem estourar a memória da GPU.
Recursos Limitados: Ambientes com restrições de hardware onde o custo quadrático dos Transformers é proibitivo.
Batch Processing: Processamento em lote de grandes volumes de dados.

A descoberta de que a qualidade dos embeddings pode ser mantida enquanto se reduz drasticamente o custo de memória e tempo para contextos longos abre caminho para uma nova classe de modelos de embeddings eficientes e acessíveis. Os autores sugerem que o uso de modelos base recorrentes pré-treinados com mais dados pode fechar completamente a pequena lacuna de qualidade restante em tarefas de inglês.