🤖 machine learning

Fast and Expressive Multi-Byte Prediction with Probabilistic Circuits

Este artigo apresenta o MTPC, uma estrutura baseada em circuitos probabilísticos para predição de múltiplos tokens que otimiza o equilíbrio entre expressividade e latência ao codificar distribuições conjuntas sobre tokens futuros, acelerando significativamente a geração de LLMs em nível de bytes e subpalavras enquanto preserva o desempenho do modelo original.

Autores originais: Andreas Grivas, Lorenzo Loconte, Emile van Krieken, Piotr Nawrot, Yu Zhao, Euan Wielewski, Pasquale Minervini, Edoardo Ponti, Antonio Vergari

Publicado 2026-06-03

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Andreas Grivas, Lorenzo Loconte, Emile van Krieken, Piotr Nawrot, Yu Zhao, Euan Wielewski, Pasquale Minervini, Edoardo Ponti, Antonio Vergari

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando escrever uma história, mas tem uma regra muito rígida: você só pode escrever uma letra de cada vez. Toda vez que você digita uma letra, tem que parar, pensar e perguntar ao seu cérebro superinteligente (a IA) o que vem a seguir. É assim que a maioria dos Grandes Modelos de Linguagem (LLMs) atuais funciona. É preciso, mas é incrivelmente lento, especialmente se você estiver escrevendo em "bytes" (os blocos de construção brutos do texto) em vez de palavras inteiras, porque você tem que digitar milhares de letras para escrever uma única frase.

O artigo apresenta um novo método chamado MTPC (Circuitos de Predição Multi-Token) para resolver esse problema de velocidade sem perder a qualidade da história.

Veja como funciona, usando algumas analogias do cotidiano:

1. O Problema: O "Jogo de Adivinhação" vs. O "Bola de Cristal"

Para acelerar as coisas, os pesquisadores tentaram um truque chamado Predição Multi-Token (MTP). Em vez de adivinhar uma letra, a IA tenta adivinhar um bloco inteiro de letras de uma vez (como adivinhar as próximas 8 letras de uma palavra).

O Jeito Antigo (Suposição de Independência): Imagine que você está adivinhando as próximas 8 letras de uma palavra, mas trata cada letra como se não tivesse relação com as outras. Você adivinha a primeira letra, depois a segunda, depois a terceira, ignorando completamente que, se a primeira for "C", a segunda dificilmente será "Z".
- O Resultado: Isso é rápido, mas leva ao absurdo. Você pode obter "Cretoria" em vez de "Pretoria" ou "Craporia" porque o modelo não percebeu que aquelas letras deveriam se encaixar. É como tentar construir uma casa escolhendo tijolos aleatoriamente sem verificar se eles se encaixam.
O Novo Jeito (MTPC): Os autores dizem: "Vamos parar de adivinhar letras isoladamente. Vamos adivinhar o bloco inteiro como um grupo conectado". Eles usam uma ferramenta matemática chamada Circuito Probabilístico.
- A Analogia: Pense no jeito antigo como uma fila de pessoas passando um bilhete, onde cada uma sussurra uma palavra aleatória. O novo jeito é como um regente liderando uma orquestra. O regente (o circuito) sabe que, se o primeiro instrumento toca um acorde de Dó Maior, os próximos instrumentos devem tocar notas que se encaixem nesse acorde. Ele entende as dependências entre as letras.

2. O Kit de Ferramentas: O "Arquiteto de Circuitos"

O artigo propõe uma estrutura flexível (MTPC) que permite escolher o quão "conectadas" as letras devem estar. Eles oferecem diferentes "arquiteturas" (formatos de circuito) para equilibrar velocidade e inteligência:

FF (Totalmente Fatorizado): O modo "Adivinhação Aleatória". Rápido, mas burro. (Os membros da orquestra tocam sozinhos).
CP (Polidíaco Canônico): Um "Adivinhação em Grupo". Eles adivinham alguns temas principais e constroem as letras em torno deles. Um pouco mais inteligente.
HMM (Modelo Oculto de Markov): Uma "Reação em Cadeia". A primeira letra influencia a segunda, que influencia a terceira, e assim por diante. Isso é muito inteligente, mas lento, porque você tem que esperar uma terminar antes de começar a próxima.
BTree (Árvore Binária): O "Huddle de Equipe" (reunião rápida). Este é o destaque do artigo. Imagine dividir as 8 letras em dois grupos de 4. O modelo adivinha o primeiro grupo e o segundo grupo ao mesmo tempo, mas eles são ligados por um "líder de equipe" (uma variável oculta) que garante que eles concordem com o tema geral.
- Por que é ótimo: Ele obtém a inteligência da "Reação em Cadeia", mas a velocidade da "Adivinhação Aleatória" porque faz duas coisas ao mesmo tempo.

3. A Rede de Segurança: "Decodificação Especulativa"

Você pode se preocupar: "Se a IA adivinha um bloco inteiro de uma vez, e se ela errar?"

O artigo utiliza uma técnica chamada Decodificação Especulativa.

A Analogia: Imagine um corredor rápido (o Modelo de Rascunho) e um juiz lento e ultrapreciso (o Verificador).
1. O corredor rápido dispara à frente e adivinha as próximas 8 letras.
2. O juiz lento verifica cada uma delas individualmente.
3. Se o juiz concordar com a adivinhação do corredor, ótimo! Mantemos essas letras.
4. Se o juiz discordar, paramos exatamente ali, descartamos as adivinhações ruins e mantemos apenas as que o juiz aprovou.

Como o Modelo de Rascunho (MTPC) é tão bom em entender como as letras se conectam (graças ao circuito BTree), o juiz concorda com o corredor com muito mais frequência do que antes. Isso significa que conseguimos manter mais das adivinhações rápidas, acelerando todo o processo.

4. Os Resultados: Acelerando Sem Quebrar as Coisas

Os autores testaram isso em dois modelos específicos de IA:

EvaByte: Um modelo que já escreve em bytes.
Llama 3.2 3B (Byte): Um modelo popular convertido para escrever em bytes.

As Descobertas:

Aceleração Massiva: Comparado ao método antigo de "uma letra de cada vez", o MTPC tornou o EvaByte 5,15 vezes mais rápido e o Llama 2,24 vezes mais rápido.
Melhor que o Truque da "Independência": Mesmo comparado a outros métodos rápidos que apenas adivinham letras independentemente, o MTPC foi 1,17 vez mais rápido.
Sem Perda de Qualidade: Crucialmente, devido à "Rede de Segurança" (Decodificação Especulativa), a qualidade do resultado final é exatamente a mesma de se a IA tivesse escrito uma letra de cada vez. Não perdemos precisão em troca de velocidade.

Resumo

O artigo apresenta uma nova maneira de tornar a geração de texto por IA mais rápida, ensinando a IA a adivinhar blocos de texto como um grupo conectado, em vez de letras isoladas. Ao usar uma estrutura inteligente de "Árvore Binária" (BTree) para organizar essas adivinhações e um "Juiz" para verificá-las, eles alcançaram um aumento de velocidade massivo (até 5x) enquanto garantem que o texto permaneça perfeito. É como ensinar um digitador a digitar palavras inteiras de uma vez, mas com uma rede de segurança que captura qualquer erro de digitação instantaneamente.

Resumo Técnico: Predição Multibyte Rápida e Expressiva com Circuitos Probabilísticos

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) autorregressivos (AR) geram texto um token por vez, incorrendo em alta latência e custos de energia. Este gargalo é particularmente severo em LLMs de nível de byte, que carecem de tokenizadores, mas requerem significativamente mais etapas de decodificação para gerar o mesmo comprimento de texto em comparação com modelos de subpalavras. Embora a Predição de Múltiplos Tokens (MTP) ofereça uma solução ao prever uma janela de tokens futuros simultaneamente, as abordagens existentes enfrentam um compromisso crítico entre expressividade e eficiência:

Suposições de Independência: Muitos métodos atuais de MTP assumem que os tokens futuros são independentes (Totalmente Fatorizados, FF). Embora eficientes, eles sacrificam a expressividade, levando a continuações de "salada de bytes" (ex: combinações sem sentido de bytes válidos) e baixas taxas de aceitação durante a decodificação especulativa.
Cabeças Autorregressivas Rasas: Métodos alternativos (ex: Hydra, EAGLE) mantêm a geração autorregressiva dentro da janela de predição. Embora mais expressivos, estão mais próximos de uma decodificação AR acelerada do que de um verdadeiro MTP conjunto e não expõem a estrutura de dependência como uma escolha de modelagem ajustável.
Latência vs. Expressividade: Há uma falta de um framework sistemático para navegar pelo espectro entre modelos totalmente fatorizados e distribuições conjuntas complexas sem incorrer em latência proibitiva.

Metodologia: Framework MTPC

Os autores propõem o MTPC (Multi-Token Prediction Circuits), um framework que utiliza Circuitos Probabilísticos (PCs) para parametrizar a distribuição conjunta sobre tokens futuros. O MTPC trata a distribuição conjunta como um grafo computacional tratável que codifica modelos de mistura hierárquicos, permitindo uma exploração sistemática de variantes arquiteturais.

Componentes Principais

Arquiteturas de Circuitos Probabilísticos: O MTPC generaliza métodos existentes e introduz novas estruturas para modelar dependências entre bytes futuros:
- MTPC-FF: Um modelo totalmente fatorizado (equivalente ao MTP independente padrão) representado como um produto de unidades de entrada.
- MTPC-CP: Uma decomposição Canônica de Políadas (CP) que introduz uma variável latente discreta para criar uma mistura de componentes fatorizados, recuperando algumas dependências.
- MTPC-HMM: Uma parametrização de Modelo Oculto de Markov (HMM) usando uma sequência de variáveis latentes para capturar dependências distantes através de matrizes de transição dependentes do tempo.
- MTPC-BTree: Uma nova fatorização de Árvore Binária que codifica uma hierarquia de variáveis latentes. Esta estrutura permite a amostragem paralela de tokens e variáveis latentes, abordando as questões de assimetria e latência encontradas em Hções HMMs.
Parametrização com LLMs:
- O framework utiliza um backbone de LLM (com adaptadores LoRA opcionais) para extrair características contextuais do histórico de entrada.
- Uma cabeça de rede neural mapeia essas características para os parâmetros do PC (distribuições de unidades de entrada e pesos de unidades de soma), criando um circuito condicional neural.
- Isso permite que o modelo abstraia estruturas de circuitos específicas (FF, CP, HMM, BTree) e foque no aprendizado dos parâmetros tensorizados.
Integração de Decodificação Especulativa:
- O MTPC emprega decodificação auto-especulativa, onde o modelo de rascunho (cabeça MTPC) e o verificador (LLM AR) compartilham o mesmo backbone.
- O modelo de rascunho amostra uma janela de tokens em paralelo a partir do PC.
- O verificador aceita ou rejeita esses tokens em paralelo.
- Garantias: O framework garante que a decodificação gulosa produz saídas idênticas ao LLM AR alvo, e que a amostragem corresponde ao alvo em expectativa, garantindo que não haja perda na qualidade de geração.
Dimensões de Compromisso (Trade-off):
- Arquitetura do Circuito: Escolher entre FF, CP, HMM ou BTree para equilibrar a modelagem de dependência e o custo computacional.
- Compartilhamento de Camadas: Ajustar o número de camadas LoRA no modelo de rascunho (0 a 4 camadas) para controlar a divergência entre as representações do rascunho e do verificador, ajustando ainda mais o compromisso expressividade-latência.

Principais Contribuições

Framework MTPC: Introdução de um framework MTP rápido baseado em Circuitos Probabilísticos que relaxa as suposições de independência e generaliza métodos de decomposição tensorial (como CP) em um framework PC unificado.
Análise Sistemática de Compromisso: Identificação rigorosa dos compromissos entre tokens aceitos (expressividade) e latência de geração. O artigo demonstra que o throughput ideal nem sempre é alcançado pelo modelo mais expressivo (ex: HMM), mas sim por arquiteturas como BTree, que oferecem melhor paralelismo.
Validação Empírica: Retroajuste do MTPC em dois LLMs de nível de byte:
- EvaByte (6.5B): Um modelo de nível de byte pré-treinado com capacidades MTP.
- Llama 3.2 3B (Byte): Uma versão "byte-fied" de um modelo de subpalavras popular, não pré-treinado para MTP.

Resultados Experimentais

Os autores avaliaram o MTPC em GPUs NVIDIA L40S e RTX 3090 usando o dataset Tulu 3.

Ganhos de Throughput:
- EvaByte: O MTPC alcançou um ganho de velocidade de 5.15× sobre a geração AR padrão e um ganho de 1.17× sobre o MTP com suposições de independência (FF).
- Llama 3.2 3B: O MTPC alcançou um ganho de velocidade de 2.24× sobre a geração AR e um ganho de 1.17× sobre o FF MTP.
Desempenho da Arquitetura:
- BTree vs. HMM: Embora os HMMs tenham alcançado altas taxas de aceitação, sua natureza autorregressiva introduziu alta latência, resultando em menor throughput geral. As arquiteturas BTree atingiram o equilíbrio ideal, permitindo a amostragem paralela e alcançando o maior throughput, especialmente para janelas maiores ( $n=16$ ).
- Camadas LoRA: Adicionar adaptadores LoRA ao modelo de rascunho aumentou a expressividade (tokens aceitos), mas também a latência. A configuração ideal variou por modelo: 1 camada LoRA foi ideal para o EvaByte, enquanto 2 camadas LoRA beneficiaram o Llama.
Tamanho da Janela: Estender a janela de predição para $n=16$ impulsionou significativamente o throughput para circuitos expressivos (HMM, BTree) em comparação com $n=8$ , especialmente quando combinado com adaptadores LoRA.

Significância e Alegações

O artigo afirma que o MTPC fornece uma maneira sistemática de navegar pelo espectro de variantes arquiteturais de MTP, indo além da escolha binária entre predição independente e cabeças autorregressivas rasas. Ao utilizar Circuitos Probabilísticos, o framework permite aos pesquisadores modelar explicitamente as dependências entre tokens enquanto mantém a tratabilidade.

Os autores enfatizam que esses ganhos de throughput são alcançados sem sacrificar a qualidade de geração, pois o processo de decodificação especulativa garante o alinhamento com o LLM AR alvo. O trabalho sugere que os LLMs de nível de byte, que são frequentemente prejudicados pelo overhead computacional, podem se tornar mais mainstream através dessas estratégias eficientes de predição multi-byte. O framework é apresentado como uma ferramenta flexível para otimizar a eficiência de próxima geração de modelos de nível de byte, com o código e os modelos disponibilizados publicamente.