💬 NLP

Peek2: Regex-free Byte-level Byte-Pair Encoding Pretokenizer for LLM Inference on Edge Devices

O artigo apresenta o Peek2, um pretokenizador altamente otimizado e sem expressões regulares para BPE em nível de byte, que alcança até 2,48× mais throughput em microtestes e 1,14× mais velocidade de codificação geral em dispositivos de borda, mantendo saída idêntica à dos tokenizadores padrão baseados em cl100k.

Autores originais: Liu Zai, Iraklis Klampanos

Publicado 2026-05-04

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Liu Zai, Iraklis Klampanos

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando enviar uma longa carta a um amigo, mas seu amigo só entende palavras-código curtas e específicas. Antes de poder enviar a carta, você precisa decompor sua frase nessas palavras-código. Esse processo é chamado de tokenização, e é assim que computadores como GPT-3 ou LLaMa entendem a linguagem humana.

O artigo que você está lendo apresenta uma nova ferramenta chamada Peek2. Aqui está como ela funciona, explicada de forma simples:

O Problema: O Engarrafamento do "Regex"

Atualmente, a maioria dos computadores usa um método chamado Regex (Expressões Regulares) para decompor o texto nessas palavras-código. Pense no Regex como um guarda muito rigoroso e complicado na entrada de um clube.

O guarda tem uma lista massiva de regras (Ramificações).
Quando uma pessoa (uma letra) chega, o guarda a verifica contra a Regra 1. Se não se encaixar, o guarda verifica a Regra 2. Se falhar, a Regra 3, e assim por diante.
Esse processo de "verificar, falhar, verificar novamente" é lento, especialmente em dispositivos pequenos e de baixa potência, como laptops ou tablets (dispositivos de borda). É como se o guarda fizesse você esperar enquanto folheia um livro de regras gigante toda vez que alguém se aproxima.

A Solução: O Atalho "Peek2"

Os autores criaram o Peek2, uma nova maneira de realizar essa tarefa que é muito mais rápida e usa menos memória.

Em vez do guarda folhear um livro de regras, o Peek2 usa uma cola (uma tabela de consulta).

O "Olhar" (Peek): Em vez de verificar uma letra de cada vez, o Peek2 olha para duas letras de uma vez (como espiar adiante).
As Categorias: Ele classifica rapidamente essas duas letras em categorias simples (por exemplo: "É um espaço?", "É um número?", "É uma letra?").
A Cola: Como ele só precisa olhar para duas categorias, os autores criaram uma pequena grade 7x7 (como um tabuleiro de Sudoku). Você apenas olha para as duas categorias, encontra o quadrado na grade, e a grade diz instantaneamente exatamente o que fazer a seguir.

A Analogia:

Método Antigo (Regex): Você se aproxima de um labirinto. Você tenta a porta da esquerda. Está trancada. Você tenta a porta da direita. Está trancada. Você tenta a porta dos fundos. Está aberta. Você passa. Depois, você repete isso para cada pessoa na fila.
Método Novo (Peek2): Você se aproxima de uma parede com um único mapa gigante. Você aponta para onde está, e o mapa desenha instantaneamente uma linha até a saída. Sem palpites, sem portas trancadas, apenas um caminho direto.

Por Que Isso Importa?

O artigo afirma que, ao trocar o "labirinto" pelo "mapa", eles tornaram o processo muito mais rápido:

Velocidade: Em alguns testes, foi 2,48 vezes mais rápido apenas na etapa de decomposição.
Geralmente: Quando se considera todo o trabalho de transformar texto em palavras-código, foi cerca de 14% mais rápido no geral.
Precisão: Ele produz os exatamente mesmos resultados que o método antigo. É uma "substituição direta", o que significa que você pode trocar o guarda antigo pelo novo sem mudar nada mais ou quebrar o sistema.

A Pegadinha (Limitações)

O artigo é honesto sobre o que essa ferramenta não faz:

É para dispositivos específicos: Foi testado em computadores desktop. Os autores esperam que funcione em celulares e tablets também, mas ainda não provaram isso.
É para modelos específicos: Funciona para modelos que usam o estilo "cl100k" (como GPT-3 e LLaMa-3). Não corrige magicamente todos os modelos de IA existentes.
Mantém os bugs: O método antigo tinha alguns erros estranhos (como dividir uma palavra incorretamente). Como o Peek2 foi projetado para ser uma cópia exata do comportamento do método antigo, ele mantém esses mesmos erros. Corrigir esses erros exigiria retreinar os modelos de IA, o que é um trabalho muito maior do que apenas trocar a ferramenta.

Em resumo: O Peek2 é uma maneira mais inteligente e rápida de dividir texto para IA, projetada especificamente para funcionar suavemente em dispositivos do dia a dia sem precisar de um supercomputador.

1. Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) dependem de tokenizadores de Codificação Par de Bytes em Nível de Byte (BPE) para converter texto bruto em sequências de tokens. Uma etapa inicial crítica neste processo é a pretokenização, que segmenta o texto em fragmentos menores antes da fase de fusão de pares.

Estado Atual: A maioria dos pretokenizadores (especificamente o padrão cl100k usado em GPT-3, LLaMa-3 e Qwen-2.5) depende de Expressões Regulares (Regex).
O Gargalo: Embora a compilação e execução de Regex sejam aceitáveis em CPUs de servidores de alta potência, elas introduzem uma sobrecarga significativa em dispositivos de borda (desktops, laptops, sistemas embarcados) devido a:
- Potência de processamento limitada.
- Memória restrita.
- Falta de conjuntos de instruções específicos necessários para engines complexas de Regex.
- A natureza sequencial e não paralelizável da fase de pretokenização.
Restrição: Qualquer otimização deve manter a compatibilidade bug-a-bug com o pretokenizador original de treinamento. Alterar os limites de segmentação sem retreinar o modelo degradaria as taxas de compressão BPE e o desempenho downstream.

2. Metodologia: O Algoritmo Peek2

Os autores propõem o Peek2, uma reimplementação sem Regex do pretokenizador cl100k. Em vez de usar um Autômato Finito Não Determinístico (NFA) ou correspondência complexa de Regex, o Peek2 utiliza uma abordagem determinística e baseada em tabelas, inspirada no Algoritmo de Minimização de DFA de Hopcroft.

Componentes Técnicos Chave:

Categorização de Caracteres (PeekCategorize):
Em vez de corresponder valores escalares Unicode brutos a padrões complexos, o Peek2 primeiro mapeia cada caractere para uma das 7 categorias discretas com base em sua classe Unicode:
1. Espaço ASCII
2. Aspa Simples ASCII
3. CR/LF ASCII
4. Letra Unicode
5. Espaço em Branco Unicode
6. Número Unicode
7. Todos os outros escalares
  Isso reduz o espaço de entrada de mais de $10^5$ escalares potenciais para apenas 7 categorias.
Tabela de Consulta de Decisão de Ramificação:
- A lógica original de Regex envolve uma hierarquia de ramificações (Ramificação0 a Ramificação6) onde a engine tenta corresponder sequencialmente, retrocedendo se uma correspondência falhar.
- O Peek2 substitui essa lógica sequencial de "tentar e falhar" por uma tabela de consulta $7 \times 7$ .
- O algoritmo "olha" para o caractere atual e o próximo caractere, determina suas categorias e usa o par (tupla) como índice na tabela.
- A entrada da tabela retorna diretamente o ID da Ramificação (0–6) a ser executado, eliminando a necessidade de retrocesso ou tratamento de falhas baseado em pilha.
Fluxo do Algoritmo:
1. Categorizar o caractere atual e o próximo.
2. Realizar uma única consulta na tabela para selecionar o manipulador de ramificação correto.
3. Executar a lógica específica da ramificação (que é simplificada para lidar apenas com o tipo de segmento específico).
4. Processar recursivamente a string restante.

Análise de Complexidade:

Complexidade de Tempo: $O(n)$ , onde $n$ é o comprimento da entrada. Cada caractere é visitado uma vez (ou duas vezes em casos raros de fallback), comparado a $O(n \times k)$ ou $O(n \times m)$ para engines de Regex baseadas em NFA.
Complexidade de Espaço: $O(1)$ . A tabela de consulta tem tamanho fixo ( $7 \times 7$ ), exigindo memória negligenciável em comparação com as máquinas de estado complexas geradas por compiladores de Regex.

3. Contribuições Principais

Implementação sem Regex: Uma remoção completa das dependências de Regex para o pretokenizador cl100k, substituindo a correspondência de padrões complexa por uma máquina de estados determinística e leve.
Otimização para Borda: Projetado especificamente para ambientes de baixo recurso, oferecendo uso de memória constante e complexidade de tempo linear sem a sobrecarga da compilação de Regex.
Compatibilidade Bug-a-Bug: O algoritmo é matematicamente provado para produzir limites de segmentação idênticos ao tokenizador cl100k baseado em Regex original, garantindo que não haja necessidade de retreinamento do modelo.
Integração de Código Aberto: A implementação foi integrada à biblioteca Hugging Face tokenizers (Rust Seguro), tornando-a imediatamente utilizável pela comunidade.

4. Resultados Experimentais

Os autores testaram o Peek2 em uma CPU Intel Core i5-13600KF em quatro conjuntos de dados: Inglês (en), Chinês (cn), Código (code) e Matemática (math).

Microbenchmarking (Apenas Fase de Pretokenização):
- Aumento de Vazão: Até 2,48× mais rápido que a implementação original baseada em Regex.
- Variação do Conjunto de Dados:
  - Inglês (en): ~2,48× de aceleração (maior ganho devido à tokenização em nível de palavra).
  - Chinês (cn): ~2,20× de aceleração (ganho menor, pois a divisão chinesa é menos granular nesta etapa).
- Corretude: Saída 100% idêntica ao tokenizador Regex de base.
Benchmarking End-to-End (Pipeline BPE Completo):
- Vazão Geral: Melhorada em 1,03× a 1,14× em todas as tarefas (codificação e treinamento BPE).
- Impacto em Código/Matemática: Esses conjuntos de dados mostraram os ganhos relativos mais significativos em tarefas de codificação, pois dependem fortemente da pretokenização e têm menos operações de fusão de pares downstream.
- Redução de Tempo: No conjunto de dados code, o tempo de pretokenização caiu de 22,8% do tempo total do pipeline para 14,0%.

5. Significado e Trabalho Futuro

Significado: O Peek2 aborda um gargalo crítico na inferência de LLMs baseada em borda. Ao otimizar a fase sequencial de pretokenização, permite tempos de inicialização mais rápidos e maior vazão em hardware de consumo, facilitando a transição de arquiteturas de inferência centradas em servidor para híbridas de borda-nuvem.
Limitações e Direções Futuras:
- Atualmente limitado a pretokenizadores no estilo cl100k.
- Os experimentos foram conduzidos em CPUs de desktop; trabalhos futuros visam testar em dispositivos embarcados e portar o algoritmo para TPUs/APUs.
- Os autores observam que, embora o Peek2 seja compatível com o comportamento Regex atual (com bugs), existem alguns "bugs" de segmentação (por exemplo, interpretação incorreta de contrações) nos dados de treinamento originais. Corrigir esses problemas exigiria o retreinamento do modelo, o que está fora do escopo desta otimização.

Em resumo, o Peek2 demonstra que substituir lógica complexa de Regex por uma simples tabela de consulta categorizada pode acelerar significativamente a tokenização de LLMs em dispositivos de borda, sem sacrificar o desempenho do modelo ou exigir retreinamento.