🤖 machine learning

Kronecker Embeddings: Byte-Level Structured Token Representations for Parameter-Efficient Language Models

Este artigo apresenta as Embeddings de Kronecker, um método determinístico de fatoração em nível de byte que substitui as tradicionais tabelas de embedding grandes por um codificador fixo e uma projeção aprendida, eliminando assim mais de 90% dos parâmetros treináveis do lado de entrada e melhorando a eficiência de treinamento, a robustez ortográfica e o uso de memória em tempo de execução em modelos de linguagem grandes.

Autores originais: Rohan Shravan

Publicado 2026-05-29

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Rohan Shravan

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine uma biblioteca gigante onde cada livro tem um cartão de identificação único. Em um Modelo de Linguagem Grande (IA) padrão, a primeira coisa que o computador faz ao ver uma palavra é consultar o cartão de identificação dessa palavra em um imenso livro de telefones pré-escrito. Esse livro de telefones é chamado de tabela de embeddings.

Para modelos pequenos, esse livro de telefones é gerenciável. Mas para os massivos modelos de "fronteira" que alimentam as IAs mais avançadas de hoje, esse livro de telefones tornou-se um monstro inchado. Ele ocupa centenas de milhões de dólares em memória de computador e exige que a IA gaste uma enorme quantidade de sua capacidade cerebral apenas memorizando qual cartão de identificação corresponde a qual palavra, antes mesmo de começar a pensar no significado da frase.

Kronecker Embeddings é uma nova maneira de construir essa biblioteca que elimina completamente o livro de telefones gigante.

Veja como funciona, usando analogias simples:

1. O Jeito Antigo: O Livro de Telefones Gigante

Pense na IA padrão como um estudante que precisa memorizar um dicionário onde cada palavra, de "maçã" a "zéfiro", tem um número aleatório específico atribuído a ela.

O Problema: Se o dicionário tem 130.000 palavras, o estudante precisa memorizar 130.000 números aleatórios. Isso ocupa uma enorme quantidade de espaço em seu cérebro (memória) e o deixa mais lento.
A Peculiaridade: O artigo descobriu que esse "livro de telefones" é realmente muito ruim em entender famílias de palavras. Se você perguntar à IA sobre "correr", seu livro de telefones diz que as palavras mais próximas são "Correr", "correr" e ".correr" (apenas a mesma palavra com diferentes maiúsculas ou pontuação). Ele trata "correr" e "correndo" como estranhos, mesmo que sejam relacionados.

2. O Jeito Novo: O Plano de Montagem de Lego

Kronecker Embeddings joga fora o livro de telefones. Em vez disso, dá à IA um plano de montagem de Lego.

Como funciona: Cada palavra é apenas uma sequência de pequenos blocos de construção (bytes). O plano diz: "Se você vir um 'b' no primeiro lugar, use esta peça de Lego específica. Se você vir um 'a' no segundo lugar, use aquela peça."
A Magia: A IA não memoriza a palavra "correr". Ela constrói a palavra "correr" sob demanda, encaixando as peças para 'c', 'o', 'r', 'r', 'e' e 'r' em suas posições específicas.
O Resultado: A IA não precisa mais de um livro de telefones gigante. Ela precisa apenas de um pequeno manual de instruções (uma matriz de projeção) para saber como encaixar essas peças de Lego em uma forma significativa. Isso economiza 91–94% da memória normalmente necessária para o lado de entrada do modelo.

3. O Que o Artigo Realmente Descobriu

Os pesquisadores testaram esse novo método contra o antigo e encontraram algumas coisas surpreendentes:

É Mais Esperto com Erros de Digitação: Porque o novo método constrói palavras a partir de suas letras individuais (bytes), ele entende que "netwrok" é muito semelhante a "network". Se você cometer um erro de digitação, a IA ainda reconhece a forma da palavra. O método antigo, que depende do livro de telefones gigante, frequentemente fragmenta a palavra em pedaços confusos quando ocorre um erro de digitação.
- Analogia: Se você escrever "gato" como "gst", a IA antiga pode pensar que você está falando de um objeto completamente diferente e desconhecido. A nova IA vê que o "g" e o "t" estão nos lugares certos e sabe que você provavelmente quis dizer "gato".
Aprende Mais Rápido: Em seus testes, a IA usando o plano de montagem de Lego (Kronecker) aprendeu a prever a próxima palavra em uma frase 2,5% melhor do que a IA usando o livro de telefones. Ela também atingiu esse nível de habilidade usando 43% menos etapas de treinamento.
Não "Esquece" Palavras Novas: Se você pedir à IA para falar sobre uma palavra inventada como "kronekticus", a IA antiga fica confusa e inventa uma definição falsa. A nova IA, porque constrói palavras a partir de letras, pode repetir a palavra inventada para você perfeitamente, preservando a grafia exata que você forneceu.

4. As Compensações (O Problema)

O artigo é honesto sobre as desvantagens.

Gêmeos Confusos: Porque o novo método olha para as letras, às vezes ele acha que palavras que se parecem são relacionadas, mesmo que signifiquem coisas diferentes. Por exemplo, "computar" e "comutar" parecem muito semelhantes letra por letra. A nova IA pode pensar que são primos próximos, mesmo que uma seja sobre matemática e a outra sobre viagens. A IA precisa usar seu "cérebro" (o restante do modelo) para descobrir a diferença com base no contexto.
Sem "Amarrar" os Nós: No sistema antigo, a IA podia usar o mesmo livro de telefones para leitura e escrita para economizar espaço. O novo sistema é estruturalmente muito diferente para fazer isso, então precisa de um pequeno manual separado para escrita. No entanto, o artigo observa que os maiores modelos de IA já estão se afastando dessa prática de "amarrar" de qualquer maneira.

5. Por Que Isso Importa para o Futuro

O artigo sugere que, ao remover o livro de telefones gigante e pesado, podemos liberar essa enorme quantidade de memória de computador.

A Re-alocação: Em vez de desperdiçar memória em uma lista estática de palavras, esse espaço economizado pode ser usado para tornar o "cérebro" da IA (o corpo do transformador) maior, mais inteligente ou capaz de ler documentos mais longos.
Dispositivos de Borda: Para executar IA em telefones ou dispositivos pequenos, isso é uma mudança de jogo. O novo método permite que a IA seja distribuída sem uma lista de palavras de vários gigabytes. Ela pode reconstruir palavras a partir de um arquivo minúsculo de 4,5 MB em vez de um arquivo de 2 GB, tornando muito mais fácil executar IA poderosa em hardware pequeno.

Em Resumo:
Kronecker Embeddings substitui um dicionário massivo e rígido por um kit de construção flexível, letra por letra. Ele economiza enormes quantidades de memória, lida melhor com erros de digitação, aprende mais rápido e permite que a IA lide com palavras que nunca viu antes, mantendo toda a arquitetura restante da IA exatamente a mesma.

Resumo Técnico: Embeddings de Kronecker

1. Declaração do Problema

Os modelos de linguagem modernos de grande escala (LLMs) dependem de uma tabela de embeddings de entrada aprendida com a forma $|V| \times d_{model}$ para mapear identificadores de tokens para vetores contínuos. Em escalas de fronteira, essa tabela consome centenas de milhões a bilhões de parâmetros treináveis antes que qualquer computação contextual ocorra. Por exemplo, um modelo com um vocabulário de 130k e $d_{model}=4096$ aloca ~537M de parâmetros exclusivamente para embeddings de entrada. Isso cria atrito de engenharia significativo: a tabela deve ser particionada (sharded) entre ranks paralelos de dados, incorre em sobrecarga de comunicação em configurações de paralelismo de tensor e requer memória massiva para estados do otimizador (aproximadamente 16 bytes por parâmetro em Adam de precisão mista). Além disso, o artigo postula que a necessidade de aprender esse mapeamento fixo de IDs de tokens para vetores é uma questão em aberto, particularmente dado os custos de engenharia e a natureza da estrutura que esses embeddings realmente desenvolvem.

2. Metodologia: Embeddings de Kronecker

Os autores propõem Embeddings de Kronecker, uma substituição determinística e estruturada para a tabela de embeddings de entrada aprendida. O método mantém a tokenização padrão BPE ou SentencePiece, mas substitui a tabela de busca por um codificador fixo e uma única projeção aprendida.

Mecanismo Central

Para um token com sequência de bytes UTF-8 $b = (b_1, \dots, b_L)$ , o embedding é computado como:

Codificação de Posição de Byte: O token é decomposto em seus bytes constituintes e suas posições.
Produto de Kronecker: Um vetor de codec determinístico $\kappa(b) \in \mathbb{R}^D$ $κ (b) \in R^{D}$ é construído, onde $D = d_c \times d_p$ $D = d_{c} \times d_{p}$ .
- $d_c = 256$ (alfabeto completo de bytes).
- $d_p$ é a posição máxima do byte (ex: 32).
- O codec é a soma dos produtos de Kronecker de vetores one-hot de bytes e vetores one-hot de posições: $\kappa(b) = \frac{1}{\sqrt{L}} \sum_{p=1}^L c_{b_p} \otimes p_p$ .
Normalização: A saída do codec passa por normalização $z$ por token (média 0, desvio padrão 1) para estabilizar o treinamento inicial.
Projeção Aprendida: Uma única camada linear treinável $W_{proj} \in \mathbb{R}^{D \times d_{model}}$ projeta o vetor de codec para a dimensão oculta do modelo.

Variantes Operacionais

gpu_table: Pré-computa a tabela completa de codecs $|V| \times D$ na inicialização. A computação é negligenciável (coleta), mas o uso de memória é alto (gigabytes).
gpu_dynamic: Recomputa o codec sob demanda durante a passagem forward usando um buffer de bytes compacto (~4,5 MB para um vocabulário de 131k). Isso troca uma pequena sobrecarga de computação (0,01–0,24% do tempo por passo) por economias massivas de memória.

Viés Indutivo

O método introduz localidade em nível de byte: duas strings recebem embeddings similares se e somente se compartilharem bytes nas mesmas posições. Isso preserva distinções de maiúsculas/minúsculas (ex: swift vs. SWIFT) e robustez a erros de digitação (ex: seperate vs. separate), ao contrário dos embeddings BPE padrão, que tendem a agrupar variantes tipográficas.

3. Contribuições Principais

A. Descobertas de Sondagem Cross-Model

Os autores analisaram embeddings de entrada em seis LMs modernos (135M a 671B de parâmetros, incluindo Llama-3.2, Qwen3, DeepSeek-V3, etc.):

Agrupamento Tipográfico: Embeddings BPE treinados agrupam variantes tipográficas (ex: run, Run, .run) muito mais do que relativos morfológicos (ex: running, runner). Esse padrão se mantém entre famílias de tokenizadores e escalas.
Escape de Kronecker: Embeddings de Kronecker escapam desse agrupamento tipográfico, recuperando strings similares em bytes.
Estrutura Morfológica: Nenhum método desenvolve agrupamento morfológico estrito na camada de embedding. Em uma sondagem em camadas de checkpoints de 124M, o braço BPE da primeira camada do transformador troca a geometria morfológica por geometria de co-ocorrência/contextual, enquanto Kronecker preserva a geometria em nível de byte através das camadas iniciais.

B. Comparação de Treinamento Controlado

Uma comparação com três sementes na arquitetura nanoGPT GPT-2 124M treinada em 2,5B de tokens de FineWeb-Edu:

Desempenho: Kronecker alcançou 2,5 ± 0,2% de perda de validação menor que a linha de base com BPE acoplado (diferença de 0,083 nats, ~9% de perplexidade menor).
Convergência: A lacuna de perda aumentou durante o treinamento e estabilizou na convergência em vez de diminuir.
Eficiência: Kronecker exigiu 1,43× menos passos do otimizador para atingir a perda convergida da linha de base BPE.
Contagem de Parâmetros: Na escala de 124M, os parâmetros treináveis do lado de entrada foram reduzidos em 91% (de 38,6M para 3,1M), embora a contagem total treinável tenha aumentado ligeiramente (3,1M) devido à necessidade de uma cabeça de saída desacoplada (o acoplamento de pesos é arquitetonicamente incompatível com $D \neq d_{model}$ de Kronecker). Em escalas de fronteira (ex: 120B-MoE), a redução do lado de entrada atinge 94% (503M de parâmetros economizados).

C. Sondagens de Robustez e Fidelidade

Robustez à Ortografia: Em 110 pares de prompts limpos/erros de digitação, Kronecker preservou a previsão top-1 em 55,5% dos casos vs. 47,3% para BPE (+8,2 pp). Também mostrou menor divergência KL entre distribuições limpas e com erros (-7,6%) e maior similaridade de cosseno nos estados ocultos finais (+2,6%).
Fidelidade de Geração: Sondagens qualitativas mostraram que modelos com Kronecker "ecoam" strings e erros de ortografia novos em bytes (ex: kronekticus, netwrok) através da geração autoregressiva, enquanto modelos BPE fragmentaram e esqueceram-nos.

D. Observações de Mecanismo

Alvo Estável: As normas dos embeddings BPE desviam de std=0,020 para 0,026 durante o treinamento, enquanto as normas da projeção Kronecker permanecem estáveis em ~1,0. Isso sugere que Kronecker fornece um alvo representacional estável para o corpo do transformador.
Eficiência de Memória: A variante sob demanda reduz a pegada de memória do caminho de entrada de ~2,15 GB (tabela pré-computada) para ~4,5 MB (buffer de bytes) em tamanhos de vocabulário de produção.

4. Significado e Afirmações

O artigo afirma que Embeddings de Kronecker oferecem uma substituição eficiente em parâmetros e plug-and-play para embeddings de entrada padrão que:

Elimina o gargalo de embedding: Reduz parâmetros treináveis do lado de entrada em 91–94% em escalas de fronteira, liberando capacidade para o corpo do transformador ou reduzindo a memória de estados do otimizador.
Melhora a dinâmica de treinamento: Alcança perda de validação menor e convergência mais rápida em configurações controladas, possivelmente devido a um alvo representacional estável e otimização eficiente em parâmetros.
Aumenta a robustez: Fornece robustez inerente a erros tipográficos e preserva fidelidade em nível de byte na geração, uma propriedade ausente em embeddings BPE padrão.
Reenquadra o papel do embedding: Desafia a suposição de que embeddings aprendidos devem capturar morfologia, mostrando em vez disso que eles capturam principalmente variantes tipográficas, enquanto Kronecker oferece um viés indutivo distinto em nível de byte.

Os autores afirmam explicitamente que o método não é um substituto de tokenizador, nem um modelo em nível de caractere; opera em sequências de tokens, mas substitui a busca de embedding. Eles reconhecem limitações, incluindo a incapacidade de usar acoplamento de pesos, o agrupamento de palavras semanticamente distantes, mas similares em bytes (ex: compute/commute), e a necessidade de validação adicional em escalas de fronteira (1B+ parâmetros) e em conjuntos de dados multilíngues.

5. Limitações e Trabalho Futuro

O artigo identifica várias questões em aberto:

Escalabilidade: Se a vantagem de perda de validação e as descobertas em camadas se mantêm em escalas de 1B–7B+.
Linhas de Base Desacopladas: A comparação controlada usou uma linha de base com BPE acoplado; trabalhos futuros devem comparar com linhas de base BPE desacopladas.
Mecanismo: O mecanismo exato para o ganho de desempenho (alvo estável vs. eficiência de parâmetros vs. viés indutivo) permanece uma questão em aberto.
Lado de Saída: O design atual deixa a cabeça de saída como uma matriz aprendida padrão. Os autores hipotetizam que trabalhos futuros poderiam estender Kronecker para o lado de saída para decodificação sem vocabulário, mas isso não foi testado.

O trabalho é lançado com código, scripts reproduzíveis e quatro modelos LightningLM pré-treinados (2B a 120B-MoE) para demonstrar estabilidade em escala.