💬 NLP

Scaling Embeddings Outperforms Scaling Experts in Language Models

O artigo propõe que escalar as dimensões de *embeddings* é uma estratégia de esparsidade mais eficiente do que o uso de arquiteturas *Mixture-of-Experts* (MoE), apresentando o modelo LongCat-Flash-Lite como prova de que essa abordagem supera modelos equivalentes em desempenho e eficiência, especialmente em tarefas de codificação e agentes.

Autores originais: Hong Liu, Jiaqi Zhang, Chao Wang, Xing Hu, Linkun Lyu, Jiaqi Sun, Xurui Yang, Bo Wang, Fengcun Li, Yulei Qian, Lingtong Si, Yerui Sun, Rumei Li, Peng Pei, Yuchen Xie, Xunliang Cai

Publicado 2026-02-12

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Hong Liu, Jiaqi Zhang, Chao Wang, Xing Hu, Linkun Lyu, Jiaqi Sun, Xurui Yang, Bo Wang, Fengcun Li, Yulei Qian, Lingtong Si, Yerui Sun, Rumei Li, Peng Pei, Yuchen Xie, Xunliang Cai

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

🧠 O Grande Dilema dos Robôs: O Problema do "Cérebro que Cresce Demais"

Imagine que você está tentando construir o robô mais inteligente do mundo. Para ele ficar mais esperto, você tem dois caminhos principais:

O Caminho dos Especialistas (MoE - Mixture of Experts): É como se, em vez de dar um livro gigante para o robô, você contratasse milhares de especialistas (um matemático, um poeta, um chef de cozinha, etc.). Quando o robô precisa resolver um problema, ele "chama" apenas os especialistas necessários. Isso economiza energia, mas conforme você contrata mais gente, a logística fica um caos: o robô gasta mais tempo decidindo quem chamar do que realmente trabalhando, e a "sala de reuniões" (a memória do computador) fica lotada de gente esperando.
O Caminho do Vocabulário (Embeddings): É como se, em vez de contratar mais gente, você desse ao robô um dicionário infinitamente mais detalhado e rico. Em vez de ele entender apenas a palavra "banco" (que pode ser de sentar ou de dinheiro), ele já entende instantaneamente o contexto completo de cada frase através de conexões profundas.

O que este artigo descobriu? Que, em vez de continuar contratando especialistas (que está ficando caro e lento), é muito mais eficiente investir em um "super dicionário" de contextos.

🚀 A Grande Sacada: O "Super Dicionário de Contexto" (N-gram Embedding)

Os pesquisadores da Meituan criaram algo chamado N-gram Embedding.

A Analogia do Detetive:
Imagine um detetive que só lê palavras isoladas. Se ele lê "manga", ele não sabe se é uma fruta ou uma parte da camisa.
Agora, imagine um detetive que, ao ver uma palavra, já olha automaticamente para as duas ou três palavras que vieram antes dela. Ele não vê apenas "manga"; ele vê "comer uma manga madura".

O N-gram é esse "olhar de detetive". Ele não guarda apenas o significado de cada palavra, mas o significado de combinações de palavras (duplas, trios, etc.). Isso permite que o modelo entenda nuances da linguagem de forma absurdamente rápida, sem precisar "pensar" tanto ou chamar especialistas extras.

🛠️ Como eles fizeram isso funcionar? (As Regras de Ouro)

Eles não apenas jogaram palavras no sistema; eles descobriram as "regras de ouro" para esse super dicionário não virar uma bagunça:

Não exagere no dicionário: Se o dicionário for maior que o resto do cérebro do robô, ele fica "burro" de tanto decorar palavras e esquece de raciocinar. O segredo é manter o dicionário em até 50% do tamanho total.
Evite a "Confusão de Nomes" (Hash Collisions): Se você tem um sistema de etiquetas muito simples, duas coisas diferentes podem acabar com a mesma etiqueta. Eles ajustaram o tamanho do sistema para garantir que cada combinação de palavras tenha sua própria "identidade" única.
Dê um "Grito" para o Dicionário (Embedding Amplification): Eles perceberam que, no início do aprendizado, o robô ignorava o dicionário porque o resto do cérebro era "barulhento" demais. Eles criaram um truque para fazer o sinal do dicionário chegar mais forte, garantindo que o robô realmente preste atenção nas novas palavras.

🏆 O Resultado: O LongCat-Flash-Lite

Para provar que funcionava, eles criaram o LongCat-Flash-Lite.

É um modelo que, embora tenha um tamanho total gigante (68,5 bilhões de parâmetros), é incrivelmente "leve" para rodar. É como ter uma biblioteca de Alexandria inteira dentro de um smartphone: ele é vasto em conhecimento, mas muito rápido para consultar.

Onde ele brilha?

Programação: Ele é um mestre em entender códigos de computador.
Agentes Inteligentes: Ele é excelente em seguir instruções complexas e usar ferramentas (como um assistente que não só fala, mas realmente sabe usar o computador para você).

📝 Resumo para levar para casa:

Em vez de construir um exército de especialistas que precisam conversar entre si (o que é lento e caro), os cientistas construíram um super sistema de compreensão de contexto. O resultado é um modelo de IA que é mais inteligente, mais rápido e muito mais eficiente para processar a complexidade da linguagem humana.

Resumo Técnico: Scaling Embeddings Outperforms Scaling Experts in Language Models

O Problema

Atualmente, a arquitetura de Mixture-of-Experts (MoE) é o padrão para escalar modelos de linguagem (LLMs), permitindo um grande número de parâmetros com custo computacional controlado. No entanto, os autores identificam dois problemas principais nesta abordagem:

Retornos Decrescentes: À medida que o número de especialistas (experts) aumenta, o ganho marginal de desempenho diminui, atingindo um ponto de saturação de eficiência.
Gargalos de Sistema: A expansão de especialistas impõe desafios de comunicação distribuída e pressão na largura de banda de memória.

O artigo propõe uma dimensão de escalonamento alternativa e ortogonal: escalar as camadas de embedding em vez de apenas os especialistas das redes feed-forward (FFN).

Metodologia

Os pesquisadores introduziram a camada de N-gram Embedding, que expande a representação de cada token ao incorporar informações de n-gramas (sequências de tokens adjacentes) através de uma tabela de busca (lookup table) esparsa.

Componentes Principais:

Arquitetura N-gram: Para cada token, o modelo calcula um embedding aumentado que combina o embedding base com embeddings de n-gramas (2-gramas, 3-gramas, etc.), utilizando uma função de hash polinomial para mapear sequências para sub-tabelas.
Sub-tabelas e Projeção: Para mitigar colisões de hash, eles utilizam múltiplas sub-tabelas com diferentes tamanhos de vocabulário e matrizes de projeção linear para mapear os resultados de volta ao espaço de dimensão original.
Estratégias de Integração: O estudo investigou o momento ideal para introduzir esses embeddings (em modelos com alta ou baixa esparsidade), o orçamento de parâmetros (limite de 50% do total para embeddings) e a necessidade de "Amplificação de Embedding" (uso de LayerNorm ou fatores de escala para evitar que o sinal do embedding seja "afogado" pelo fluxo residual).

Principais Contribuições

Descoberta de uma Nova Fronteira de Pareto: Identificaram regimes específicos onde escalar embeddings é mais eficiente do que adicionar mais especialistas MoE.
Caracterização Arquitetônica: Estabeleceram como a largura (width) e a profundidade (depth) do modelo afetam a eficácia do escalonamento de embeddings. Descobriram que modelos mais largos beneficiam-se mais do escalonamento de embeddings, enquanto modelos muito profundos podem sofrer retornos decrescentes.
Otimizações de Sistema: Desenvolveram o N-gram Cache e kernels CUDA customizados para reduzir a latência de busca, além de integrar o uso com Speculative Decoding para converter a esparsidade de parâmetros em velocidade real de inferência.
LongCat-Flash-Lite: A criação de um modelo de 68,5B de parâmetros (com apenas ~3B ativos) treinado do zero, que utiliza mais de 30B de parâmetros dedicados a embeddings.

Resultados

O modelo LongCat-Flash-Lite demonstrou resultados superiores em diversas frentes:

Desempenho de Base: Superou modelos MoE com a mesma contagem total de parâmetros (baselines "Vanilla"), validando que alocar parâmetros para embeddings é mais eficaz do que para especialistas.
Domínios de Agente e Codificação: O modelo mostrou uma vantagem excepcional em tarefas de uso de ferramentas (agentic tool use) e programação (coding), superando modelos de escala comparável como Gemini 2.5 Flash-Lite e Qwen3 em benchmarks como SWE-Bench e $\tau^2$ -Bench.
Raciocínio Matemático: Demonstrou alta competitividade em testes de raciocínio complexo (AIME24/25).
Eficiência de Inferência: Graças às otimizações de kernel e ao uso de speculative decoding, o modelo consegue manter alta taxa de transferência (throughput) mesmo com a complexidade adicional dos n-gramas.

Significância

Este trabalho altera o paradigma de como pensamos o escalonamento de LLMs. Ele prova que a "capacidade" de um modelo não precisa vir apenas da complexidade das camadas de processamento (especialistas), mas também da riqueza da representação de entrada (embeddings).

A pesquisa oferece um roteiro para construir modelos massivos que são computacionalmente leves (poucos parâmetros ativos), mas semanticamente densos, resolvendo o dilema entre o tamanho do modelo e a eficiência de inferência em larga escala.