💬 NLP

X-CoSD: Communication-Efficient Cross-Vocabulary Collaborative Speculative Decoding

Este artigo propõe o X-CoSD, uma estrutura de decodificação especulativa colaborativa eficiente em comunicação e sem perdas que permite a inferência de LLM distribuída entre dispositivos e servidores com vocabulários heterogêneos ao introduzir reamostragem híbrida e uma variante de reamostragem no servidor com verificação no dispositivo para acelerar significativamente a geração de tokens sem comprometer a qualidade da saída.

Autores originais: Jaeduk Lee, Wan Choi

Publicado 2026-09-10

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jaeduk Lee, Wan Choi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da inteligência artificial moderna, as ferramentas mais poderosas são os grandes modelos de linguagem, cérebros digitais vastos capazes de escrever código, compor histórias e resolver problemas complexos. No entanto, esses modelos são pesados e lentos para executar, muitas vezes exigindo servidores massivos longe do usuário. Para torná-los mais rápidos, pesquisadores desenvolveram uma técnica chamada decodificação especulativa. Imagine uma equipe onde um assistente rápido e leve redige algumas frases, e um especialista sênior as verifica instantaneamente. Se o assistente estiver correto, a equipe avança rapidamente; se o assistente errar, o especialista corrige o erro. Essa colaboração permite que o sistema gere texto muito mais rápido do que o especialista conseguiria trabalhar sozinho. No entanto, para que essa colaboração ocorra entre um telefone e um servidor distante, eles devem falar exatamente a mesma língua, até mesmo a lista específica de palavras e símbolos que reconhecem. No mundo real, diferentes dispositivos costumam usar dicionários diferentes, criando uma barreira que anteriormente impediu que essa colaboração rápida funcionasse perfeitamente.

Uma equipe de pesquisadores da Universidade Nacional de Seul resolveu essa barreira com um novo framework que chamam de X-CoSD. O trabalho deles aborda um gargalo específico: quando o telefone e o servidor não compartilham o mesmo vocabulário, o servidor deve enviar uma quantidade massiva de dados de volta ao telefone toda vez que um erro é cometido, tornando todo o processo lento. Os pesquisadores projetaram um sistema que permite que o telefone e o servidor colaborem mesmo quando seus dicionários não coincidem, sem sacrificar a qualidade da escrita ou a velocidade da resposta. Eles provaram que seu método preserva a inteligência exata do modelo de servidor poderoso, enquanto reduz drasticamente a quantidade de dados que precisam viajar pela internet.

O cerne do problema reside em como esses modelos lidam com erros. Quando o servidor verifica o rascunho do telefone e rejeita um token, ele deve fornecer uma nova opção correta. Em tentativas anteriores de corrigir a incompatibilidade de vocabulário, o servidor enviava seu mapa de probabilidade completo — uma lista de todas as palavras possíveis que poderia escolher a seguir — de volta ao telefone. Isso é como um professor enviar ao aluno o livro didático inteiro toda vez que o aluno erra uma única grafia. É incrivelamente ineficiente, especialmente em redes sem fio, onde enviar grandes quantidades de dados leva tempo e energia. Os pesquisadores perceberam que o telefone só precisa ver as palavras que tanto ele quanto o servidor concordam, além de um pouco de informação extra para lidar com as palavras que apenas o servidor conhece.

Para resolver isso, a equipe introduziu um método chamado reamostragem híbrida. Em vez de enviar o dicionário completo de possibilidades, o servidor envia apenas as probabilidades para as palavras que aparecem tanto no vocabulário do telefone quanto no do servidor. Ele também envia um único número representando quanto peso as palavras exclusivas do servidor carregam. Com essa informação limitada, o telefone pode decidir matematicamente se escolhe uma palavra da lista compartilhada ou se pede ao servidor para escolher uma palavra de sua lista exclusiva. Se o telefone escolher uma palavra da lista compartilhada, isso acontece instantaneamente. Se o servidor precisar escolher uma palavra exclusiva, ele envia apenas essa única palavra, em vez da lista inteira de opções. Essa abordagem garante que o resultado final permaneça perfeitamente preciso, correspondendo ao que o poderoso modelo de servidor produziria por conta própria, mas evita a pesada transferência de dados que costumava sobrecarregar o sistema.

Os pesquisadores foram um passo além com uma versão aprimorada chamada X-CoSD-E, que adiciona outra camada de eficiência. Nesta configuração, quando ocorre um erro, o servidor primeiro envia um pequeno punhado de candidatos de substituição ao telefone. O telefone verifica essas poucas opções imediatamente. Se uma delas for boa o suficiente, o processo para ali, e nenhum dado adicional é enviado. O servidor só envia a lista maior de probabilidades se o telefone rejeitar todos os candidatos iniciais. Essa estratégia de "tentar alguns primeiro" significa que, na maioria dos casos, o sistema evita a pesada transferência de dados inteiramente. A equipe testou isso em várias tarefas, incluindo tradução automática, resumo de artigos de notícias e resolução de problemas matemáticos, usando diferentes modelos para o telefone e para o servidor.

Os resultados mostraram que este novo método funciona tão bem quanto o poderoso modelo de servidor trabalhando sozinho, mantendo a mesma alta qualidade de geração de texto. Ao mesmo tempo, reduziu significativamente a quantidade de dados enviados e recebidos. Em seus experimentos, o novo sistema gerou tokens muito mais rápido do que métodos anteriores que tentavam lidar com diferentes vocabulários, particularmente quando a conexão de internet era lenta ou a transferência de dados era limitada. Os pesquisadores descobriram que, ao gerenciar cuidadosamente o que é enviado e quando, eles podiam manter a colaboração contínua. Este trabalho demonstra que a inteligência artificial colaborativa de alta velocidade é possível mesmo quando os dispositivos envolvidos não falam exatamente a mesma língua, abrindo as portas para ferramentas de IA mais eficientes e acessíveis em dispositivos cotidianos.

Problema

A Decodificação Especulativa Colaborativa (CoSD) é um framework de inferência distribuída onde um Modelo de Linguagem Pequeno (SLM) em um dispositivo gera candidatos a tokens e um Modelo de Linguagem Grande (LLM) no servidor verifica esses tokens. Embora a CoSD acelere a geração e alivie o processamento, os métodos existentes baseiam-se em uma premissa crítica: o SLM e o LLM devem compartilhar o mesmo vocabulário.

Em cenários heterogêneos práticos (por exemplo, diferentes famílias ou fornecedores de modelos), os vocabulários frequentemente diferem. Uma extensão direta da CoSD para esses cenários exige a transmissão da distribuição de probabilidade completa do LLM do servidor sobre todo o vocabulário sempre que um token é rejeitado, para que o dispositivo possa realizar a reamostragem exata. Isso cria um gargalo de comunicação proibitivo, particularmente no downlink, que domina a latência de ponta a ponta em redes sem fio. Além disso, métodos de CoSD existentes com eficiência de comunicação (como o U-HLM) muitas vezes sacrificam a qualidade da decodificação (perda de dados) ou ainda exigem transmissões pesadas de distribuições via uplink.

Metodologia

Os autores propõem o X-CoSD, um framework projetado para vocabulários heterogêneos de SLM–LLM que garante uma decodificação sem perdas (preservando a distribuição do LLM do servidor) enquanto minimiza o overhead de comunicação. O framework baseia-se em dois mecanismos principais:

1. Reamostragem Híbrida (HR)

O X-CoSD baseia-se na abordagem de Interseção ao Nível de Token (TLI), onde o SLM no dispositivo gera tokens apenas a partir do vocabulário comum ( $V_C$ ) compartilhado por ambos os modelos. Quando um token é rejeitado, a distribuição residual (a massa de probabilidade necessária para a reamostragem) é decomposta em duas regiões:

Região do Vocabulário Comum ( $V_C$ ): Tokens presentes em ambos os modelos.
Região Exclusiva do LLM ( $V_O$ ): Tokens presentes apenas no LLM do servidor.

Em vez de enviar a distribuição completa, o HR explora a estrutura da distribuição residual para realizar uma reamostragem distribuída:

O servidor calcula a massa de probabilidade residual total para $V_C$ ( $\theta_c$ ) e para $V_O$ ( $\theta_o$ ).
O servidor transmite apenas as probabilidades do LLM para a região comum ( $V_C$ ) e o escalar $\theta_o$ para o dispositivo.
O dispositivo seleciona probabilisticamente uma região de reamostragem:
- Se $V_C$ for selecionada, o dispositivo realiza localmente a reamostragem a partir da região comum.
- Se $V_O$ for selecionada, o dispositivo solicita ao servidor que realize a amostragem a partir da região exclusiva do LLM. O servidor então envia apenas a string des-tokenizada (não a distribuição completa) correspondente ao token amostrado.

Esta abordagem garante que a distribuição completa do LLM nunca seja transmitida, reduzindo significativamente a carga do downlink.

2. Reamostragem do Servidor com Verificação do Dispositivo (SR-DV)

Para reduzir ainda mais o overhead, os autores propõem o X-CoSD-E, uma variante aprimorada usando SR-DV.

Após a rejeição, o servidor amostra um pequeno número de candidatos de substituição ( $K$ ) da distribuição total do LLM e envia apenas esses tokens e suas probabilidades para o dispositivo.
O dispositivo verifica esses candidatos usando uma função de probabilidade de aceitação específica ( $\alpha(x)$ ) derivada no artigo.
Se um candidato for aceito, o processo é encerrado. Se todos os $K$ candidatos forem rejeitados (ou após $M$ iterações), o sistema retorna ao HR para garantir a reamostragem residual exata.
Esta abordagem probabilística evita a transmissão da distribuição da região comum na maioria dos casos, reduzindo ainda mais a latência.

Principais Contribuições

Suporte a Vocabulário Cruzado: O X-CoSD é o primeiro framework de CoSD explicitamente projetado para vocabulários heterogêneos sem exigir retreinamento de modelos ou destilação de conhecimento online.
Garantia Sem Perdas (Lossless): O artigo fornece provas teóricas (Teoremas 1 e 2) demonstrando que tanto o X-CoSD quanto o X-CoSD-E preservam a distribuição exata do LLM do servidor, garantindo uma qualidade de geração idêntica à do LLM do servidor.
Eficiência de Comunicação: Ao restringir a transmissão da distribuição à região do vocabulário comum (HR) ou substituí-la por tokens candidatos (SR-DV), o framework reduz drasticamente a carga de comunicação do downlink em comparação com extensões diretas.
Mecanismo SR-DV: A introdução de um mecanismo de fallback que prioriza a troca de candidatos de baixa latência sobre a transmissão da distribuição completa.

Resultados Experimentais

Os autores avaliaram o X-CoSD e o X-CoSD-E usando o Vicuna-68M (SLM) com Llama-3.1-8B e Qwen2-7B (LLMs) em tarefas incluindo tradução automática (WMT-DeEn), sumarização (XSum, CNN/DailyMail), raciocínio matemático (GSM8K) e QA (MMLU).

Qualidade de Geração: Tanto o X-CoSD quanto o X-CoSD-E alcançaram pontuações de qualidade de geração comparáveis ao LLM do servidor (scores relativos $\approx$ 1.0), confirmando a propriedade de ausência de perdas. Em contraste, os baselines com perda (Greedy/Target Resampling) e o U-HLM mostraram degradação significativa na qualidade.
Carga de Comunicação:
- Downlink: O X-CoSD reduziu a carga do downlink em ordens de magnitude em comparação com a extensão "Direta" (que envia a distribuição completa). O X-CoSD-E reduziu ainda mais essa carga ao evitar a transmissão da distribuição em muitos casos de rejeição.
- Uplink: Diferente de alguns baselines que exigem o upload de distribuições do SLM, o X-CoSD mantém um baixo carregamento de uplink, transmitindo apenas IDs de tokens e probabilidades.
Throughput e Latência:
- O X-CoSD e o X-CoSD-E alcançaram um throughput de tokens superior ao do LLM do servidor sozinho e superaram o baseline Direto, particularmente conforme o bandwidth do downlink aumentava.
- O X-CoSD-E demonstrou a menor latência por token entre os métodos sem perdas, mantendo um alto throughput mesmo sob taxas de transmissão de downlink variáveis (100–300 Mbps).

Significância

O artigo afirma que o X-CoSD e o X-CoSD-E representam um passo prático em direção ao implante real de inferência de LLM colaborativa. Ao abordar o problema do descompasso de vocabulário sem sacrificar a precisão da decodificação, esses frameworks permitem a colaboração eficiente e sem perdas entre diversos modelos em dispositivos e poderosos LLMs de servidor. Isso é particularmente significativo em ambientes sem fio onde a largura de banda de comunicação é um gargalo primário, permitindo uma inferência mais rápida sem comprometer a qualidade do texto gerado.