💻 computer science

Efficient and Privacy Aware Edge Cloud Collaborative Inference for Large Language Models

Este artigo propõe um framework colaborativo de borda-nuvem centrado na privacidade para inferência de modelos de linguagem de grande escala que aproveita caches KV autenticados em endpoints e transmissão de dados criptografados para reduzir significativamente a latência e o uso de largura de banda, preservando simultaneamente a privacidade do usuário em dispositivos heterogêneos.

Autores originais: Yi Li, Chen Li, Jiexiong Liu

Publicado 2026-07-16

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yi Li, Chen Li, Jiexiong Liu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um cérebro de robô superinteligente que consegue escrever histórias, resolver problemas matemáticos e conversar como um humano. Isso é o que chamamos de Grande Modelo de Linguagem (LLM). Mas aqui está o detalhe: esses cérebros são tão enormes e famintos por energia que geralmente não cabem dentro do seu telefone ou notebook. Eles vivem em computadores gigantes e poderosos na nuvem. Por isso, quando você faz uma pergunta ao seu telefone, ele tem que gritar sua pergunta através da internet para a nuvem, esperar o cérebro gigante pensar e depois ouvir a resposta. Isso funciona muito bem, mas tem dois grandes problemas. Primeiro, é lento porque o ato de gritar de um lado para o outro leva tempo. Segundo, é arriscado porque você tem que contar à nuvem seus pensamentos secretos, seu histórico privado e suas palavras exatas. É como enviar uma página do seu diário para um estranho apenas para obter uma resposta.

Para corrigir isso, cientistas tentaram dividir o trabalho: deixar seu telefone fazer as partes fáceis e enviar as partes difíceis para a nuvem. Mas até isso é complicado. Se você enviar dados demais, fica lento. Se enviar dados de menos, a nuvem fica confusa. E se você enviar seus pensamentos brutos, sua privacidade ainda estará em risco. Este artigo explora uma nova maneira de jogar este jogo de "esconde-esconde" com seus dados. Ele propõe uma parceria inteligente onde seu dispositivo e a nuvem trabaliam juntos como um detetive e um bibliotecário. O dispositivo mantém as pistas mais sensíveis (como seu histórico privado e vocabulário específico) escondidas, enquanto a nuvem faz o trabalho pesado de ler os livros. O objetivo é tornar o cérebro do robô rápido o suficiente para conversar com você instantaneamente, mas privado o suficiente para que a nuvem nunca veja seus segredos brutos.

O Detetive e o Bibliotecário: Uma Nova Maneira de Conversar com a IA

Então, como esse novo sistema realmente funciona? Os autores deste artigo, Yi Li, Chen Li e Jiexiong Liu, da KunlunMeta, construíram uma estrutura que chamam de "inferência colaborativa entre borda e nuvem" (edge–cloud collaborative inference). Pense nisso como um jogo de alto nível de "Telefone Sem Fio", onde você quer passar uma mensagem através de uma sala lotada, mas não quer que a pessoa no meio (a nuvem) saiba do que se trata a mensagem, e não quer que ela demore muito para repeti-la.

Nesta nova configuração, seu dispositivo (a "borda") atua como um detetive inteligente, e a nuvem atua como um bibliotecário massivo e poderoso. Aqui está o truque de mágica:

1. O Detetive Faz o Dever de Casa (Privacidade em Primeiro Lugar)
Em vez de gritar sua pergunta bruta para a nuvem, seu dispositivo faz um dever de casa primeiro. Ele transforma suas palavras em um código secreto (chamado de "embeddings") e decide exatamente quanto do seu histórico de conversas passadas a nuvem tem permissão para ver. É como o detetive entregando ao bibliotecário uma lista de apenas os livros que o bibliotecário tem permissão para consultar, sem nunca revelar as notas reais do caso do detetive. O dispositivo também mantém um "rascunho" especial do que ele acha que pode ser a resposta. Isso é chamado de "decodificação especulativa" (speculative decoding). É como o detetive adivinhando a próxima frase de uma história antes mesmo de o bibliotecário terminar de ler a página atual.

2. O Bibliotecário Faz o Trabalho Pesado (Mas Só o Necessário)
A nuvem recebe esse código secreto e a "autorização" (o cache authorization). Ela não vê suas palavras brutas; ela vê apenas a matemática. Ela usa seu céreamente superpoderoso para ler o histórico autorizado e processar as partes difíceis do pensamento. Crucialmente, a nuvem não calcula a resposta inteira de uma vez. Ela calcula apenas a parte da resposta que o detetive ainda não adivinhou. Isso é chamado de "projeção de vocabulário dividida" (split vocabulary projection). Imagine que a nuvem só precisa escrever as últimas palavras de uma frase, enquanto seu dispositivo preenche o restante com base em seu próprio conhecimento local.

3. O Aperto de Mão (Rápido e Seguro)
Assim que a nuvem termina sua parte, ela envia de volta ao seu dispositivo uma pequena peça criptografada da resposta. Seu dispositivo então combina o próprio palpite com a peça da nuvem para formar a resposta final. Como eles estão trabalhando juntos, não precisam esperar que a frase inteira seja escrita antes de passar para a próxima. Eles podem "especular" e verificar seu trabalho em paralelo. Para manter a segurança, todos os dados voando entre eles são embaralhados com uma trava especial (criptografia AES-GCM), de modo que, mesmo que um hacker esteja ouvindo, ele verá apenas um monte de códigos sem sentido.

Os Resultados: Mais Rápido, Menor e Mais Seguro

Os pesquisadores construíram um protótipo deste sistema e o testaram em diferentes tipos de dispositivos: um computador padrão com apenas uma CPU (como um PC de escritório básico), um computador potente com uma placa de vídeo (GPU) e um pequeno dispositivo embarcado (como um termostato inteligente ou um computador de carro).

Eles descobriram que essa equipe de detetive e bibliotecário é significativamente mais rápida do que as formas antigas de fazer as coisas.

Velocidade: Comparado a um sistema de divisão "ingênuo" (onde eles apenas cortam o modelo ao meio sem os truques de privacidade sofisticados), este novo método reduziu o tempo para gerar cada palavra em até 46,1% em dispositivos GPU. Em um CPU padrão, foi 29,4% mais rápido.
Economia de Dados: Como eles enviam apenas as partes da resposta que são estritamente necessárias, a quantidade de dados enviados de volta da nuvem caiu em até 67,4% quando a conversa estava em inglês (que utiliza um subconjunto menor de palavras).
Qualidade: A parte mais importante é que as respostas continuam sendo tão boas quanto. O sistema produziu respostas que foram 98,6% idênticas ao que o modelo completo na nuvem teria dito por conta própria. A pequena diferença deveu-se principalmente ao fato de a matemática ter sido ligeiramente simplificada para caber em dispositivos menores.

O Que Este Sistema Não É

É importante entender o que este artigo não está alegando. Os autores são muito claros ao dizer que isso não é um escudo mágico que torna a nuvem completamente cega. A nuvem ainda vê os "tensores de características" (os códigos secretos) e os "tokens de rascunho" (os palpites). Se um hacker muito astuto com muitos conhecimentos extras tentasse fazer engenharia reversa do código secreto, ele poderia ainda aprender algo sobre sua entrada. O artigo afirma explicitamente que isso não é uma garantia formal de "privacidade diferencial" (uma definição matemática estrita de privacidade). Em vez disso, oferece uma camada de proteção prática em nível de sistema. Torna muito mais difícil para a nuvem ver seu diário bruto, mas não torna o diário invisível para um superdetetive com as ferramentas certas.

Além disso, o artigo descarta a ideia de que você possa simplesmente rodar todo o cérebro gigante no seu telefone. Para a maioria dos dispositivos de consumo, a matemática ainda é pesada demais. A solução de "apenas endpoint" (onde o telefone faz tudo) era muito mais lenta e produzia respostas de menor qualidade em comparação com a abordagem colaborativa.

Por Que Isso Importa

Este artigo sugere que não precisamos escolher entre uma IA rápida e inteligente e uma IA privada. Ao tratar o dispositivo e a nuvem como uma equipe onde o dispositivo guarda as chaves das partes mais sensíveis da conversa, podemos ter o melhor dos dois mundos. O sistema se adapta ao dispositivo que você possui, seja um PC gamer potente ou um pequeno chip em seu carro, tornando o chat de IA rápido e privado uma possibilidade realista para o futuro. Os autores mediram esses resultados em um ambiente de laboratório controlado e, embora os números pareçam promissores, o teste real será como isso se sustentará no mundo real, que é bagunçado e imprevisível. Mas, por enquanto, é um grande passo para ter um assistente inteligente que respeita seus segredos.

Resumo Técnico: Inferência Colaborativa de Borda-Nuvem Eficiente e Consciente de Privacidade para Grandes Modelos de Linguagem

1. Definição do Problema

A implantação de Grandes Modelos de Linguagem (LLMs) em dispositivos voltados ao usuário apresenta um trilema de latência interativa, recursos computacionais locais limitados e exposição de privacidade.

Inferência Puramente na Nuvem: Embora ofereça computação abundante, exige a transmissão de prompts brutos, históricos de diálogo e identificadores de contexto longo para um servidor remoto, criando riscos significos de privacidade e sobrecarga de comunicação.
Inferência Puramente no Dispositivo: Frequentemente inviável para CPUs de consumo, GPUs móveis e dispositivos de borda embarcados devido à insuficiência de throughput de computação matricial, restrições de memória e a necessidade de compatibilidade de tempo de execução multiplataforma.
Split Inference Existente: As soluções atuais carecem de controle granular sobre o cache KV, falham em se adaptar a capacidades específicas de dispositivos (CPU vs. GPU vs. Borda) e não fornecem uma estratégia combinada para segurança de rede e proteção contra vazamento de estados ocultos.

O artigo aborda a necessidade de um framework que equilibre essas restrições, mantendo decisões sensíveis à privacidade e computação leve localmente, enquanto delega a decodificação pesada para a nuvem sob controle rigoroso do endpoint.

2. Metodologia

O framework proposto é um fluxo de trabalho de inferência colaborativa borda-nuvem com autorização do endpoint. A filosofia central é que o endpoint retém a autoridade sobre o uso do cache KV e realiza computações leves, enquanto a nuvem executa a inferência da camada de decodificador autorizada e projeções de alta dimensão.

2.1 Arquitetura do Sistema e Fluxo de Trabalho

O sistema opera através de um loop colaborativo envolvendo as seguintes etapas:

Pré-processamento no Endpoint: O endpoint realiza a tokenização de entrada, computação de embedding e preparação de recursos adaptáveis ao dispositivo. Ele gera uma tupla de controle de inferência $(flagCache, LCache, dtype, \ell)$ , onde $flagCache $e$ LCache$ autorizam explicitamente se e quantos registros de cache KV históricos a nuvem pode usar.
Preparação de Recursos Adaptáveis ao Dispositivo:
- CPU: Os recursos são particionados em blocos para streaming, permitindo que o endpoint decripte e processe o bloco $k$ enquanto recebe o bloco $k+1$ .
- GPU: Módulos locais são fatiados por camada Transformer ou cabeça de atenção, utilizando paralelismo de tensores e batching local.
- Borda (Edge): Módulos são exportados para ONNX e executados via ONNX Runtime com quantização.
Inferência de Decodificador Autorizada na Nuvem: A nuvem recebe tensores de características criptografados e quantizados e a tupla de controle. Ela realiza a inferência do decodificador usando apenas as entradas de cache KV históricas autorizadas (se houver) e os recursos de entrada atuais.
Projeção de Vocabulário Distribuída: Para evitar a transmissão de logits completos, a cabeça de projeção do vocabulário é dividida ao longo da dimensão oculta:
- O endpoint computa um componente local de baixa dimensão ( $z_{end}$ ).
- A nuvem computa o componente de alta dimensão ( $z_{cloud}$ ).
- Mascaramento Adaptável à Linguagem: Se a geração for restrita a um idioma específico (ex: apenas Chinês), a nuvem retorna apenas os logits para esse subconjunto de vocabulário, reduzindo significativamente o payload de downlink.
Decodificação Especulativa & Verificação: O endpoint utiliza um módulo de rascunho (draft) local leve para propor tokens futuros. A nuvem verifica esses rascunhos contra o modelo alvo sob a janela de cache KV autorizada. Tokens aceitos são commitados ao cache, reduzindo as rodadas de interação.
Fusão e Amostragem: O endpoint funde os logits parciais ( $z = z_{end} + z_{cloud}$ ), aplica o mascaramento de linguagem (atribuindo $-\infty$ aos tokens não autorizados) e realiza a amostragem do próximo token.

2.2 Mecanismos de Segurança e Privacidade

Proteção de Transporte: Todos os payloads de tensores e logits clipados são quantizados (ex: 8-bit) e protegidos via criptografia AES-GCM em trânsito.
LoRA Local no Endpoint: Módulos leves (modelos de rascunho, projeções locais) são adaptados usando LoRA. Seus pesos permanecem estritamente locais ao endpoint, impedindo que a nuvem acesse o conjunto completo de parâmetros da adaptação local.
Autorização Explícita de Cache: O endpoint controla a exposição do contexto histórico. Uma nova sessão pode desabilitar o reuso de cache, e sessões em andamento podem reduzir a janela autorizada com base em requisitos de privacidade.

3. Principais Contribuições

O artigo descreve cinco contribuições primárias:

Fluxo de Trabalho de Cache KV Controlado pelo Endpoint: Um modelo de inferência colaborativa onde o endpoint autoriza explicitamente o uso de entradas de cache KV históricas, evitando a transmissão de prompts brutos ou identificadores de histórico em texto claro.
Projeção de Vocabulário Distribuída: Um design que divide a cabeça de classificador pela dimensão do estado oculto, permitindo que o endpoint compute um componente local e a nuvem compute um componente de alta dimensão sem retornar uma distribuição completa de logits (especialmente sob geração restrita por idioma).
Decodificação Especulativa Integrada: Um mecanismo onde o endpoint hospeda um módulo de rascunho leve e a nuvem verifica os tokens, reduzindo as rodadas de interação e o trabalho de decodificação do lado da nuvem sem expor os parâmetros completos do módulo do lado do endpoint.
Estratégia de Implantação Heterogênea: Um framework unificado que suporta dispositivos puramente CPU (streaming por blocos), dispositivos equipados com GPU (slicing/batching de modelo) e dispositivos de borda embarcados (ONNX Runtime quantizado).
Estratégia de Proteção Combinada: A integração de criptografia de transporte AES-GCM, módulos LoRA locais e autorização explícita de cache para mitigar tanto a exposição no nível de comunicação quanto a de estados ocultos.

4. Resultados Experimentais

Os autores implementaram um protótipo usando um Transformer de apenas decodificador da classe 7B ( $D=4096, V=150.000$ ) e o avaliaram através de perfis de CPU, GPU e Borda sob condições de rede controladas (20ms RTT, 100 Mbps).

Redução de Latência: O framework reduziu a latência por token em até 46,1% comparado à split inference ingênua. Para uma resposta de 128 tokens, as latências foram 19,4s (CPU), 12,3s (GPU) e 21,0s (Borda).
Eficiência de Comunicação: Ao utilizar projeção de vocabulário dividida e mascaramento adaptável à linguagem, o framework reduziu os payloads de downlink em até 67,4% comparado à transferência de logits completos (ex: o modo apenas Inglês reduziu o payload para ~49 KB/token vs. ~146 KB para o vocabulário completo).
Qualidade de Geração: O framework manteve as métricas de tarefa dentro de uma margem pequena em relação ao modelo alvo total na nuvem. O acordo de próximo-token foi de 98,6%, com degradação negligível na perplexidade e nas pontuações de benchmark (MMLU, GSM8K, HumanEval) comparado ao modelo total na nuvem.
Ablação de Componentes: Remover a decodificação especulativa aumentou significativamente a latência (ex: de 96ms para 126ms por token na GPU). Remover a compressão adaptável à linguagem aumentou drasticamente o payload de downlink.

5. Significância e Alegações

O artigo posiciona este trabalho como uma solução prática de nível de sistema para a tensão entre latência, restrições de computação e privacidade na implantação de LLMs.

Praticidade sobre Garantias Formais: Os autores declaram explicitamente que o framework não é um substituto para computação multipartidária segura, criptografia homomórfica ou privacidade diferencial formal. Em vez disso, oferece uma "camada de proteção prática de nível de sistema" que reduz a exposição sob um modelo de ameaça "honest-but-curious" (honesto-mas-curioso).
Capacidade de Implantação: A significância reside em sua capacidade de suportar hardware heterogêneo (desde dispositivos de borda com recursos limitados até GPUs de alto desempenho) mantendo uma qualidade de geração próxima à do modelo total na nuvem.
Trade-off Privacidade-Desempenho: O design demonstra que o controle explícito do endpoint sobre o uso de cache e a projeção de vocabulário pode reduzir significativamente a exposição de dados (prompts brutos, logits completos, pesos locais) sem incorrer em penalidades de latência proibitivas.

O artigo conclui que esta arquitetura colaborativa fornece uma base para sistemas de inferência de LLM implantáveis e conscientes de privacidade, oferecendo uma alternativa equilibrada às soluções puramente na nuvem ou puramente no dispositivo.