Privacy-Aware Split Inference with Speculative Decoding for Large Language Models over Wide-Area Networks

1. O Problema

A adoção de Grandes Modelos de Linguagem (LLMs) em setores sensíveis (saúde, defesa, jurídico, financeiro) cria um dilema fundamental: usar modelos poderosos hospedados na nuvem expõe dados confidenciais, enquanto executar modelos menores localmente sacrifica a capacidade do modelo.

• Limitações das Soluções Atuais: Abordagens de privacidade existentes, como Criptografia Homomórfica e Computação Multi-Parte Segura (MPC), impõem uma sobrecarga computacional proibitiva (100x a 1000x mais lenta).
• Desafio da Inferência Dividida (Split Inference): Embora a divisão do modelo entre um dispositivo local confiável e um servidor de nuvem não confiável seja uma alternativa promissora, ela enfrenta um gargalo crítico em redes de área ampla (WAN). Como a geração de tokens em LLMs é autoregressiva, cada token gerado exige uma viagem de ida e volta (Round-Trip Time - RTT) completa pela rede. Com latências típicas de WAN (80-100ms), a taxa de geração cai para ~8-11 tokens/segundo, tornando a interação em tempo real inviável.

2. Metodologia

O sistema proposto combina Inferência Dividida com Decodificação Especulativa (Lookahead Decoding) para mitigar a latência de rede sem comprometer a privacidade.

Arquitetura do Sistema

• Divisão Assimétrica: O modelo é particionado de forma que as camadas de embedding (conversão de token para vetor) e unembedding (conversão de vetor para token) permaneçam estritamente no dispositivo local.
  • Local (GPU Confiável): Processa as camadas iniciais (0-1) e finais (N-2 a N-1), além da normalização e cabeça de linguagem (LM Head). O dispositivo local nunca envia tokens brutos ou embeddings para a nuvem.
  • Nuvem (GPU Não Confiável): Executa as camadas intermediárias (computationally intensive).
  • Dados em Trânsito: Apenas ativações intermediárias (vetores de ponto flutuante de alta dimensão, ~8KB por token) são transmitidas. Sem acesso às matrizes de embedding/unembedding locais, a nuvem não pode mapear essas ativações de volta aos tokens originais.
• Protocolo de Transporte: Utiliza WebSockets binários com tensores float16 para minimizar a sobrecarga de serialização e handshake, evitando o overhead de HTTP/JSON.
• Decodificação Lookahead (Lookahead Decoding): Adaptada para amortizar a latência de rede.
  • Em vez de esperar por um token por RTT, o sistema utiliza iterações de Jacobi para gerar candidatos de n-gramas.
  • Múltiplos tokens candidatos são verificados em paralelo durante uma única viagem de ida e volta. Se os candidatos forem aceitos, a latência de rede é amortizada por vários tokens (1 a 5 tokens por iteração).
  • Isso transforma o custo de uma RTT cara (~100ms) em um custo por token muito menor.

Engenharia de Implantação

O artigo destaca que a arquitetura de rede do provedor de nuvem é mais crítica que a distância geográfica. Provedores que usam proxies SSH (ex: VAST.ai) introduzem latência excessiva (200-400ms), enquanto provedores com acesso SSH direto (ex: RunPod) permitem latências de 80-100ms. O sistema utiliza túneis SSH para gerenciar IPs efêmeros e NAT.

3. Principais Contribuições

1. Sistema Prático de Inferência Dividida: Demonstra a viabilidade de inferência interativa (8-9 tok/s) em WANs de ~80ms usando GPUs de consumo (RTX 3090) e modelos de 7B/12B parâmetros.
2. Integração Lookahead + Split Inference: Primeira aplicação de decodificação especulativa para amortizar latência de rede, não apenas ociosidade de GPU.
3. Validação de Escala: Prova que o método escala para modelos de 12B (Mistral NeMo) com apenas 4.9 GB de VRAM local e taxas de aceitação consistentes (1.21–1.25 tokens/etapa).
4. Verificação de Qualidade: Confirma formalmente que a decodificação lookahead produz saída idêntica à decodificação sequencial sob greedy argmax, sem degradação de qualidade.
5. Modelo de Decomposição de RTT: Introduz um modelo matemático que separa o tempo de parede em RTT (dependente do provedor) e sobrecarga fixa (independente de RTT), permitindo projeções precisas de desempenho (<6.2% de erro).
6. Avaliação Empírica de Privacidade: Quantifica a vulnerabilidade a ataques de inversão, mostrando que aumentar a profundidade local reduz a recuperação de tokens.

4. Resultados Experimentais

Desempenho

• Mistral 7B (RTT ~80ms):
  • Decodificação Sequencial: ~10.9 tok/s.
  • Com Lookahead: 13–17 tok/s (em links de baixa latência) e 8.7–9.3 tok/s (em links padrão).
• Mistral NeMo 12B (RTT ~80ms):
  • Desempenho comparável ao 7B (7.8–8.7 tok/s), apesar de ter 1.7x mais parâmetros, pois o tempo de computação na nuvem aumenta menos que a latência de rede.
• Projeções: Em RTTs de 20ms (co-localização regional), o sistema projeta 15–19 tok/s, atingindo velocidades de interação em tempo real.
• Eficiência de Especulação:
  • Taxa média de aceitação: 1.2–1.3 tokens por etapa.
  • Pico em código: Até 7 tokens aceitos em uma única etapa (média de 1.43–1.57 tokens/etapa).
  • Textos criativos têm taxas menores (~1.12), mas ainda superam a linha de base.

Privacidade e Segurança

• Ataque de Inversão: Um atacante com acesso às ativações intermediárias e pesos locais (hipótese de servidor semi-honesto) consegue recuperar:
  • ~59% dos tokens com uma divisão de 2 camadas locais.
  • ~35% dos tokens com uma divisão de 8 camadas locais.
• Conclusão de Privacidade: Embora não ofereça garantias criptográficas, a arquitetura garante que tokens brutos nunca deixam o dispositivo. Aumentar a profundidade local (ex: 8 camadas) oferece um equilíbrio prático entre privacidade e desempenho, reduzindo drasticamente a eficácia de ataques de inversão.

Análise de Escala

• A razão entre RTT e tempo de computação na nuvem melhora para modelos maiores. Para modelos de 70B+ e 405B, o tempo de computação na nuvem se aproxima ou supera a latência de rede, tornando a sobrecarga da inferência dividida menos significativa em termos relativos.

5. Significado e Impacto

Este trabalho preenche uma lacuna crítica entre a teoria de privacidade e a implantação prática de LLMs em ambientes corporativos:

1. Viabilidade Comercial: Demonstra que é possível usar modelos de ponta (7B-12B+) com privacidade de dados em redes públicas sem a sobrecarga de criptografia homomórfica.
2. Engenharia de Sistemas: Destaca que a infraestrutura de rede (túneis SSH, escolha de provedor) é tão crítica quanto o algoritmo para o desempenho em cenários divididos.
3. Caminho para o Futuro: Oferece um modelo de "parceria" onde provedores de nuvem podem oferecer serviços de inferência para setores regulados (HIPAA, ITAR) que atualmente não podem usar APIs de nuvem padrão, garantindo que os dados brutos nunca saiam do perímetro do cliente.

Em resumo, o sistema propõe uma solução "pronta para uso" que equilibra privacidade arquitetural, desempenho aceitável e escalabilidade, tornando a inferência de LLMs segura em WANs uma realidade prática.