Resumo Técnico: Rumo à Inferência Distribuída de LLMs em uma Rede P2P

Declaração do Problema

A inferência de Grandes Modelos de Linguagem (LLMs) é cada vez mais limitada pela computação redundante, e não apenas pelo tamanho do modelo. Na geração autorregressiva, requisições que compartilham prefixos comuns (ex: prompts de sistema, demonstrações de few-shot ou históricos de conversação) exigem estados de cache de Chave-Valor (KV) idênticos. Recalcular esses estados para cada requisição desperdiça ciclos de GPU e aumenta a latência. Embora o cache de prefixo mitigue isso efetivamente em configurações de nó único, escalar para um cluster introduz desafios significativos:

1. Caches Particionados: Em uma implantação de múltiplas réplicas, os caches KV são naturalmente particionados entre os nós. Um prefixo cacheado em um worker não está automaticamente disponível para outros.
2. Gargalos de Roteamento: Soluções existentes dependem de roteadores centralizados (criando um gargalo de escalabilidade e ponto único de falha) ou de armazenamento remoto de cache KV compartilhado (caro devido ao alto custo de largura de banda para transferir tensores KV de grande escala, especialmente para contextos longos).
3. Restrições de Rede: Em ambientes P2P, edge ou heterogêneos, transferir estados KV de escala de gigabytes pode ser impraticável.

O problema central é como rotear requisições para o nó que tem maior probabilidade de deter o cache de prefixo relevante sem coordenação centralizada ou transferências caras de cache KV remoto, enquanto se tolera a latência de rede e metadados obsoletos (stale).

Metodologia

Os autores propõem um esquema de roteamento consciente de cache de prefixo, totalmente descentralizado, para o serviço de LLM em P2P. O sistema opera sob o princípio de que decisões de roteamento podem ser tomadas usando metadados de consistência fraca sem comprometer a correção da inferência.

Arquitetura Central

• Árvores Radix Locais: Cada nó mantém uma árvore radix exata representando os prefixos atualmente cacheados em sua própria memória GPU.
• Estimativas Distribuídas: Cada nó também mantém réplicas aproximadas e de leitura apenas das árvores radix dos pares, que são atualizadas assincronamente via anti-entropia periódica (um protocolo de gossip), onde os nós trocam resumos compactos do estado do cache.
• Lógica de Roteamento: Quando uma requisição chega a um nó, o roteador local consulta sua visão local do cluster para identificar o par com a correspondência de prefixo estimada mais longa.
  • Se uma correspondência melhor for encontrada em um par, a requisição é encaminhada.
  • Se o nó local tiver a melhor correspondência (ou se nenhuma correspondência melhor for conhecida), a requisição é processada localmente.
• Tratamento de Obsolescência (Staleness): O sistema baseia-se em consistência fraca. Metadados obsoletos podem causar o roteamento de uma requisição para um nó que não detém mais o prefixo (uma falha de cache/cache miss), forçando um recálculo. Crucialmente, isso afeta o desempenho (latência), mas não a correção, pois cada nó pode executar o LLM completo de forma independente.

Tratamento de Falhas e Segurança

• Recuperação de Falhas (Crash Recovery): Se uma requisição encaminhada falhar (ex: o nó alvo sofre um crash), o nó de origem detecta a falha via timeouts e recorre à execução local ou ao próximo melhor alvo. Nenhum protocolo de recuperação explícito é necessário para a correção.
• Mitigação de Pontos de Calor (Hotspot Mitigation): Para evitar o "retrocesso de especialista" (specialist push-back, onde um prefixo popular faz com que todo o tráfego inunde um único nó), o sistema emprega um mecanismo de retrocesso. Se a profundidade da fila de um nó exceder um limite, ele anuncia isso em sua transmissão de anti-entropia. Os nós de origem interrompem temporariamente o roteamento para esse nó, permitindo a dispersão da carga.
• Assincronia: O design assume apenas sincronia parcial para vivacidade (liveness) (os timeouts devem eventualmente disparar). A segurança (safety) mantém-se sob execução totalmente assíncrona porque as decisões de roteamento são locais e não bloqueantes.

Principais Contribuições

1. Arquitetura Descentralizada: Um sistema de roteamento totalmente distribuído onde cada nó executa a lógica idêntica e toma decisões locais sem um coordenador centralizado.
2. Replicação de Árvore Radix Aproximada: Um mecanismo para consciência de cache em todo o cluster usando anti-entropia assíncrona para manter estimativas de leitura apenas dos caches dos pares, evitando conflitos de escrita-escrita.
3. Framework de Evitação de Coordenação: O artigo enquadra o roteamento consciente de cache como um problema de evitação de coordenação, demonstrando que a consistência fraca é suficiente porque decisões obsoletas apenas acarretam penalidades de desempenho (falhas de cache), não erros semânticos.
4. Avaliação Empírica: Avaliação em um cluster simulado de quatro nós usando cargas de trabalho MMLU, analisando latência, taxas de acerto de cache e a emergência de ciclos de especialização-evicção.
5. Análise de Tolerância a Falhas: Um argumento formal de que o sistema não requer protocolos de recuperação explícitos para a correção, pois as falhas impactam apenas a vivacidade, não a qualidade da inferência.

Resultados

Experimentos foram conduzidos em um cluster simulado usando o conjunto de dados MMLU com um modelo de 0.5B de parâmetros, focando em cargas de trabalho intensivas em prefill.

• Ponto de Equilíbrio de Latência: O benefício de encaminhar requisições depende fortemente da latência de rede ($\Delta_{comm}$).
  • A 2 ms (condições de LAN), o roteamento descentralizado reduz a latência (0.310s vs 0.323s da linha de base) ao reutilizar efetivamente os caches remotos.
  • A 200 ms e 1000 ms, o custo de ida e volta (round-trip) do encaminhamento excede as economias da reutilização de prefixo, tornando o roteamento prejudicial.
• Desvio de Carga (Workload Skew): O sistema mostra benefícios significativos sob cargas de trabalho desviadas (distribuição Zipfiana).
  • Em cenários desviados com baixa latência, o roteamento reduziu a latência para 0.206s (vs. 0.266s da linha de base).
  • As taxas de acerto de cache melhoraram de ~85% (sem roteamento) para 91.4% (com roteamento) em configurações desviadas, impulsionadas pela formação de nós "especialistas" que acumulam caches profundos para os prefixos dominantes.
• Ciclo de Especialização-Evicção: O estudo observou um ciclo de três fases:
  1. Competição: O tráfego é disperso conforme nenhum nó detém o prefixo.
  2. Especialização: Um nó captura ~100% do tráfego de um tópico conforme seu cache é preenchido.
  3. Evicção: A evicção por LRU desloca o prefixo, causando a redispersão do tráfego.
  • Esta especialização amplifica o desequilíbrio de carga (até 88% do tráfego em um único nó em configurações desviadas), o que é mitigado pelo mecanismo de retrocesso e pela amostragem de anti-entropia mais lenta.

Significância e Alegações

O artigo afirma explorar um novo ponto de design na prestação de serviços de LLM: roteamento de inferência descentralizado, de consistência fraca e consciente de localidade.

• Escalabilidade e Disponibilidade: Ao remover a camada de roteamento centralizada, o sistema evita pontos únicos de falha e escala melhor sob falhas parciais.
• Eficiência de Largura de Banda: Evita o custo proibitivo de transferir grandes tensores KV através da rede, trocando apenas metadados leves.
• Flexibilidade de Implantação: A arquitetura é bem adequada para ambientes P2P, edge e implantações de múltiplos roteadores onde um agendador global é indesejável ou impraticável.
• Escopo Modesto: Os autores reconhecem que preocupações de privacidade no compartilhamento de cache P2P dependem da aplicação e estão fora do escopo deste trabalho. Eles também observam que os benefícios dependem de condições específicas: baixa latência de comunicação, cargas de trabalho intensivas em prefill e distribuições de prefixo desviadas. Em cenários de alta latência ou cargas de trabalho uniformes, os benefícios diminuem ou se invertem.

Em última análise, o trabalho demonstra que a replicação de metadados leves e o roteamento entre pares livre de coordenação podem recuperar grande parte do benefício da reutilização de prefixo, preservando a escalabilidade e a flexibilidade dos sistemas distribuídos.