Resumo Técnico: Lever – Inferência Especulativa de LLM em Smartphones

Declaração do Problema

A implantação de Modelos de Linguagem de Grande Escala (LLMs) de alta qualidade em smartphones é fundamentalmente limitada pela capacidade restrita de DRAM. Embora os modelos mais avançados contenham bilhões de parâmetros, smartphones comuns oferecem tipicamente apenas ~10 GB de DRAM, grande parte da qual é compartilhada com o sistema operacional e outros aplicativos. Embora o descarregamento de pesos do modelo para armazenamento flash permita modelos maiores, isso introduz um gargalo de desempenho severo: a decodificação autoregressiva requer invocações repetidas do modelo, e o carregamento de pesos do flash para cada geração de token resulta em latência de E/S proibitiva.

Os métodos existentes de decodificação especulativa, que utilizam um pequeno modelo rascunho para propor tokens e um modelo alvo maior para verificá-los, são inadequados para este ambiente. Eles são projetados para hardware de classe servidor, onde ambos os modelos residem em memória de alta largura de banda e a verificação explora paralelismo abundante. Em dispositivos móveis, esses métodos falham porque:

1. Comunicação Limitada pelo Flash: A verificação requer o carregamento de pesos alvo do flash, tornando a latência de E/S o custo dominante em vez do cálculo.
2. Cálculo Limitado por Paralelismo: As NPUs móveis oferecem significativamente menos paralelismo do que as GPUs de servidor, tornando a verificação de grandes árvores de tokens computacionalmente cara.
3. Execução Irregular: A especulação de árvores de tokens introduz ramificação irregular e estruturas dinâmicas que não se alinham bem com as operações tensoriais fixas e regulares otimizadas para NPUs móveis.

Metodologia: O Sistema Lever

Os autores apresentam o Lever, um sistema de ponta a ponta que otimiza conjuntamente as três etapas da decodificação especulativa (rascunho, verificação e execução) especificamente para a hierarquia de memória heterogênea DRAM-flash e o hardware CPU-NPU móvel.

1. Construção de Rascunho Otimizada para Móveis

O Lever redefine o objetivo de construção da árvore de tokens. Em vez de maximizar a taxa de aceitação de tokens de rascunho (como nos métodos de servidor), o Lever otimiza para tokens de saída esperados por unidade de latência do ciclo especulativo.

• Modelagem de Ganho-Custo: O Lever estima o ganho marginal (probabilidade de um token ser aceito) e o custo marginal (latência de geração do rascunho + verificação alvo) para cada expansão potencial da árvore.
• Expansão Gananciosa: Usando um algoritmo ganancioso, o Lever expande a árvore de tokens selecionando nós de fronteira com a maior relação ganho-custo. Isso garante que o tamanho da árvore seja equilibrado: grande o suficiente para amortizar o E/S caro do flash, mas pequeno o suficiente para não sobrecarregar os recursos de computação móveis com sobrecarga excessiva de verificação.
• Parada Adaptativa: A expansão para quando o ganho marginal do próximo melhor candidato cai abaixo da taxa de ganho média da árvore atual, evitando restrições de orçamento fixo.

2. Poda de Verificação Baseada em Preditor

Para mitigar o gargalo de computação de verificar grandes árvores de tokens em SoCs móveis, o Lever introduz um mecanismo de saída antecipada.

• Preditor Intermediário: Um preditor de rede neural leve é anexado a uma camada intermediária do modelo alvo. Ele pontua ramos de rascunho com base em estados ocultos para prever quais ramos provavelmente sobreviverão à verificação final.
• Candidatos Sombra e Normalização: Para garantir a confiabilidade da pontuação mesmo quando um nó pai tem poucos filhos, o Lever inclui "candidatos sombra" (tokens de rascunho não presentes na árvore) no processo de normalização. Isso evita pontuações altas triviais para nós de filho único.
• Poda Conservadora: Ramos com pontuações previstas baixas são podados antes de percorrer as camadas alvo restantes. Um "caminho principal" é preservado para garantir que a árvore mantenha profundidade, e salvaguardas impedem a poda excessivamente agressiva que descartaria sequências válidas. Isso reduz o cálculo de verificação enquanto mantém a correção da saída, pois a aceitação final do token ainda é determinada pelo modelo alvo completo.

3. Aceleração de Execução Híbrida de Hardware

O Lever reestrutura o fluxo de execução para maximizar a utilização tanto da CPU quanto da NPU.

• Rascunho Consciente de Lotes: Embora o rascunho seja tradicionalmente limitado pela CPU, o Lever identifica que, à medida que a árvore de tokens cresce, múltiplos nós de fronteira de alto valor podem ser expandidos simultaneamente. Ele agenda essas expansões em lotes na NPU para melhorar a vazão, enquanto lida com expansões pequenas e dinâmicas na CPU.
• Separação por Camada na Verificação: O Lever desacopla as camadas do transformador da projeção de saída.
  • NPU: Executa as camadas do transformador para todos os nós preservados de maneira em lote.
  • CPU: Realiza a projeção de saída (geração de logits) sob demanda apenas ao longo do caminho aceito real. Isso evita o cálculo redundante de logits para ramos que são finalmente rejeitados, uma fonte significativa de ciclos desperdiçados em NPUs móveis com formas de lote fixas.

Contribuições Principais

1. Análise em Nível de Sistema: O artigo identifica que a decodificação especulativa em dispositivos móveis exige uma mudança da otimização algorítmica para o co-design algoritmo-sistema, abordando especificamente os trade-offs entre latência de E/S do flash, paralelismo limitado e padrões de execução irregulares.
2. O Sistema Lever: Um sistema inovador integrando três componentes otimizados:
   • Um objetivo de ganho-custo para construção de árvores de tokens consciente de dispositivos móveis.
   • Um mecanismo de poda baseado em preditor para reduzir a computação de verificação.
   • Uma estratégia de execução híbrida CPU-NPU que minimiza o cálculo redundante e maximiza a utilização do hardware.
3. Avaliação Abrangente: Experimentos extensivos demonstrando a eficácia do Lever em múltiplos modelos (Llama-3.1-8B, variantes Qwen3), tarefas (código, matemática, diálogo) e plataformas de hardware (Snapdragon 8 Gen 3, 8 Elite).

Resultados

As avaliações foram conduzidas em smartphones comerciais (OnePlus 12, Honor 500 Pro, Honor Magic V5) usando modelos quantizados Q4_0.

• Redução de Latência: O Lever reduz a latência de inferência em uma média de 2,93× em comparação com a inferência autoregressiva baseada em flash (Flash-AR) de linha de base.
• Melhoria sobre Decodificação Especulativa: O Lever alcança um aumento de velocidade de 1,50× sobre métodos convencionais de decodificação especulativa (Chain-SD) e 1,27× sobre o EdgeLLM, uma linha de base específica para dispositivos móveis.
• Eficiência: O sistema reduz com sucesso a lacuna de latência entre inferência baseada em flash e inferência residente em memória. Estudos de ablação confirmam que todos os três componentes (otimização de rascunho, poda e execução híbrida) são necessários para alcançar esses ganhos.
• Robustez: O Lever mantém o desempenho em orçamentos de DRAM variados (0% a 100% das camadas na DRAM), diferentes qualidades de modelos de rascunho e comprimentos de saída variados.

Significado

O artigo afirma que o Lever demonstra a viabilidade de executar LLMs de alta qualidade e grandes parâmetros diretamente em smartphones sem depender de servidores em nuvem. Ao tratar a decodificação especulativa como um problema de sistemas e não apenas algorítmico, o Lever gerencia efetivamente as restrições das hierarquias de armazenamento móveis e unidades de computação heterogêneas. Isso habilita aplicações de LLM interativas, que preservam a privacidade e são economicamente viáveis (como assistência de digitação e edição interativa) que anteriormente eram impraticáveis devido a limitações de memória e latência.