Resumo Técnico: Inferência Eficiente de dLLM em Dispositivos com NPU Móvel

1. Definição do Problema

Embora os Modelos de Linguagem de Difusão (dLLMs) ofereçam uma alternativa promissora aos modelos autorregressivos ao permitir a geração paralela de tokens, sua implantação em dispositivos móveis enfrenta obstáculos significários. Diferente da decodificação autorregressiva, que gera tokens sequencialmente, os dLLMs realizam o refinamento iterativo de sequências mascaradas. Esse processo introduz três desafios específicos ao visar NPUs (Unidades de Processamento Neural) móveis:

1. Comprometimento de Tokens e Redução de Carga de Trabalho: Na decodificação por blocos dos dLLMs, à medida que o processo de denoising progride, o número de tokens mascarados restantes em um bloco diminui. Isso leva a "etapas de cauda" (tail steps) onde a carga de trabalho efetiva é pequena demais para utilizar plenamente os motores de tensores de alto rendimento da NPU, resultando em uma má amortização do hardware.
2. Revisão de Tokens e Reuso de Cache KV: Os dLLMs exigem o refinamento iterativo dos estados dos tokens. Tokens comprometidos precocemente em um bloco ainda podem precisar de revisão conforme mais contexto se torna disponível. Isso cria atualizações esparsas e irregulares no cache de Chave-Valor (KV), que interrompem os padrões de execução densos e regulares preferidos pelas NPUs.
3. Acesso à Memória e Restrições de Espaço de Endereçamento: As NPUs móveis possuem um espaço de endereçamento virtual (VA) limitado. A inferência de dLLM requer a troca frequente de pesos do modelo, caches KV e ativações entre a memória do sistema e a NPU. Isso acarreta sobrecargas custosas de remapeamento e transferência de dados que podem anular os benefícios computacionais da aceleração por NPU.

Soluções existentes frequentemente dependem de um offloading ingênuo para a NPU, o qual falha em abordar a natureza dinâmica da inferência de dLLM contra o modelo de execução estático e baseado em tiles das NPUs móveis.

2. Metodologia: llada.cpp

Os autores propõem o llada.cpp, o primeiro framework de inferência consciente de NPU projetado para alinhar a natureza de decodificação paralela dos dLLMs com as características de execução das NPUs móveis. O framework integra três técnicas principais:

A. Decodificação Especulativa Multi-Bloco

Para abordar o problema da redução de carga de trabalho nas fases finais da decodificação, o llada.cpp expande dinamicamente a janela de execução.

• Mecanismo: Em vez de limitar o forward pass da NPU ao bloco atual, o sistema incorpora especulativamente tokens de blocos futuros na janela de decodificação atual.
• Estratégia: Emprega Deslizamento Contínuo (deslocando a janela para a direita conforme os tokens são comprometidos) e Lookahead Adaptativo (expandindo proativamente a janela para incluir blocos futuros quando a contagem de tokens mascarados do bloco atual cai abaixo de um limite).
• Benefício: Isso mantém uma alta densidade de tokens ativos para a NPU, garantindo que os custos fixos (lançamentos de kernels, transferências de dados) sejam amortizados sobre uma carga de trabalho maior e produtiva, sem violar a semântica original de decodificação.

B. Revisão Progressiva de Caminho Duplo

Para lidar com a irregularidade das revisões de tokens sem travar a NPU, o framework desacopla a computação densa das atualizações esparsas.

• Estabilização de Tokens em Estágios: Os tokens transitam por três estados: Invisível (mascarado/baixa confiança), Visível (predição concreta, mas revisável) e Estável (confiável para reuso de longo prazo).
• Execução de Caminho Duplo:
  • Caminho NPU: Dedicado ao denoising denso do bloco atual.
  • Caminho CPU: Lida com atualizações esparsas para tokens "Visíveis" que requerem revisão. A CPU recomputa assincronamente a confiança, atualiza os estados KV e atualiza as identidades dos tokens usando kernels especializados que interpretam layouts em tiles específicos da NPU (HMX).
• Pulo de Logits Seletivo: Para reduzir ainda mais a carga da CPU, o sistema pula a projeção de saída e a estimativa de confiança para tokens que já atingiram o estado "Estável".
• Fusão Adiada: As entradas KV atualizadas pela CPU são mescladas ao cache de prefixo apenas em limites de etapa (step boundaries), evitando sincronização de granularidade fina.

C. Runtime de Memória Otimizado para Troca (Swap)

Para mitigar o espaço de endereçamento limitado da NPU e as sobrecargas de transferência, o framework otimiza o gerenciamento de memória.

• Mapeamento de Buffer Guiado por Grafo: O runtime analisa o grafo computacional para classificar tensores como "longa duração" (pesos, cache KV) ou "curta duração" (ativações). Ele utiliza métricas de perfil para determinar quais objetos permanecem residentes no espaço de VA visível pela NPU e quais são mapeados temporariamente, minimizando a fragmentação.
• Transferência de Dados Baseada em Pipeline: O sistema emprega double-buffering de estágio. Enquanto a NPU executa os operadores, o host prepara os descritores de buffer e transfere dados para o próximo operador em um slot de estágio separado. Isso sobrepõe o movimento de dados e os custos de mapeamento com a computação, ocultando a latência.

3. Principais Contribuições

O artigo reivindica as seguintes contribuições:

• Identificação de Desalinhamento: Caracteriza o desalinhamento fundamental entre os modelos de execução estáticos de NPU móvel e a decodificação dinâmica por blocos dos dLLMs, destacando especificamente os desafios de comprometimento de tokens, revisão e acesso à memória.
• Framework llada.cpp: Introduz o primeiro framework de inferência consciente de NPU para dLLMs em smartphones, combinando inovações algorítmicas (decodificação especulativa, revisão progressiva) com otimizações de nível de sistema (runtime de memória).
• Avaliação Abrangente: Valida o framework em diversas plataformas de hardware (Qualcomm SM8650, SM8750, SM8850) e cargas de trabalho (LLaDA-8B, Dream-7B), demonstrando a tradução eficaz do paralelismo de dLLM em redução de latência.

4. Resultados

A avaliação foi realizada em smartphones, incluindo o OnePlus Ace5 Pro (SM8750). As principais descobertas incluem:

• Redução de Latência: O llada.cpp reduz a latência de geração de ponta a ponta do LLaDA-8B em 17× a 42× em comparação com uma linha de base de CPU com reuso de cache KV de prefixo.
• Comparação com Modelos Autorregressivos: Em SoCs mais novos (SM8750, SM8850), o llada.cpp alcança até 3.9× de aceleração sobre um modelo autorregressivo de mesmo tamanho (Llama-3-8B) rodando no mesmo hardware, destacando a vantagem do paralelismo de difusão em NPUs móveis.
• Preservação de Qualidade: O framework mantém a qualidade de geração comparável às linhas de base de CPU. Estudos de ablação mostram que, embora a decodificação especulativa multi-bloco sozinha possa reduzir ligeiramente a precisão devido ao uso prematuro de tokens futuros, o mecanismo de revisão progressiva de caminho duplo recupera a qualidade ao manter os tokens iniciais revisáveis.
• Eficiência Energética: Ao fornecer trabalho paralelo suficiente para a NPU, o llada.cpp reduz tanto a potência média quanto a energia por requisição. Em contraste, rodar modelos autorregressivos em NPUs mostrou maior consumo de energia devido ao overhead de agendar cargas de trabalho sequenciais pequenas.
• Escalabilidade: O sistema lida com sucesso com execuções de longa saída (até 512 tokens) e diferentes arquiteturas de dLLM (Dream-7B), provando a robustez do gerenciamento de memória e das estratégias de decodificação.

5. Significância e Alegações

O artigo posiciona o llada.cpp como um passo crítico para tornar os dLLMs práticos para aplicações móveis sensíveis à latência. Argumenta-se que a "computação paralela repetida" dos dLLMs, muitas vezes vista como um passivo, pode ser convertida em uma vantagem ao aproveitar as capacidades de computação de tensores das modernas NPUs móveis.

Os autores enfatem que simplesmente fazer o offloading de dLLMs para NPUs é insuficiente; o sucesso exige uma abordagem de co-design que respeite as restrições do hardware (formas de tiles estáticas, espaço de endereçamento limitado) enquanto explora as forças do algoritmo (denoising paralelo). O trabalho demonstra que, com as otimizações de sistema corretas, os dLLMs podem superar os modelos autorregressivos tradicionais em dispositivos móveis, oferecendo um caminho para IA de baixa latência, preservação de privacidade e acessibilidade em smartphones.