Resumo Técnico: Desbloqueando a Implantação em Edge e Aceleração On-Device de LLMs Fundacionais Multi-LoRA

1. Problema e Contexto

A implantação de Modelos de Linguagem de Grande Escala (LLMs) em dispositivos móveis (como smartphones) enfrenta desafios de engenharia significativos devido a restrições rigorosas de memória, latência e flexibilidade de tempo de execução.

• Desafio Principal: A adaptação flexível de modelos (via métodos como LoRA - Low-Rank Adaptation) é comum em servidores, mas difícil em dispositivos. Em servidores, modelos podem ser recompilados ou recarregados dinamicamente. Em dispositivos, os grafos de inferência devem ser "congelados" (frozen) para garantir desempenho e baixa latência.
• Limitações Atuais: Soluções existentes exigem múltiplos modelos para diferentes tarefas (aumentando o armazenamento), não são compatíveis com NPUs (Unidades de Processamento Neural) específicas de hardware, ou exigem modelos de rascunho (draft models) adicionais para aceleração, o que consome memória escassa.
• Objetivo: Criar um framework "um para todos" (one-for-all) que permita a inferência de um único modelo fundacional multilíngue, suportando múltiplos casos de uso e idiomas simultaneamente, sem recompilação e com alta eficiência em hardware de ponta (Qualcomm SM8650/SM8750 em Samsung Galaxy S24/S25).

2. Metodologia Proposta

Os autores propõem um framework hardware-consciente que integra otimizações de arquitetura, quantização e novas estratégias de decodificação.

A. Habilitação Multi-LoRA em Tempo de Execução

Diferente da abordagem tradicional onde LoRAs são mesclados estaticamente ao modelo, este trabalho trata os LoRAs como entradas de tempo de execução para um grafo de inferência congelado.

• Abordagem Selecionada: O método escolhido cria um grafo LLM fundacional com "placeholders" (espaços reservados) para os pesos LoRA. Os pesos LoRA são passados como entrada junto com os tokens.
• Vantagem: Permite a troca dinâmica de tarefas (ex: mudar de "correção gramatical" para "resposta inteligente") sem recompilar o modelo ou re-quantizar, mantendo o mesmo binário e reduzindo drasticamente o armazenamento.

B. Otimizações Arquiteturais e de Quantização

Para atender às restrições de hardware (NPU/GPU embarcada):

• Paralelismo de Atenção: A Atenção Multi-Cabeça (MHA) é decomposta em múltiplas atenções de cabeça única (SHA) para permitir execução paralela em núcleos heterogêneos.
• Transformação Linear para Convolucional: Camadas densas (linear) são reinterpretadas como convoluções 1x1. Isso permite o uso de kernels de convolução altamente otimizados presentes em NPUs móveis (algoritmos Winograd, tiling), reduzindo latência e consumo de energia.
• Quantização Mista (INT4/INT8): Utilização de Quantization-Aware Training (QAT). Pesos são quantizados para INT4 (4 bits) e ativações para INT8, equilibrando compressão e precisão.
• Simplificação de Grafos: Constant folding e fusão de operadores para reduzir sobrecarga de memória e computação em tempo de execução.

C. Geração de Tokens Concorrente (CTG)

Para casos de uso que exigem múltiplas variações estilísticas (ex: gerar uma resposta formal, polida e jovial simultaneamente):

• Mecanismo: Em vez de rodar a inferência 8 vezes sequencialmente (uma para cada estilo), o sistema gera 8 fluxos de saída simultaneamente em uma única passagem de decodificação.
• Técnica: Explora o fato de que as variações estilísticas são frequentemente impulsionadas pelo primeiro token. Um esquema de decodificação mascarada modifica a amostragem do primeiro token e permite a geração concorrente de 8 saídas distintas compartilhando o mesmo cache KV (Key-Value) e layout de tensores.
• Resultado: Redução de latência de até 6x para geração estilística.

D. Decodificação Especulativa Dinâmica Auto (DS2D)

Para acelerar a geração de tokens sem depender de um modelo de rascunho externo (que gastaria memória):

• Mecanismo: Utiliza Prefix Tuning para ajustar o modelo fundacional, permitindo que ele gere múltiplos tokens de previsão (forecast tokens) além do token autoregressivo padrão em um único passo.
• Estrutura Árvore: Os tokens previstos formam uma estrutura de árvore baseada em ramificações. O modelo valida os tokens previstos em passos subsequentes.
• Vantagem: Não requer re-treinamento completo do modelo nem um segundo modelo ("draft model"), sendo totalmente compatível com pipelines de inferência congelados. Acelera a taxa de tokens por segundo em até 2,3x.

3. Resultados Principais

Os experimentos foram realizados em dispositivos Samsung Galaxy S24 (chipset SM8650) e S25 (chipset SM8750), utilizando modelos baseados em LLaMA de 1 bilhão e 3 bilhões de parâmetros.

• Desempenho Geral: O sistema alcançou melhorias de 4x a 6x em memória e latência geral em comparação com abordagens não otimizadas, mantendo a precisão.
• Suporte Multilíngue e Multitarefa: Sucesso na execução de 9 idiomas e 8 tarefas diferentes (correção, estilo, resposta inteligente, resumo, saúde, etc.) em um único modelo.
• Aceleração Específica:
  • Geração Concorrente (CTG): Redução de latência de 8x (sequencial) para 1x (concorrente) para variações de estilo.
  • DS2D: Aumento de 2x a 2,3x na taxa de tokens por segundo (throughput) em comparação com a decodificação não especulativa.
• Precisão: A precisão foi mantida dentro de limites aceitáveis. Em testes de avaliação (G-Eval) em 9 idiomas, a precisão relativa (RA) do modelo quantizado (QAT) em relação ao modelo de precisão completa (FP32) variou entre 88% e 109%, demonstrando que a quantização INT4 não degradou significativamente a qualidade da resposta.
• Eficiência de Memória: O modelo "um para todos" ocupou apenas 967 MB de pico de memória no dispositivo, com tempo de carregamento de ~624 ms e latência de primeiro token de ~156 ms.

4. Contribuições Chave

1. Framework Multi-LoRA Dinâmico: Primeira implementação prática de troca dinâmica de LoRAs em tempo de execução em um grafo congelado em dispositivos móveis, eliminando a necessidade de múltiplos binários de modelos.
2. Decodificação Especulativa Sem Modelo de Rascunho: Introdução do DS2D, que acelera a inferência usando prefix tuning interno, evitando o custo de memória de modelos auxiliares.
3. Geração Concorrente de Estilos: Um mecanismo inovador para gerar múltiplas variações de resposta simultaneamente, reduzindo drasticamente a latência para funcionalidades de personalização.
4. Otimização Hardware-Aware: Transformações arquiteturais (MHA para SHA, Linear para Conv) especificamente desenhadas para aproveitar as NPUs da Qualcomm em smartphones comerciais.

5. Significado e Impacto

Este trabalho demonstra a viabilidade prática de implantar LLMs fundacionais complexos e versáteis diretamente em dispositivos de borda (edge), sem dependência de nuvem.

• Viabilidade Comercial: O framework foi comercializado com sucesso na linha Galaxy S25, habilitando recursos de IA Generativa (Samsung Galaxy AI) que funcionam offline.
• Sustentabilidade e Privacidade: Ao mover a inferência para o dispositivo, melhora-se a privacidade dos dados do usuário e reduz-se o consumo de energia e largura de banda da rede.
• Padrão para Edge AI: Estabelece um novo benchmark para a otimização de modelos de IA intensivos em memória, servindo como guia para futuras implementações de IA em dispositivos móveis com recursos limitados.

6. Limitações

• Dimensões LoRA: O design assume que todos os LoRAs têm dimensões idênticas para compatibilidade com o grafo congelado. LoRAs heterogêneos exigiriam construção dinâmica de grafos.
• Embeddings de Previsão Estáticos: No DS2D, os embeddings de previsão são estáticos e não condicionados à sequência de entrada em evolução, o que pode limitar a taxa de aceitação em entradas com alta variância semântica.
• Estilos Pré-definidos: A geração concorrente depende de um conjunto fixo de variantes estilísticas definido no momento da compilação, não suportando estilos definidos dinamicamente pelo usuário sem recompilação.