Resumo Técnico: Predição de Latência Transferível para Triagem Rápida de LLMs em Dispositivos de Borda Heterogêneos

Declaração do Problema

A implantação de Grandes Modelos de Linguagem (LLMs) em dispositivos de borda heterogêneos (ex: telefones móveis, computadores de placa única, GPUs embarcadas) é cada vez mais crítica para aplicações de baixa latência, sensíveis à privacidade e com restrições de conectividade. No entanto, determinar qual modelo é adequado para um dispositivo específico sob requisitos de implantação específicos continua sendo um gargalo significativo de sistemas.

O desafio central é que a latência de inferência de LLM não é determinada apenas pela arquitetura estática do modelo ou pelas capacidades de hardware. Em vez disso, é uma função complexa de:

• Fatores Estáticos: Arquitetura do modelo, escala de parâmetros, formato de quantização e especificações de hardware.
• Fatores Dinâmicos: Comprimento do prompt, comportamento de geração de tokens, Escalonamento Dinâmico de Tensão e Frequência (DVFS), utilização de hardware, pressão de memória e estrangulamento térmico (thermal throttling).
• Fases de Execução: A inferência de LLM consiste em fases distintas de prefill (processamento do prompt e construção do cache KV) e decode (geração autoregressiva de tokens), que exibem características de latência e comportamentos de hardware diferentes.

Uma solução direta — realizar o benchmarking exaustivo de cada modelo candidato em cada dispositivo alvo — é proibitivamente cara devido aos custos de configuração de tempo de execução, conversão de modelo, execução e coleta de telemetria. Os preditores de latência existentes frequentemente dependem apenas de características estáticas, falhando em capturar comportamentos de tempo de execução específicos da plataforma, efeitos de escalonamento e diferenças de execução dependentes do backend. Consequentemente, há necessidade de um framework de predição consciente do tempo de execução (runtime-aware) e transferível que possa realizar a triagem de modelos candidatos antes da execução dispendiosa no dispositivo alvo.

Metodologia

O artigo propõe um framework de predição de latência consciente do tempo de execução projetado para seleção de LLM orientada à implantação em ambientes heterogêneos. O sistema opera através de quatro etapas principais:

1. Representação de Configuração

Cada requisição de inferência é modelada como uma tupla de configuração $c = (m, d, r, p)$, onde:

• $m$: Modelo pré-treinado (família, tamanho, quantização).
• $d$: Dispositivo (perfil de hardware, capacidades de telemetria).
• $r$: Backend de tempo de execução e configurações da plataforma (ex: MLC-LLM, PyTorch, CPU/GPU/NPU).
• $p$: Configuração de prompt/tarefa (comprimento de entrada, comprimento máximo de geração).

2. Arquitetura de Preditor de Caminho Duplo

O framework emprega um preditor transferível com dois ramos complementares fundidos via um mecanismo de portão (gated mechanism):

• Caminho Estático: Codifica descritores estáveis (perfil do dispositivo, descritor do modelo, configuração de implantação) em um embedding estático ($S$). Isso captura a compatibilidade esperada antes da execução.
• Caminho Dinâmico: Processa traços de telemetria de tempo de execução coletados durante o perfilamento (profiling). Crucialmente, aplica modelagem consciente de fase:
  • Traços de prefill são alinhados sob tempo de fase normalizado para reconstruir estados de hardware esparsos e intermitentes (bursty).
  • Traços de decode preservam a ordem temporal para capturar o comportamento autoregressivo.
  • Um codificador temporal agrega esses dados em um embedding dinâmico ($D$).
• Fusão por Portão (Gated Fusion): Uma rede de portão leve calcula pesos adaptativos ($w_s, w_d$) para fundir $S$ e $D$. Isso permite que o modelo dependa mais de informações estáticas quando as configurações são estáveis e mais de dados dinâmicos quando as variações de tempo de execução predominam.
• Cabeça de Regressão: Saída de predição de latência de prefill, latência de decode e latência total.

3. Transferência e Calibração

Para lidar com a implantação entre dispositivos, o sistema utiliza um conjunto de calibração. Um pequeno número de execuções no dispositivo alvo é medido para corrigir vieses específicos do dispositivo. Isso alinha o preditor treinado na origem com a escala de latência e o regime de tempo de execução do dispositivo alvo sem exigir um perfilamento exaustivo.

4. Triagem Baseada em Pareto

A latência prevista é combinada com a precisão do modelo (ou qualidade da tarefa) para realizar a otimização de Pareto. O sistema filtra candidatos dominados (aqueles com pior latência e menor qualidade) para identificar um conjunto compacto de modelos Pareto-ótimos, equilibrando responsividade e qualidade de saída.

Principais Contribuições

1. Formulação: Definiu a predição de latência de LLM como um problema de configuração de hardware-tempo de execução-modelo-prompt, permitindo a predição entre diversos dispositivos, modelos, prompts e backends.
2. Arquitetura: Propôs um preditor transferível consciente do tempo de execução que integra descritores estáticos com telemetria dinâmica, separa comportamentos de prefill/decode via modelagem consciente de fase e utiliza fusão por portão para combinação adaptativa de embeddings.
3. Fluxo de Trabalho: Projetou um fluxo de triagem orientado à implantação que utiliza predições calibradas para filtrar candidatos antes da execução no dispositivo alvo, suportando análise de compromisso entre latência e qualidade.
4. Validação: Construiu e avaliou um pipeline de perfilamento multiplataforma em dispositivos móveis Pixel, Jetson Nano, Orange Pi 5 Pro e uma GPU da classe RTX 3090, validando tanto a precisão de predição móvel quanto a cobertura de perfilamento heterogêneo.

Resultados Experimentais

O framework foi avaliado em dispositivos Pixel 8 e Pixel 8 Pro, com validação de perfilamento em Jetson Nano, Orange Pi 5 Pro e hardware da classe RTX 3090.

• Predição Dentro do Mesmo Dispositivo: No Pixel 8, o preditor completo melhorou o $R^2$ da latência total de 0,953 para 0,960 e o $R^2$ da latência de decode de 0,957 para 0,973 em comparação com um baseline puramente estático. No Pixel 8 Pro, melhorou significativamente o $R^2$ da latência de prefill de -1,383 para 0,966.
• Transferência entre Dispositivos: A calibração provou ser essencial. Sem ela, os valores de $R^2$ de transferência eram frequentemente negativos (ex: -0,974 para a latência total do Pixel 8 Pro $\to$ Pixel 8). Com a calibração, o $R^2$ melhorou para 0,940.
• Perfilamento Heterogêneo: Os resultados confirmaram que a latência é altamente dependente do dispositivo e do tempo de execução. Por exemplo, o modelo SmolLM2-1.7B alcançou 64,38 tokens/s em uma GPU da classe RTX 3090, mas apenas 8,42 tokens/s em um Orange Pi 5 Pro. Além disso, na RTX 3090, modelos menores nem sempre foram mais rápidos, indicando que o overhead de kernel e o comportamento de memória podem dominar a escala de contagem de parâmetros.
• Estudos de Ablação: Confirmaram que descritores estáticos sozinhos são insuficientes para a transferência entre dispositivos e que a calibração é o fator mais crítico para estabilizar as predições. A modelagem consciente de fase proporcionou benefícios claros para a predição de latência de prefill.
• Eficiência de Triagem: O preditor reduziu com sucesso o conjunto de modelos candidatos (razões de filtragem de 0,333 e 0,500 nos cenários testados) enquanto preservava os melhores modelos viáveis.

Significância e Alegações

O artigo afirma que a predição consciente do tempo de execução com calibração leve pode reduzir significativamente o custo de perfilamento e suportar a implantação de LLMs consciente da latência em plataformas de borda heterogêneas.

• Impacto Prático: O framework aborda o "gargalo de sistemas" da seleção de modelos ao substituir o benchmarking exaustivo por um processo de triagem preditiva.
• Necessidade de Dinâmicas: Os resultados demonstram que modelos estáticos sozinhos não conseguem capturar a complexa interação de DVFS, estrangulamento térmico e escalonamento de tempo de execução que dita o desempenho de dispositivos de borda.
• Transferibilidade: O sistema demonstra que um preditor treinado em dispositivos de origem pode generalizar para dispositivos de destino de forma eficaz, desde que um pequeno conjunto de calibração seja usado para alinhar as escalas de latência.
• Loop de Implantação: O trabalho enquadra a predição de latência não como uma tarefa de regressão isolada, mas como um componente de um sistema de implantação de ciclo fechado que melhora iterativamente as decisões com medições limitadas.

Os autores observam limitações, incluindo o fato de que os resultados de predição mais completos baseiam-se no conjunto de dados móvel Pixel, enquanto outras plataformas serviram primariamente para validação de perfilamento. O trabalho futuro é identificado como a extensão do framework para considerar conjuntamente throughput, memória e energia além da latência.