Resumo Técnico: Dooly

Declaração do Problema

A implantação de sistemas de inferência de Modelos de Linguagem de Grande Escala (LLM) exige navegar por um vasto espaço de configuração que abrange hardware, motores de serviço, backends de atenção, arquiteturas de modelos e características da carga de trabalho. Nenhuma configuração única é ótima para todas as cargas de trabalho; as classificações de desempenho frequentemente se invertem com base no comprimento da sequência ou no tipo de modelo, tornando essencial a avaliação pré-implantação.

Os simuladores baseados em perfis atuais, a ferramenta padrão para essa avaliação, enfrentam duas limitações críticas que impedem uma exploração eficiente:

1. Dependências de Configuração Estáticas: Os simuladores existentes codificam rigidamente o conjunto de operações e argumentos de entrada para configurações específicas. Qualquer alteração na pilha de software (por exemplo, um novo motor de serviço ou backend de atenção) ou na arquitetura do modelo exige retrabalho manual para restaurar a cobertura.
2. Alta Sobrecarga de Perfilamento: Os simuladores falham em reconhecer quando diferentes configurações invocam computações semanticamente idênticas. Consequentemente, eles reperfilam cada operação do zero para cada novo modelo ou backend. Por exemplo, o perfilamento de quatro modelos de tamanho similar com um único backend pode levar quase 28 horas de relógio em uma única GPU A100, escalando linearmente com o número de modelos.

Essas limitações decorrem da falta de compreensão estrutural da inferência de LLM: especificamente, que as dimensões de entrada são derivadas de configurações fixas do modelo ou de características variáveis da solicitação, e que muitos valores de configuração do modelo (por exemplo, tamanho da cabeça, número de camadas) se repetem em diferentes modelos, levando a uma redundância significativa no perfilamento.

Metodologia

Os autores propõem o Dooly, um framework para perfilamento agnóstico à configuração e consciente de redundância. O Dooly explora a recorrência estrutural de operações entre configurações para eliminar execuções de perfilamento redundantes. O sistema opera através de três componentes principais:

1. Executor Corrompido (Anotação Semântica)

Para distinguir entre parâmetros fixos do modelo e entradas variáveis de solicitação, o Dooly emprega propagação de corrupção.

• Corrupção na Origem: O sistema intercepta os pontos de entrada do motor de serviço (por exemplo, ModelConfig e lógica de processamento de solicitações) para rotular valores. Parâmetros de configuração do modelo são marcados com MODEL_CONFIG, enquanto valores dependentes da solicitação (contagens de tokens, tamanhos de lote) são marcados com NUM_TOKS e NUM_REQS.
• Propagação: À medida que a passagem de inferência é executada, essas corrupções propagam-se através de operações aritméticas e de tensores. Regras são definidas para como as corrupções se combinam (por exemplo, multiplicar um tamanho de lote por uma dimensão de cabeça resulta em uma corrupção composta MIX).
• Anotação de Rastreamento: O rastreamento resultante anota cada dimensão de tensor com sua origem, permitindo que o sistema identifique quais dimensões são invariantes entre cargas de trabalho e quais são variáveis.

2. Localizador de Conjunto de Operações (Resolução de Granularidade)

Este componente analisa o rastreamento corrompido em um grafo de chamadas hierárquico para determinar a granularidade mais fina na qual as operações podem ser perfiladas isoladamente.

• Construção de Hierarquia: O rastreamento é podado para colapsar subárvores estruturalmente idênticas (por exemplo, camadas de transformador repetidas) em representantes canônicos.
• Teste de Executabilidade: O sistema tenta executar operações folha (kernels individuais) isoladamente. Se uma operação falhar devido à falta de estado de tempo de execução (por exemplo, memória de cache KV ou metadados de atenção), o sistema recua para seu módulo pai.
• Resolução de Contexto: Para operações com estado que não podem ser executadas isoladamente, o Dooly reutiliza o próprio código de inicialização do motor de serviço para reconstruir o contexto de tempo de execução necessário, eliminando a necessidade de instrumentação manual.

3. Perfilador Consciente de Duplicação (Correspondência de Assinatura)

Este componente elimina o perfilamento redundante identificando operações semanticamente equivalentes entre diferentes configurações.

• Geração de Assinatura: Uma operação é identificada unicamente por um hash de assinatura composto por:
  1. O nome da operação e suas dimensões corrompidas por MODEL_CONFIG (fixadas pela arquitetura).
  2. O conjunto de símbolos de kernel de GPU despachados (capturando a seleção de kernel específica do backend).
  3. Um resumo de atributos de nível de módulo (por exemplo, tamanho da janela deslizante) para ramificação em tempo de execução.
     Nota: Dimensões dependentes da carga de trabalho (NUM_TOKS, NUM_REQS) são excluídas da assinatura, pois elas parametrizam a varredura, não a identidade da operação.
• Perfilamento Seletivo: Antes de despachar uma medição, o perfilador verifica o banco de dados de latência. Se uma assinatura já existir, a operação é ignorada. Apenas assinaturas únicas são perfiladas em intervalos definidos pelo usuário de comprimentos de sequência e tamanhos de lote.
• Banco de Dados de Latência: Os resultados são armazenados em um banco de dados SQLite indexado por hash de assinatura. Este banco de dados serve como um backend plug-and-play para simuladores existentes, que treinam modelos de regressão por assinatura para prever latência.

Contribuições Principais

• Perfilamento Agnóstico à Configuração: O Dooly extrai dinamicamente operações e as perfila sem codificar rigidamente modelos, permitindo suportar novos modelos, backends e motores de serviço sem retrabalho manual.
• Eliminação de Redundância: Ao usar propagação de corrupção para distinguir dimensões derivadas do modelo das derivadas da solicitação, o Dooly detecta operações equivalentes entre diferentes modelos e configurações, reduzindo o esforço de perfilamento.
• Isolamento de Operações com Estado: Através da resolução hierárquica de contexto, o Dooly isola operações complexas dependentes de estado (como kernels de atenção) reutilizando a lógica interna de inicialização do motor de serviço, evitando a necessidade de reconstrução manual de contexto.
• Integração Plug-and-Play: O banco de dados de latência resultante treina modelos de regressão que simuladores existentes podem adotar como backend para realizar simulação ponta a ponta.

Resultados

Os autores avaliaram o Dooly em duas plataformas de GPU (NVIDIA A100 e H100), três backends de atenção (FlashInfer, FlashAttention, TritonAttention) e 12 arquiteturas de modelo diversas (incluindo famílias densas, MoE e heterogêneas).

• Precisão de Simulação: Quando integrado a um simulador (DoolySim), o sistema prevê o Tempo até o Primeiro Token (TTFT) com um Erro Percentual Absoluto Médio (MAPE) dentro de 5% e o Tempo por Token de Saída (TPOT) dentro de 8% em comparação com medições ao vivo. Também reproduz decisões de agendamento de lote com um MAPE abaixo de 0,5%.
• Redução de Sobrecarga de Perfilamento: Em 12 modelos perfilados com três backends de atenção (36 configurações totais), o Dooly reduziu as horas totais de GPU de perfilamento em 56,4% em comparação com uma abordagem ingênua, sem deduplicação.
  • Especificamente, o perfilamento de Llama-3.1-8B e Command-R7B levou 5,2 horas de GPU com o Dooly versus 8,1 horas de forma ingênua.
  • O sistema identificou apenas 100 assinaturas únicas entre 612 ocorrências totais de operadores, com assinaturas de atenção representando 95% do tempo economizado.
• Escalabilidade: Uma vez que alguns modelos exercitam as configurações de atenção distintas em um corpus, modelos subsequentes adicionam sobrecarga negligenciável (menos de 0,2 horas de GPU) à medida que herdam assinaturas existentes.

Significado e Alegações

O artigo afirma que o Dooly muda fundamentalmente a economia da simulação de inferência de LLM, migrando de uma abordagem "perfilar-tudo" para uma abordagem "perfilar-o-que-é-único". Ao aproveitar a recorrência estrutural das configurações do modelo, o Dooly permite que pesquisadores e profissionais avaliem estratégias de serviço em uma ampla gama de configurações com custo significativamente reduzido.

Os autores enfatizam que sua abordagem é modesta quanto a impactos mais amplos, afirmando que o trabalho não tem impacto ético ou social significativo além de sua utilidade técnica. Eles reconhecem limitações, como a incapacidade de rastrear operações que contornam o despachador do PyTorch (embora módulos encapsulados permaneçam cobertos) e a suposição de roteamento de especialistas aleatório para modelos MoE, observando que a modelagem de roteamento dependente de dados está fora do escopo do artigo. A contribuição principal é um framework prático que torna a exploração entre configurações viável e eficiente, sem exigir engenharia manual para cada atualização de pilha.