xLLM Technical Report

O artigo apresenta o xLLM, um framework de inferência de LLMs de alto desempenho e escala empresarial que utiliza uma arquitetura desacoplada de serviço e motor com agendamento inteligente, gerenciamento global de KV Cache e otimizações de execução para maximizar a eficiência e o throughput em diversos aceleradores de IA.

O essencial

Imagine que você tem uma fábrica de inteligência artificial gigantesca, onde robôs (os modelos de linguagem) estão constantemente criando respostas para milhões de pessoas ao mesmo tempo. O problema é que, às vezes, a fábrica fica cheia de pedidos urgentes (como um chatbot de atendimento ao cliente) e, outras vezes, tem um monte de tempo livre para fazer tarefas lentas (como analisar documentos antigos).

O xLLM é um novo "sistema operacional" ou um gerente de fábrica superinteligente criado pela JD.com (uma gigante do comércio eletrônico) para organizar essa produção de forma perfeita, rápida e barata.

Aqui está como ele funciona, usando analogias do dia a dia:

1. O Grande Problema: A Fábrica Desorganizada

Antes do xLLM, as fábricas de IA tinham dois grandes problemas:

• O Caos do Horário de Pico: Quando muita gente pede algo ao mesmo tempo (horário de pico), os robôs ficam sobrecarregados e lentos. Quando a multidão vai embora, os robôs ficam ociosos, desperdiçando energia e dinheiro.
• A "Gargalo" da Memória: Para responder rápido, os robôs precisam lembrar de tudo o que foi dito antes (como uma memória de curto prazo). Mas essa memória ocupa muito espaço. Se a memória encher, o robô precisa parar para limpar a mesa, o que deixa tudo lento.

2. A Solução: O xLLM (O Gerente Mágico)

O xLLM divide o trabalho em duas partes principais, como se fosse um Gerente de Loja e uma Equipe de Montagem.

A. O xLLM-Service (O Gerente de Loja Inteligente)

Este é o cérebro que decide quem faz o quê e quando. Ele usa três truques de mágica:

• A "Hora do Almoço" e o "Trabalho Extra" (Co-localização Online/Offline):
  Imagine que você tem uma equipe de entregadores. Durante o dia, eles fazem entregas urgentes (pedidos online). À noite, quando ninguém pede nada, eles ficam parados.
  O xLLM diz: "E se, enquanto eles esperam por um pedido urgente, eles fizerem uma tarefa lenta de organização (trabalho offline)?"

  • O Truque: Se um pedido urgente chega, o gerente para a tarefa lenta instantaneamente e manda o entregador atender o cliente. Assim, ninguém fica parado, mas o cliente urgente nunca espera.

• A "Divisão de Tarefas" Dinâmica (Disaggregation PD/EPD):
  Pense em um restaurante. Antigamente, um único garçom fazia tudo: anotava o pedido, ia à cozinha, trazia a comida e cobrava. Isso era lento.
  O xLLM divide o trabalho:

  • Um grupo só anota pedidos (Prefill).
  • Outro grupo só traz a comida (Decode).
  • Se o restaurante fica cheio de pedidos longos, o gerente transforma alguns "trazedores de comida" em "anotadores de pedidos" na hora, sem precisar demitir ou contratar ninguém. Isso ajusta a equipe perfeitamente ao que está acontecendo agora.

• A "Estação de Memória Compartilhada" (Global KV Cache):
  Imagine que cada garçom tem sua própria pequena mesa de anotações. Se a mesa encher, ele para.
  O xLLM cria uma gigantesca biblioteca central onde todos podem guardar suas anotações. Se um garçom precisa de uma informação que outro já escreveu, ele pega da biblioteca em vez de reescrever tudo. Isso economiza muito espaço e tempo.

B. O xLLM-Engine (A Equipe de Montagem Super-Rápida)

Enquanto o gerente organiza, esta é a equipe que realmente executa o trabalho nos computadores (os aceleradores de IA). Eles são especialistas em não perder tempo:

• A "Fita Mágica" (Pipeline Overlap):
  Em uma fábrica normal, você espera o robô A terminar para o robô B começar.
  O xLLM faz o robô A trabalhar enquanto o robô B já está se preparando. É como uma linha de montagem onde, enquanto você está parando o carro para trocar o pneu, o mecânico já está trocando o óleo do próximo carro. Nada fica parado.

• O "Mapa Pré-Desenhado" (Adaptive Graph Mode):
  Normalmente, o computador precisa perguntar "o que fazer agora?" a cada pequena tarefa, o que gasta tempo.
  O xLLM desenha todo o caminho de uma vez só (um mapa) antes de começar. O robô segue o mapa sem precisar parar para perguntar nada, correndo muito mais rápido.

• A "Caixa de Ferramentas Flexível" (xTensor Memory):
  Em vez de ter caixas de tamanhos fixos que muitas vezes sobram espaços vazios, o xLLM usa caixas que se encaixam perfeitamente no tamanho do objeto, mesmo que o objeto seja de um tamanho estranho. Isso evita desperdício de espaço na memória.

3. Os Resultados: Por que isso importa?

O xLLM não é apenas teórico; ele já está sendo usado na JD.com para coisas reais, como:

• O chatbot JingYan (que ajuda você a comprar coisas).
• Sistemas de recomendação que sugerem produtos.

Os números são impressionantes:

• O xLLM é até 2,2 vezes mais rápido que os sistemas concorrentes atuais.
• Ele consegue atender mais pedidos usando a mesma quantidade de computadores.
• Ele é tão eficiente que economiza muita energia e dinheiro para as empresas.

Resumo em uma frase

O xLLM é como transformar uma fábrica de IA desorganizada e cheia de tempos mortos em uma orquestra de alta performance, onde cada músico (computador) toca na hora certa, sem pausas, compartilhando partituras (memória) e ajustando o ritmo instantaneamente para que a música (respostas da IA) seja tocada o mais rápido e barato possível.

Resumo técnico

Resumo Técnico: xLLM – Um Framework de Inferência de LLM Inteligente e Eficiente

1. Problema e Contexto

O relatório aborda os desafios críticos enfrentados pelos frameworks de inferência de Grandes Modelos de Linguagem (LLMs) em cenários de nível empresarial e de grande escala. Os principais problemas identificados são:

• Desafios de Serviço (Service Layer):
  • Cargas de Trabalho Híbridas e Dinâmicas: Dificuldade em gerenciar simultaneamente solicitações online (sensíveis à latência, como chatbots) e offline (tolerantes a atrasos, como análise de dados), especialmente devido às variações de tráfego (efeito de maré).
  • Arquitetura PD (Prefill-Decode) Estática: A desagregação tradicional de fases de Prefill e Decode assume alocação estática de recursos, falhando em adaptar-se a cargas dinâmicas, o que leva a baixa utilização de aceleradores e violação de SLAs (Acordos de Nível de Serviço).
  • Inferência Multimodal: Falta de estratégias eficientes para processar requisições multimodais (imagem, voz, texto), que exigem paralelismo na fase de codificação e alocação de recursos granular.
  • Tolerância a Falhas: Dificuldade em garantir recuperação rápida de nós ou instâncias sem interromper serviços de alta prioridade.
• Desafios de Engine (Engine Layer):
  • Subutilização de Aceleradores: Dificuldade em saturar completamente as unidades de computação de aceleradores de IA modernos devido a gargalos de comunicação e dependências de agendamento.
  • Gerenciamento de Memória: O crescimento exponencial do KV Cache (cache de chave-valor) em janelas de contexto longas consome recursos de memória, criando conflitos entre alocação dinâmica e requisitos de contiguidade para eficiência computacional.
  • Balanceamento de Carga: Desbalanceamento de carga em arquiteturas Mixture of Experts (MoE) e paralelismo de dados (DP), causando ociosidade em alguns nós enquanto outros ficam sobrecarregados.

2. Metodologia e Arquitetura

O xLLM propõe uma arquitetura inovadora de desacoplamento entre Serviço e Engine (Service-Engine Decoupled Architecture), composta por duas camadas principais que trabalham em conjunto:

A. xLLM-Service (Camada de Serviço)

Foca no gerenciamento inteligente de instâncias e agendamento de requisições:

• Agendamento Unificado Elástico: Co-localiza tarefas online e offline. Usa um agendador preemptivo para garantir SLAs online, enquanto tarefas offline aproveitam recursos ociosos e são suspensas quando necessário.
• Desagregação PD Dinâmica (Adaptativa): Em vez de uma divisão estática, o sistema monitora métricas em tempo real (TTFT e TPOT) e ajusta dinamicamente a proporção de instâncias de Prefill e Decode, permitindo a troca rápida de papéis das instâncias sem reinicialização.
• Desagregação Híbrida EPD (Encode-Prefill-Decode): Para modelos multimodais, o sistema perfila a carga e seleciona a melhor estratégia de desagregação (ex: E-P-D, EP-D, ou ED-P) para otimizar o trade-off entre latência e throughput.
• Gerenciamento Global de KV Cache: Utiliza uma arquitetura de armazenamento híbrido (HBM-DRAM-SSD) e roteamento inteligente para gerenciar o cache de chave-valor entre instâncias, aumentando a capacidade e a taxa de acerto.
• Recuperação Rápida de Falhas: Detecta falhas e decide automaticamente entre recomputação ou migração de cache, minimizando o tempo de inatividade.

B. xLLM-Engine (Camada de Motor de Inferência)

Foca na otimização de baixo nível para saturar os recursos de computação:

• Pipeline de Execução Multicamada:
  • Camada de Framework: Agendamento assíncrono CPU-Acelerador para esconder a latência de preparação de dados.
  • Camada de Modelo: Paralelismo de micro-batches em duas correntes (dual-stream) para sobrepor computação e comunicação (especialmente em operações All-to-All de MoE).
  • Camada de Operador: Sobreposição de unidades de computação vetoriais e matriciais.
• Modo de Grafo Adaptativo: Combina a eficiência do modo Graph (baixa sobrecarga de lançamento de kernel) com a flexibilidade do modo Eager para entradas dinâmicas, utilizando parametrização de dimensões e grafos parciais.
• Gerenciamento de Memória xTensor: Introduz uma estrutura de armazenamento "logicamente contíguo, fisicamente discreto". Isso permite que os operadores vejam a memória como contígua (otimizando a computação) enquanto o sistema gerencia páginas físicas sob demanda, resolvendo conflitos de alocação.
• Otimizações Algorítmicas:
  • Decodificação Especulativa Otimizada: Com processamento assíncrono e otimizações no mecanismo de atenção (MLA) para reduzir movimentação de dados.
  • Balanceamento de Carga Dinâmico: Balanceamento de carga para Expert Parallel (EP) e Hierárquico para Data Parallel (DP), migrando cargas entre grupos e até dentro de kernels para evitar gargalos.
• Recomendação Generativa: Otimizações específicas para cenários de recomendação, sobrepondo operações de host e dispositivo para melhorar a eficiência do beam search.

3. Principais Contribuições

1. Arquitetura Desacoplada: Separação clara entre o orquestrador de serviços (xLLM-Service) e o motor de execução (xLLM-Engine), permitindo otimizações independentes e escaláveis.
2. Políticas de Agendamento Adaptativo:
   • Co-localização inteligente de cargas online/offline com preempção eficiente.
   • Desagregação PD dinâmica baseada em SLOs.
   • Estratégia híbrida EPD para inferência multimodal.
3. Otimizações de Engine de Alta Performance:
   • Pipeline assíncrono multicamada para eliminar "bolhas" de computação.
   • Gerenciamento de memória xTensor que une a eficiência de alocação contígua com a flexibilidade de paginação.
   • Modo de grafo adaptativo para lidar com formas de entrada variáveis sem sacrificar o desempenho.
4. Balanceamento de Carga Avançado: Mecanismos de balanceamento de carga reativos e hierárquicos para arquiteturas MoE e DP, mitigando o problema de "stragglers" (nós lentos).
5. Implementação em Produção: O framework foi implantado com sucesso em cenários reais da JD.com, incluindo chatbots, recomendação e suporte ao cliente.

4. Resultados e Avaliação

O xLLM foi avaliado em comparação com frameworks líderes como MindIE e vLLM-Ascend em aceleradores Ascend 910B/910C, utilizando modelos Qwen e DeepSeek:

• Desempenho Geral:
  • Sob as mesmas restrições de TPOT (Tempo por Token de Saída), o xLLM alcançou um throughput até 1,7x superior ao MindIE e 2,2x superior ao vLLM-Ascend com modelos da série Qwen.
  • Com modelos DeepSeek, manteve uma média de 1,7x superior ao MindIE.
• Cenários de Negócio:
  • No cenário de "JingYan" (assistente de compras), o xLLM superou significativamente os concorrentes, especialmente em modelos maiores (ex: Qwen3-32B), demonstrando escalabilidade quase linear.
  • Em tarefas de recomendação generativa, reduziu a latência média de ponta a ponta em 23% em comparação ao MindIE sob cargas pesadas (largura de feixe alta).
• Estudos de Ablação:
  • A política de desagregação PD dinâmica melhorou a taxa de atendimento de solicitações em 1,67x comparada a estratégias de "carga mínima".
  • O modo de grafo adaptativo aumentou o throughput em 27,4% para modelos menores.
  • O agendamento assíncrono multicamada reduziu significativamente a latência de comunicação exposta (80% de sobreposição).

5. Significado e Impacto

O xLLM representa um avanço significativo na infraestrutura de inferência de IA para empresas:

• Eficiência de Custos: Ao maximizar a utilização de hardware e permitir a co-localização de cargas de trabalho, reduz drasticamente o custo de inferência por token.
• Escalabilidade Empresarial: Resolve problemas críticos de estabilidade e SLA em ambientes de produção de grande escala, lidando com picos de tráfego e falhas de hardware de forma robusta.
• Suporte a Hardware Diversificado: A arquitetura foi projetada para ser eficiente em aceleradores de IA específicos (como Ascend), promovendo um ecossistema de hardware mais diversificado e menos dependente de uma única fornecedora.
• Open Source: A disponibilização do código (xLLM e xLLM-Service) no GitHub fomenta a inovação na comunidade, oferecendo uma solução de referência para inferência de alto desempenho em nível empresarial.

Em resumo, o xLLM não é apenas uma otimização incremental, mas uma reestruturação fundamental de como os LLMs são servidos em escala, combinando inteligência de agendamento com otimizações profundas de sistema e algoritmo.