Silicon Showdown: Performance, Efficiency, and Ecosystem Barriers in Consumer-Grade LLM Inference

1. Declaração do Problema

O cenário da inferência local de Modelos de Linguagem de Grande Escala (LLM) mudou de modelos leves para modelos de classe de datacenter (70B–80B parâmetros). Essa transição cria um desafio crítico de sistemas para hardware de consumo, que é espremido entre dois requisitos concorrentes:

• Capacidade de Memória: A necessidade de armazenar conjuntos massivos de parâmetros.
• Densidade de Computação: A necessidade de gerar tokens com latências interativas.

O hardware de consumo atual oferece duas filosofias arquitetônicas divergentes:

1. Nvidia (GPUs Discretas): Prioriza o throughput paralelo massivo e aceleração tensorial especializada (ex: RTX 5090), mas é limitada por um "Muro de VRAM" fixo (ex: 32GB), forçando estratégias complexas de descarregamento (offloading) para modelos maiores.
2. Apple Silicon (Arquitetura de Memória Unificada - UMA): Prioriza a capacidade de memória (até 512GB) permitindo que a GPU acesse todo o pool de RAM do sistema, eliminando gargalos PCIe, mas potencialmente sacrificando o throughput bruto de rajada em comparação com GPUs discretas de ponta.

O artigo argumenta que métricas de throughput bruto são insuficientes; uma avaliação real deve considerar o "atrito do ecossistema" (barreiras de implantação de software) e a eficiência energética.

2. Metodologia

Os autores conduziram um estudo empírico sistemático comparando hardware de consumo de ponta em ambos os ecossistemas.

• Ambientes de Teste de Hardware:
  • Nvidia: RTX 5090, 5080, 4090, 4050, 3050 (executando Ubuntu 24.04).
  • Apple Silicon: M3 Ultra, M4 Pro, M2 Max, M2 Pro/Air, M1 (executando macOS 26 Tahoe).
• Frameworks de Software:
  • Nvidia: TensorRT-LLM v1.1.0 (utilizando backends PyTorch e C++) e llama.cpp (formato GGUF para descarregamento de CPU).
  • Apple: MLX v0.30.6 (quantização nativa de 4 bits).
• Modelos e Quantização:
  • Modelos Pequenos: Qwen2.5-1.5B (para testar densidade de computação).
  • Modelos Grandes: Qwen3-8B, GLM-4.7-Flash (30B MoE), Llama-3.3-70B, Qwen3-Next-80B (MoE).
  • Estratégias de Quantização: NVFP4 (específico para Blackwell), BF16, GGUF (Q4, Q2, IQ3) e 4-bit nativo do MLX.
• Métricas:
  • Throughput de Geração (Tokens/s): Medido durante a fase de decodificação.
  • Tempo até o Primeiro Token (TTFT): Medido durante a fase de pré-preenchimento.
  • Eficiência Energética (Tokens/Joule): Calculada via amostragem de potência.
  • Controles Experimentais: Ciclos de aquecimento para estabilizar velocidades de clock e sementes aleatórias fixas para determinismo.

3. Principais Contribuições

O artigo identifica quatro contribuições primárias:

1. Quantificação da "Vantagem NVFP4" e "Dicotomia de Backend": Na RTX 5090, o NVFP4 oferece um aumento de 1,6x no throughput sobre as linhas de base BF16 (151 tokens/s vs. 92 tokens/s). No entanto, esse ganho é estritamente limitado ao backend PyTorch no TensorRT-LLM v1.1.0; o backend legado C++ falha em utilizar o NVFP4 efetivamente, não oferecendo vantagem de throughput sobre o BF16.
2. Identificação do "Atrito do Ecossistema": Os autores demonstram que a implantação de modelos NVFP4 é dificultada por restrições de memória durante a compilação. Quantizar um modelo de 8B para NVFP4 pode exceder os 32GB de VRAM de uma RTX 5090, forçando a dependência de pesos pré-quantizados ou descarregamento lento via CPU. Adicionalmente, há um atraso no suporte a novas arquiteturas de código aberto (ex: GLM-4.7) em stacks otimizados.
3. Caracterização do "Muro de VRAM 70B+": Para GPUs discretas, executar modelos de 70B+ força um trade-off destrutivo:
   • Quantização Agressiva (Q2/IQ3): Cabe na VRAM, mas degrada a inteligência do modelo.
   • Descarregamento para CPU: Mantém a inteligência, mas colapsa o throughput em >90% devido a gargalos de largura de banda PCIe.
   • Apple UMA: Contorna isso completamente, permitindo que modelos de 80B rodem com precisão de 4 bits com escalonamento linear e nenhuma penalidade de descarregamento.
4. Continuum Desempenho-Eficiência e Lacunas de Maturidade:
   • Eficiência: A M3 Ultra da Apple alcança até 23x maior eficiência energética (tokens/joule) do que a RTX 5090.
   • Lacuna de Maturidade: A antiga RTX 4090 supera a principal RTX 5090 em 2,2x na latência TTFT, sugerindo que a arquitetura Blackwell sofre de otimização de software imatura apesar da superioridade de hardware.

4. Principais Resultados

A. Modelos Pequenos (Densidade de Computação)

• Throughput: A RTX 5090 (backend PyTorch) entrega 265 tokens/s, aproximadamente 70% maior que a Apple M3 Ultra (155 tokens/s).
• Eficiência: A M3 Ultra é 23x mais eficiente energeticamente que a RTX 5090.
• Anomalia de Latência: A RTX 4090 alcança um TTFT de 8ms, significativamente mais rápido que a RTX 5090 (18ms), indicando um atraso na otimização de software para a nova arquitetura Blackwell.

B. Modelos Grandes (Capacidade de Memória)

• Nvidia (Discretas):
  • 30B MoE (GLM-4.7): Roda a 151,3 tokens/s quando totalmente na VRAM.
  • Modelos 70B+: Executar Llama-3.3-70B requer descarregamento. Com 25% descarregado, o throughput cai para 2,3 tokens/s. Para manter a velocidade, os usuários devem usar quantização agressiva (IQ3), caindo para 46,5 tokens/s, mas arriscando degradação da inteligência.
• Apple (UMA):
  • Modelos 70B+: A M3 Ultra executa Llama-3.3-70B a 13,1 tokens/s e o 80B MoE a 49,1 tokens/s inteiramente na memória, sem penalidade de descarregamento.
  • Dinâmicas MoE: Surpreendentemente, a M4 Pro (single-die) supera a M3 Ultra (multi-die) em modelos MoE (52,3 vs 49,1 tokens/s). Isso sugere que a latência de interconexão entre os dies no chip Ultra penaliza os padrões de acesso à memória irregulares do roteamento MoE, favorecendo arquiteturas monolíticas para essas cargas de trabalho específicas.

5. Significado e Conclusão

O artigo conclui que o "Silicon Showdown" não é uma questão simples de qual chip é mais rápido, mas uma escolha estratégica baseada em restrições de carga de trabalho:

• Nvidia (Fronteira de Densidade de Computação): A escolha ótima para fluxos de trabalho agênticos de baixa latência e modelos que cabem dentro da VRAM (<30B). Oferece o maior throughput bruto, mas sofre de "atrito do ecossistema" significativo (complexidade de backend, limites de VRAM durante a compilação) e baixa eficiência energética.
• Apple Silicon (Fronteira de Capacidade de Memória): A escolha ótima para executar localmente os modelos de pesos abertos mais inteligentes do mundo (70B–80B). Oferece uma experiência consistente, "sem descarregamento", com eficiência energética superior, tornando-a ideal para inteligência local "sempre ativa", apesar de velocidades de rajada brutas mais baixas.

O estudo destaca que, para inferência de nível de consumo, a capacidade de memória (Apple) está se tornando o principal gargalo para a inteligência do modelo, enquanto a densidade de computação (Nvidia) permanece o motor para a velocidade, desde que o ecossistema de software amadureça para suportar novas arquiteturas como a Blackwell.