How Much Progress Has There Been in NVIDIA Datacenter GPUs?

Declaração do Problema
A rápida evolução da Inteligência Artificial (IA) tornou as Unidades de Processamento Gráfico (GPUs) o padrão de fato para treinamento e inferência, alterando fundamentalmente o cenário da pesquisa científica e da computação industrial. No entanto, o ritmo desse progresso é difícil de quantificar com precisão devido a métricas conflitantes, variações de precisão de dados e à inclusão de hardware não dominante em estudos anteriores. Além disso, o papel crítico dos chips de IA na competição global levou às regulamentações de controle de exportação dos EUA, criando a necessidade de compreender a trajetória técnica desses dispositivos para avaliar os potenciais hiatos de desempenho entre nações. A literatura existente, como a "Lei de Huang", frequentemente baseia-se em conjuntos de dados estreitos ou mistura precisões de dados (ex: FP4 a FP16), levando a estimativas de progresso infladas. Outros estudos focam em categorias amplas de hardware, diluindo as tendências específicas da classe dominante de datacenters. Este artigo aborda a necessidade de uma análise rigorosa, de "maçãs com maçãs", do progresso técnico das GPUs de datacenter da NVIDIA desde meados dos anos 2000 até 2025, examinando especificamente o desempenho computacional, memória, potência e custo, enquanto também avalia o impacto das recentes regulamentações de exportação dos EUA.

Metodologia
Os autores construíram um conjunto de dados abrangente compreendendo 102 GPUs de datacenter da NVIDIA lançadas desde a microarquitetura Tesla (2006) até a Blackwell Ultra (2025).

• Coleta de Dados: As métricas foram coletadas de documentações da NVIDIA (whitepapers, folhas de dados) e fontes secundárias como TechPowerUp e VideoCardz. O estudo foca em valores de desempenho de pico teórico (TFLOPS) para garantir a consistência ao longo das décadas, em vez de depender de benchmarks variáveis do mundo real.
• Seleção de Métricas: As méticas principais incluem o desempenho de Ponto Flutuante (FP) em precisões de 16 bits (FP16), 32 bits (FP32) e 64 bits (FP64); tamanho e largura de banda de memória off-chip; preços de lançamento; e Thermal Design Power (TDP). A análise distingue entre CUDA Cores e Tensor Cores, e leva em conta o suporte a esparsidade de hardware introduzido na arquitetura Ampere.
• Abordagem Analítica: Os autores empregaram modelos de regressão exponencial log-linear para calcular as Taxas de Crescimento Anual Composta (CAGRs) e Tempos de Duplicação (DTs) com intervalos de confiança de 90%.
• Escopo Comparativo: O estudo analisa dois subconjuntos: (1) a GPU de melhor desempenho por ano para identificar tendências de capacidade máxima, e (2) o conjunto de dados completo de GPUs de datacenter para entender o progresso médio da indústria.
• Análise de Controle de Exportação: O artigo avalia as regulamentações de exportação dos EUA (2022–2025) aplicando critérios específicos (Desempenho Total de Processamento, densidade de desempenho e largura de banda de I/O) ao conjunto de dados para estimar os hiatos de desempenho resultantes entre mercados não restritos e restritos.

Principais Contribuições e Resultados
O artigo identifica dez insights fundamentais sobre a trajetória das GPUs de datacenter da NVIDIA:

1. Superando a Lei de Moore: O progresso das GPUs superou o tempo de duplicação histórico da Lei de Moore. Os tempos de duplicação de desempenho para FP16 e FP32 são de aproximadamente 1,43 e 1,67 anos, respectivamente, impulsionados pela demanda de IA.
2. Melhorias ao Nível do Chip: Os ganhos de desempenho são atribuídos em grande parte a mudanças arquitetônicas, incluindo a introdução de suporte de hardware FP16 (Pascal, 2016) e Tensor Cores especializados (Volta, 2017).
3. Crescimento Rápido de FP16/FP32: O poder computacional para FP16 e FP32 dobra em menos de dois anos. Ao considerar o suporte a esparsidade, esses tempos de duplicação diminuem ainda mais para 1,27 e 1,46 anos.
4. Despriorização de FP64: As unidades de computação FP64 tornaram-se um recurso de menor prioridade. O crescimento no desempenho de FP64 é significativamente mais lento (duplicando a cada 2,05 a 3,79 anos), e chips de alto nível focados em IA, como o Blackwell Ultra B300, apresentam capacidades de FP64 reduzidas.
5. Impacto da HBM: A transição para Memória de Alta Largura de Banda (HBM) impulsionou significativamente as taxas de crescimento de tamanho e largura de banda de memória off-chip (CAGRs de 31,8% e 26,8% para apenas HBM, respectivamente) em comparação com GDDR.
6. Divergência de Custo e Potência: Enquanto as GPUs de datacenter médias mostram um crescimento moderado em preço e potência, o subconjunto de melhor desempenho vê os preços de lançamento e o TDP crescendo a quase o dobro da taxa da linha geral (CAGR de 22,7% e 8,6%, respectivamente).
7. O Muro da Memória: O poder computacional está crescendo significativamente mais rápido do que a largura de banda de memória off-chip. A razão entre desempenho e largura de banda está aumentando, sugerindo um potencial gargalo para cargas de trabalho intensivas em memória.
8. Eficiência vs. Custo: A melhoria técnica por watt está crescendo mais rápido do que a melhoria por dólar, uma vez que os preços de lançamento subiram de forma mais acentuada do que o consumo de energia.
9. Cenário Competitivo: Embora a AMD e a Intel tenham diminuído a diferença de desempenho em áreas específicas (notadamente FP16 e FP64), a margem permanece insuficiente para deslocar a dominância de mercado da NVIDIA, em grande parte devido à maturidade do ecossistema de software CUDA.
10. Impacto do Controle de Exportação: A análise quantifica o hiato de desempenho criado pelos controles de exportação dos EUA. Sob as regulamentações de 2022, o hiato entre o acesso não restrito e o restrito foi estimado em 23,6×. Atualizações políticas recentes permitindo a exportação do H200 reduziram esse hiato teórico para 3,54×.

Significância e Alegações
O artigo afirma fornecer a análise mais abrangente e consistente do progresso das GPUs de datacenter da NVIDIA até o momento, corrigindo as estimativas infladas encontradas na "Lei de Huang" e as tendências diluídas de estudos de hardware mais amplos. Ao isolar a classe de datacenter e separar as precisões de dados, os autores oferecem uma visão realista das "leis de escala" que impulsionam a revolução da IA.

O estudo destaca que, embora as inovações arquitetônicas (como Tensor Cores e designs multi-die) tenham conseguido acompanhar as explosivas demandas de IA, isso ocorreu ao custo de um aumento no consumo de energia e no preço, particularmente para dispositivos de alto nível. Além disso, o artigo fornece uma avaliação baseada em dados das restrições geopolíticas, sugerindo que, embora os controles de exportação criem disparidades de desempenho significativas a curto prazo, eles podem não interromper permanentemente a difusão tecnológica, conforme evidenciado pelo rápido desenvolvimento de soluções domésticas alternativas e pelo potencial de ajustes de políticas (como a aprovação de exportação do H200) para mitigar esses hiatos. Os autores concluem que, embora as tendências atuais sejam impressionantes, a sustentabilidade de tais taxas de crescimento rápido enfrenta retornos decrescentes devido a limites físicos e arquitetônicos, necessitando de pesquisas futuras sobre a viabilidade de longo prazo dessas trajetórias.