How Much Progress Has There Been in NVIDIA Datacenter GPUs?

Probleemstelling
De snelle evolutie van Kunstmatige Intelligentie (AI) heeft Graphics Processing Units (GPU's) de de facto standaard gemaakt voor training en inferentie, wat het landschap van wetenschappelijk onderzoek en industriële computing fundamenteel heeft veranderd. De snelheid van deze vooruitgang is echter moeilijk nauwkeurig te kwantificeren vanwege conflicterende metrieken, variërende dataprecisies en de inclusie van niet-dominante hardware in eerdere studies. Bovendien heeft de cruciale rol van AI-chips in de wereldwijde competitie geleid tot Amerikaanse exportcontrole-regelgeving, wat een behoefte creëert om de technische trajectorie van deze apparaten te begrijpen om de potentiële prestatiekloven tussen naties te beoordelen. Bestaande literatuur, zoals "Huang's Law", vertrouwt vaak op smalle datasets of mengt dataprecisies (bijv. FP4 tot FP16), wat leidt tot opgeblazen schattingen van de vooruitgang. Andere studies richten zich op brede hardwarecategorieën, waardoor de specifieke trends van de dominante datacenter-klasse worden verwaterd. Dit artikel adresseert de behoefte aan een rigoureuze, "apples-to-apples" analyse van de technische vooruitgang in NVIDIA datacenter GPU's van het midden van de jaren 2000 tot 2025, waarbij specifiek wordt gekeken naar rekenprestaties, geheugen, vermogen en kosten, terwijl ook de impact van recente Amerikaanse exportcontroles wordt geëvalueerd.

Methodologie
De auteurs hebben een uitgebreide dataset samengesteld bestaande uit 102 NVIDIA datacenter GPU's, uitgebracht van de Tesla-microarchitectuur (2006) tot Blackwell Ultra (2025).

• Datacollectie: Metrieken werden verzameld uit NVIDIA-documentatie (whitepapers, datasheets) en secundaire bronnen zoals TechPowerUp en VideoCardz. De studie richt zich op theoretische piekprestatiewaarden (TFLOPS) om consistentie over decennia heen te waarborgen, in plaats van te vertrouwen op variabele real-world benchmarks.
• Selectie van Metrieken: Belangrijke metrieken zijn onder meer Floating Point (FP) prestaties bij 16-bit (FP16), 32-bit (FP32) en 64-bit (FP64) precisie; off-chip geheugengrootte en bandbreedte; releaseprijzen; en Thermal Design Power (TDP). De analyse maakt onderscheid tussen CUDA Cores en Tensor Cores, en houdt rekening met de ondersteuning voor hardware-sparsity die werd geïntroduceerd in de Ampere-architectuur.
• Analytische Benadering: De auteurs gebruikten log-lineaire exponentiële regressiemodellen om de Compound Annual Growth Rates (CAGR's) en Dubbeltijden (DT's) te berekenen met 90% betrouwbaarheidsintervallen.
• Vergelijkingsomvang: De studie analyseert twee subsets: (1) de best presterende GPU per jaar om trends in piekcapaciteit te identificeren, en (2) de volledige dataset van datacenter GPU's om de gemiddelde industriële vooruitgang te begrijpen.
• Exportcontrole Analyse: Het artikel evalueert de Amerikaanse exportregels (2022–2025) door specifieke criteria toe te passen (Totale Verwerkingsprestaties, prestatiedichtheid en I/O-bandbreedte) op de dataset om de resulterende prestatiekloven tussen onbeperkte en beperkte markten te schatten.

Belangrijkste Bijdragen en Resultaten
Het artikel identificeert tien belangrijke inzichten met betrekking tot de trajectorie van NVIDIA datacenter GPU's:

1. Overtreffen van Moore's Law: De vooruitgang van GPU's heeft de historische dubbeltijd van Moore's Law overtroffen. De dubbeltijden voor FP16 en FP32 prestaties zijn ongeveer respectievelijk 1,43 en 1,67 jaar, gedreven door de vraag naar AI.
2. Prestatiewinst op Chipniveau: Prestatiewinsten worden grotendeels toegeschreven aan architecturale verschuivingen, waaronder de introductie van FP16 hardwareondersteuning (Pascal, 2016) en gespecialiseerde Tensor Cores (Volta, 2017).
3. Snelle FP16/FP32 Groei: De rekenkracht voor FP16 en FP32 verdubbelt in minder dan twee jaar. Wanneer rekening wordt gehouden met sparsity-ondersteuning, nemen deze dubbeltijden verder af naar 1,27 en 1,46 jaar.
4. Deprioritering van FP64: FP64 rekenunits zijn een lagere prioriteit geworden. De groei in FP64-prestaties is aanzienlijk trager (verdubbeling elke 2,05 tot 3,79 jaar), en top-tier AI-gerichte chips zoals de Blackwell Ultra B300 vertonen gereduceerde FP64-capaciteiten.
5. Impact van HBM: De overgang naar High Bandwidth Memory (HBM) heeft de groei van off-chip geheugengrootte en bandbreedte aanzienlijk verhoogd (CAGR's van respectievelijk 31,8% en 26,8% voor uitsluitend HBM) vergeleken met GDDR.
6. Divergentie in Kosten en Vermogen: Terwijl gemiddelde datacenter GPU's een gematigde groei laten zien in prijs en vermogen, zien de top-presterende subset de releaseprijzen en TDP groeien op bijna twee keer het tempo van de bredere lijn (respectievelijk 22,7% en 8,6% CAGR).
7. De Memory Wall: Rekenkracht groeit aanzienlijk sneller dan de off-chip geheugenbandbreedte. De ratio van prestaties tot bandbreedte neemt toe, wat wijst op een potentiële bottleneck voor geheugenintensieve workloads.
8. Efficiëntie versus Kosten: De technische verbetering per watt groeit sneller dan de verbetering per dollar, aangezien de releaseprijzen scherper zijn gestegen dan het stroomverbruik.
9. Concurrentielandschap: Hoewel AMD en Intel het prestatieverschil in specifieke gebieden hebben verkleind (met name FP16 en FP64), is de marge onvoldoende om de marktdominantie van NVIDIA te verdringen, grotendeels vanwege de volwassenheid van het CUDA-software-ecosysteem.
10. Impact van Exportcontroles: De analyse kwantificeert de prestatiekloof die is gecreëerd door Amerikaanse exportcontroles. Onder de 2022-regelgeving werd de kloof tussen onbeperkte en beperkte toegang geschat op 23,6×. Recente beleidswijzigingen die de export van de H200 toestonden, hebben deze theoretische kloof verminderd tot 3,54×.

Betekenis en Claims
Het artikel claimt de meest uitgebreide en consistente analyse van de progressie van NVIDIA datacenter GPU's tot nu toe te bieden, waarbij de opgeblazen schattingen van "Huang's Law" en de verwaterde trends van bredere hardwarestudies worden gecorrigeerd. Door de datacenter-klasse te isoleren en dataprecisies te scheiden, biedt het werk een realistisch beeld van de "scaling laws" die de AI-revolutie drijven.

De studie benadrukt dat hoewel architecturale innovaties (zoals Tensor Cores en multi-die ontwerpen) er succesvol in zijn geslaagd om het exploderende AI-verlangen bij te houden, dit is gekomen met een hogere prijs voor stroomverbruik en kosten, met name voor top-tier apparaten. Verder biedt het papier een op data gebaseerde beoordeling van geopolitieke beperkingen, waarbij wordt gesuggereerd dat hoewel exportcontroles significante kortetermijn prestatieverschillen creëren, ze de technologische diffusie mogelijk niet permanent zullen stoppen, zoals blijkt uit de snelle ontwikkeling van alternatieve binnenlandse oplossingen en het potentieel voor beleidsaanpassingen (zoals de goedkeuring van de H200-export) om deze kloven te mitigeren. De auteurs concluderen dat hoewel de huidige trends indrukwekkend zijn, de duurzaamheid van een dergelijke snelle groei van de snelheid wordt bedreigd door fysieke en architecturale limieten, wat toekomstig onderzoek naar de langetermijn haalbaarheid van deze trajecten noodzakelijk maakt.