Maia 200: A Software Defined Dataflow System for Large-scale AI Acceleration
Het artikel introduceert Maia 200, een hoogwaardige, energie-efficiënte AI-accelerator die gebruikmaakt van een nieuwe Software Defined Locally Accessed Dataflow Architecture (SDLA) om de verschuiving te maken van thread-centrische naar data-bewegings-centrische computing, waardoor het enorme parallelliteit en significante kostenbesparingen levert voor grootschalige AI-inferentie-workloads.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
De wereld van de computertechnologie ondergaat momenteel een enorme verschuiving, gedreven door een nieuw soort software dat poëzie kan schrijven, complexe wiskundige problemen kan oplossen en afbeeldingen kan genereren op basis van eenvoudige beschrijvingen. Deze systemen, bekend als grote taalmodellen, vereisen een enorme hoeveelheid rekenkracht om te kunnen draaien. Jarenlang heeft de industrie vertrouwd op een specifieke manier van het organiseren van computerchips, een methode die data behandelt als een stroom instructies die wachten om door een centrale hersenpan te worden verwerkt. Echter, naarmate deze modellen groter en complexer worden, loopt deze traditionele methode tegen een muur aan. De chips besteden te veel tijd aan het wachten tot data arriveert in plaats van daadwerkelijk de wiskunde uit te voeren, wat leidt tot systemen die ongelooflijk duur zijn om te bouwen en te exploiteren, en die enorme hoeveelheden elektriciteit verbruiken. De kernuitdaging gaat niet langer alleen over het sneller maken van de wiskunde; het gaat over het efficiënter verplaatsen van de data zelf.
Een team onderzoekers bij Microsoft heeft een nieuwe aanpak geïntroduceerd om dit probleem op te lossen met een chip die ze de Maia 200 noemen. In plaats van te proberen de oude manier van denken harder te laten werken, hebben ze een systeem ontworpen dat de fundamentele regels verandert van hoe een computerchip informatie afhandelt. Ze noemen dit nieuwe ontwerp een "Software Defined Locally Accessed Dataflow"-architectuur. In gewone taal betekent dit dat de chip is gebouwd om data precies daarheen te bewegen waar het nodig is, precies op het moment dat het daar nodig is, zonder te wachten op een centrale opdracht om te vertellen wat het daarna moet doen. De onderzoekers hebben bewezen dat deze methode de chip in staat stelt om berekeningen met veel grotere snelheid en energie-efficiëntie uit te voeren dan eerdere ontwerpen, wat een oplossing biedt die de volgende generatie kunstmatige intelligentie kan voeden zonder de enorme kosten en energieboetes die de industrie momenteel beperken.
Om te begrijpen waarom dit ertoe doet, moet men kijken naar hoe moderne computers gewoonlijk werken. Decennialang was het standaardontwerp om een centrale processor te hebben die data ophaalt uit een grote, gedeelde geheugenbank, er werk aan verricht, en het vervolgens weer terugstuurt. Dit werkt goed voor veel taken, maar voor de enorme, repetitieve berekeningen die vereist zijn door kunstmatige intelligentie, creëert dit een flessenhals. De processor zit vaak stil, wachtend tot de data over de chip reist. Het Microsoft-team realiseerde zich dat voor deze specifieke soorten workloads de meest efficiënte route niet is om één centrale commandant te hebben, maar om de data zijn eigen instructies te geven. Ze creëerden een systeem waarbij de beweging van data expliciet wordt geprogrammeerd, waardoor verschillende delen van de chip onafhankelijk en parallel kunnen werken. Dit verschuift de focus van het beheren van executietråden naar het beheren van de informatiestroom zelf.
De Maia 200-chip is de fysieke belichaming van dit idee. Het is een massief stuk silicium, met meer dan 140 miljard transistoren, ontworpen specif om het zware werk van kunstmatige intelligentie-inferentie aan te kunnen, wat het proces is van het gebruiken van een getraind model om antwoorden te genereren. De chip is gebouwd met een unieke interne structuur die het geheugen verdeelt in vele kleine, gespecialiseerde zakjes die direct naast de delen van de chip liggen die de wiskunde uitvoeren. Dit is een bewuste afwijking van het traditionele ontwerp waarbij één gigantische pool van geheugen wordt gebruikt. Door de data dicht bij waar het wordt gebruikt te houden, vermijdt de chip de energieverspilling en tijdsvertragingen die geassocieerd worden met lange reizen over het silicium. De onderzoekers ontdekten dat dit ontwerp de chip in staat stelt om prestatieniveaus te bereiken die voorheen als onmogelijk werden beschouwd binnen zijn vermogenslimieten, waarbij het een enorme hoeveelheid rekenkracht levert terwijl het binnen een energiebudget van 750 watt blijft.
Wat de Maia 200 werkelijk onderscheidt, is hoe het de beweging van data afhandelt. In oudere systemen vertrouwt de computer vaak op een "cache", een klein, snel geheugen dat automatisch data opslaat waarvan het denkt dat de processor die er misschien straks ook nodig heeft. Hoewel dit goed werkt voor algemeen computergebruik, ontdekten het Microsoft-team dat automatische caching voor de voorspelbare, repetitieve patronen van kunstmatige intelligentie eigenlijk inefficiënt is. Het voegt complexiteit en overhead toe die de boel vertragen. In plaats daarvan gebruikt de Maia 200 een systeem waarbij de programmeur expliciet vertelt waar de data precies naartoe moet en wanneer. Dit kan klinken alsof het programmeren moeilijker zou maken, maar de onderzoekers hebben een nieuwe softwarelaag ontworpen waarmee experts de volledige controle kunnen krijgen over de datamovement wanneer ze maximale snelheid nodig hebben, terwijl er nog steeds eenvoudigere tools beschikbaar blijven voor algemene taken. Deze aanpak geeft de chip een niveau van precisie dat automatische systemen niet kunnen evenaren, waardoor het elke parte van de processor bezig kan houden en op volle capaciteit kan laten werken.
De chip is ook ontworpen om naadloos samen te werken met andere chips in een grote cluster. Modellen voor kunstmatige intelligentie zijn vaak zo groot dat ze niet op een enkele chip passen, waardoor duizenden chips moeten samenwerken. De Maia 200 bevat een geavanceerd netwerk dat direct in de chip is ingebouwd, waardoor het data kan verzenden en ontvangen van andere chips net zo gemakkelijk als het data binnen zichzelf verplaatst. De onderzoekers hebben aangetoond dat dit systeem duizenden chips aan elkaar kan koppelen, waardoor een supercomputer ontstaat die in staat is tot quintilljoenen berekeningen per seconde. Ze testten dit systeem met real-world AI-modellen, waaronder een groot taalmodel met miljarden parameters, en ontdekten dat het tekst kon genereren met snelheden die meer dan 70 procent van het theoretische maximum voor de hardware bedragen. Dit is een belangrijke prestatie, aangezien het aantoont dat de nieuwe architectuur niet alleen in theorie werkt, maar ook effectief presteert in praktische, complexe scenario's.
Een van de belangrijkste bevindingen van het onderzoek is de impact op kosten en energie. Het team berekende dat door dit nieuwe ontwerp te gebruiken, ze de totale eigendomskosten (total cost of ownership) van een grootschalig AI-systeem met 30 procent kunnen verlagen en het energieverbruik met 15 procent kunnen verminderen in vergelijking met andere beschikbare versnellers. In een industrie waar energierekeningen een primaire zorg worden en de vraag naar rekenkracht exponentieel groeit, zijn deze besparingen aanzienlijk. De onderzoekers bereikten dit niet door de chip kleiner of goedkoper te maken, maar door het hele systeem efficiënter te maken in zijn taak. Door het verspilde tijd en energie die aan onnodige datamovement wordt besteed te elimineren, doet de chip meer werk met minder vermogen.
De Maia 200 vertegenwoordigt een belangrijke stap voorwaarts in hoe we computers voor de toekomst bouwen. Het beweegt weg van het oude idee van een enkele, centrale hersenpan die alles beheert en omarmt een model waarbij data vrij en efficiënt door een netwerk van gespecialiseerde werkers stroomt. De onderzoekers hebben aangetoond dat door de controle over de datamovement te nemen en het geheugen precies daar te plaatsen waar het nodig is, het mogelijk is om systemen te bouwen die sneller, goedkoper en energie-efficiënter zijn. Naarmate kunstmatige intelligentie zich blijft ontwikkelen en meer vermogen vereist, bieden ontwerpen zoals de Maia 200 een pad dat duurzaam en schaalbaar is. Het werk demonstreert dat de toekomst van high-performance computing niet alleen ligt in het sneller maken van de wiskunde, maar in het heroverwegen van hoe de data zelf wordt beheerd en verplaatst.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.