In-Network Collective Operations: Game Changer or Challenge for AI Workloads?
Dit artikel introduceert in-network collectieve operaties (INC) voor een breed publiek door onderscheid te maken tussen Edge-INC en Core-INC, hun prestatievoordelen te analyseren naast zes belangrijke uitdagingen voor adoptie, en toekomstige voorspellingen te doen voor hun rol in AI-workloads.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een enorme kookwedstrijd organiseert om het beste AI-"gerecht" (een Large Language Model) ter wereld te maken. Hier werken duizenden chefs (GPU's) samen in een gigantische keuken. Om het gerecht te bereiden, moeten ze constant ingrediënten delen, elkaars werk proeven en hun resultaten combineren.
Dit paper, geschreven door een team van experts van universiteiten en techreuzen zoals Microsoft, AMD en Broadcom, stelt een grote vraag: Wat als de loodgieterij en bedrading van de keuken (het netwerk) een deel van het koken voor ons kan doen?
Hier is de uitleg van hun ideeën, uitdagingen en voorspellingen, eenvoudig uitgelegd.
De twee manieren om de keuken te versnellen
Het paper beschrijft twee manieren om het netwerk te gebruiken om de chefs te helpen:
Edge-INC (Het slimme schort):
Stel je voor dat elke chef een "slim schort" krijgt (een speciale netwerkkaart) dat wiskunde kan uitvoeren op de ingrediënten voordat ze zelfs de hoofdruimte van de chef binnenkomen. In plaats van dat de chef een emmer water pakt, deze in een kom giet, meet en dan weer uitschenkt, meet en mengt het slimme schort het water direct terwijl het erdoorheen stroomt.- Het voordeel: De chefs (computers) hoeven hun werk niet te onderbreken om met data om te gaan. Het bespaart hen tijd en geheugen.
Core-INC (De magische centrale pijp):
Stel je voor dat de pijpen die de chefs verbinden niet alleen lege buizen zijn; het zijn "magische pijpen" die ingrediënten kunnen mengen terwijl ze erdoorheen stromen. Als Chef A een kop suiker stuurt en Chef B een kop bloem stuurt, mengt de pijp ze tot een beslag binnenin de pijp voordat het de volgende station bereikt.- Het voordeel: Dit vermindert de hoeveelheid verkeer die de keuken verstopt drastisch. In plaats van 100 aparte ingrediënten naar een centrale mixer te sturen, combineren de pijpen ze onderweg, zodat alleen het eindresultaat de rest van de afstand aflegt.
De grote hindernissen (Waarom het nog geen toverstaf is)
De auteurs stellen dat hoewel dit geweldig klinkt, er zes grote "keuken-nachtmerries" zijn die het moeilijk maken om dit te implementeren:
Het "Kleine Getallen"-probleem (Lage precisie):
AI-chefs gebruiken vaak "kleine" getallen (zo als 4-bit of 8-bit integers) om sneller te koken. Het is alsof je een piepklein lepeltje gebruikt in plaats van een grote pollepel. Het probleem? Als je te veel kleine getallen bij elkaar optelt, loop je misschien over de rand van de lepel of verlies je nauwkeurigheid.- De adder onder het gras: Om dit op te lossen, zouden de "magische pijpen" (Core-INC) grotere, preciezere lepels moeten meedragen om de tussenresultaten vast te houden. Maar als ze grotere lepels dragen, verliezen ze het snelheidsvoordeel dat ze juist hadden moeten hebben.
Het "Speciale Vormen"-probleem (Vector Data):
Soms komen ingrediënten in vreemde, aangepaste vormen (zoals "block floating point"). De pijpen zijn momenteel gebouwd voor standaardvormen. Als de pijpen de ingrediënten telkens moeten stoppen en hervormen om ze in de vorm te passen, verliezen ze hun snelheid. Het paper waarschuwt dat AI-dataformaten sneller veranderen dan netwerkhardware kan worden herontworpen.Het "Lege Ruimte"-probleem (Sparse Data):
Soms gebruiken chefs slechts een paar ingrediënten uit een enorme voorraadkast (sparse data). Als de pijpen proberen deze te mengen, kunnen de "lege ruimtes" gevuld worden met rommelige data (fill-in), waardoor het mengsel enorm en traag wordt. Het is alsof je een paar kruiden probeert te mengen in een enorme lege kamer; plotseling zit de kamer vol stof.Het "Exacte Recept"-probleem (Reproduceerbaarheid):
Bij het debuggen moeten chefs weten dat als ze hetzelfde gerecht twee keer koken, het resultaat bit-voor-bit identiek is. Maar floating-point wiskunde is lastig; als je getallen in een andere volgorde optelt, krijg je een iets ander resultaat. De "magische pijpen" veranderen de volgorde van operaties om tijd te besparen, wat de regel van het "exacte recept" verbreekt. Het oplossen hiervan vereist extra werk dat de snelheidswinst tenietdoet.Het "Verkeersregelaar"-probleem (Coördinatie):
De pijpen moeten precies weten wanneer ze moeten mengen en wanneer ze moeten stoppen. Als de keuken druk is met andere taken (multi-tenancy), wordt het opzetten van deze "mengbomen" een logistieke nachtmerrie. Het is moeilijk om elke keer een aangepaste lopende band te bouwen wanneer een nieuwe groep chefs aan het werk gaat.Het "Geheime Recept"-probleem (Encryptie):
Als de chefs geheime recepten koken, versleutelen ze hun ingrediënten. Maar als de pijpen de ingrediënten mengen, moeten ze de data kunnen zien om de wiskunde uit te voeren. Dit verbreekt de encryptie. Om dit op te lossen, heb je "homomorfe encryptie" nodig (wiskunde op versleutelde data), wat momenteel erg traag is en alleen werkt voor eenvoudige getallen, niet voor complexe AI-data.
Het eindoordeel: Zal het alles veranderen?
De auteurs draaien een simulatie (Figuur 5) die laat zien dat zelfs als het netwerk de dataoverdracht met 60% versnelt, de totale kooktijd slechts met ongeveer 11% tot 34% verbetert. Dit komt door de Wet van Amdahl: als de chefs de meeste tijd besteden aan het snijden van groenten (computeren) en slechts een klein deel aan het doorgeven van ingrediënten (communiceren), helpt het versnellen van het doorgeven niet veel.
De Voorspelling:
Het paper concludeert dat In-Network Collective Operations (INC) geen overnachtelijke revolutie zal zijn.
- Korte termijn: Het zal waarschijnlijk langzaam worden geadopteerd, vooral in kleine, lokale keukens (single-switch setups) waar communicatie de grootste flessenhals is.
- Lange termijn: Om overal te werken, hebben we standaardisatie nodig (iedereen moet dezelfde regels overeenkomen, zoals het "Ultra Ethernet" consortium vermeldt) en simpelere ontwerpen.
Samenvattend: Het idee om het netwerk de wiskunde te laten doen is in theorie een "game changer", maar in de praktijk is het een "uitdaging" vol technische vallen. Het zal waarschijnlijk geleidelijk arriveren, beginnend met kleine, specifieke toepassingen in plaats van het hele systeem in één keer te vervangen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.