Distributed Training using an Intelligent Network
Dit artikel stelt een intelligent netwerkframework voor voor gedistribueerde training over wide area networks dat multicast en in-line FPGA-aggregatie combineert met geoptimaliseerde synchronisatieschema's om bandbreedte- en latentiebeperkingen te overwinnen, waardoor de prestatiekloof met gealloceerde training wordt verkleind.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
De krachtigste kunstmatige intelligentiemodellen ter wereld worden te groot om in een enkel gebouw te passen. Het trainen van deze systemen vereist duizenden computers die samenwerken, maar de fysieke limieten van stroom en ruimte betekenen dat geen enkel datacenter ze allemaal meer kan huisvesten. In plaats daarvan moeten onderzoekers hun rekenkracht verspreiden over meerdere locaties, die soms door oceanen van elkaar gescheiden zijn. Dit creëert een moeilijk probleem: computers moeten constant met elkaar communiceren om synchroon te blijven, maar het verzenden van enorme hoeveelheden gegevens over lange afstanden is traag en duur. De verbindingen tussen deze verre locaties zijn vaak smal en ongelijkmatig, waardoor de computers stil komen te zitten terwijl ze wachten op informatie die moet arriveren. Als de computers hun voortgang niet snel kunnen delen, vertraagt het hele trainingsproces, wat kostbare tijd en energie verspilt.
Een team van onderzoekers van de DoubleZero Foundation heeft een nieuwe manier voorgesteld om deze flessenhals op te lossen door het netwerk zelf als een actieve helper in te zetten. In plaats van de internetverbinding te behandelen als een passieve pijp die simpelweg data vervoert, stellen zij voor om gespecialiseerde hardware binnen het netwerk te gebruiken om de informatiestroom te beheren. Hun aanpak combineert twee bestaande technologieën op een nieuwe manier voor breedbandverbindingen. Ten eerste gebruiken ze een methode genaamd multicast, waardoor een enkele computer een bericht kan sturen dat het netwerk automatisch kopieert en naar veel verschillende bestemmingen tegelijkertijd levert, in plaats van aparte kopieën naar elk exemplaar te sturen. Ten tweede plaatsen ze programmeerbare chips, bekend als FPGA's, aan de rand van het netwerk nabij elk computercluster. Deze chips fungeren als slimme aggregatoren, die binnenkomende datastromen van veel verschillende bronnen verzamelen en samenvoegen tot één enkele, zuivere stroom voordat deze de lokale computers bereikt. Door het zware werk van het kopiëren en combineren van gegevens binnen het netwerk te doen, vermindert het systeem de belasting van de beperkte verbindingen tussen de verre locaties.
Om dit systeem effectief te laten werken, hebben de onderzoekers ook een nieuw wiskundig kader ontwikkeld om te bepalen hoe en wanneer de computers precies met elkaar moeten communiceren. In een traditionele opstelling zou elke computer tegelijkertijd met elke andere computer kunnen proberen te praten, wat het netwerk zou verstoppen. Het nieuwe kader behandelt het netwerk als een kaart met specifieke wegen en verkeersregels. Het berekent de beste manier om de computers te groeperen in kleine, roterende cirkels van communicatie. In elke ronde wisselt een specifieke groep computers informatie uit terwijl anderen wachten, en vervolgens verschuiven de groepen in de volgende ronde. Het doel is om het perfecte evenwicht te vinden tussen hoe lang de computers wachten en hoeveel informatie zij delen. De onderzoekers testten dit idee met behulp van een simulatie gebaseerd op een echt, programmeerbaar netwerk dat negen steden over drie continenten beslaat. Ze modelleerden de werkelijke reistijden en verbindingssnelheden tussen steden zoals Tokio, New York en Londen om te zien hoe verschillende groeperingsstrategieën zouden presteren.
De simulaties toonden aan dat de beste strategie sterk afhangt van de capaciteiten van de hardware. Wanneer de netwerkchips zeer weinig geheugen hadden, was de meest efficiënte aanpak om kleine groepen van drie computers te vormen die door verschillende combinaties roteerden. Dit maakte het mogelijk dat data snel stroomde zonder het vermogen van het systeem om informatie vast te houden te overbelasten. Echter, toen de onderzoekers de chips meer geheugen gaven, veranderde de optimale strategie volledig. Met voldoende geheugen om de vertragingen van langeafstandreizen op te vangen, kon het systeem een strategie ondersteunen waarbij elke computer tegelijkertijd met elke andere computer praat. Deze "all-to-all"-aanpak, die voorheen onmogelijk was over lange afstanden, werd de snelste methode omdat het informatie in de kortste tijd aan iedereen kon verspreiden. De studie toonde aan dat door deze slimme netwerktechnologieën te combineren met een schema dat zich aanpast aan de limieten van de hardware, het mogelijk is om de kloof te verkleinen tussen computers die verspreid over de wereld getraind worden en computers die zij aan zij in dezelfde kamer staan.
De onderzoekers benadrukken dat hun werk momenteel een simulatie is gebaseerd op een live netwerk dat nog in aanbouw is. Hoewel het DoubleZero-netwerk bestaat en verkeer verwerkt, heeft het nog niet genoeg verbonden computerclusters om een massaal model in een echte test te trainen. De gepresenteerde resultaten zijn een bewijs van concept, die aantonen dat de theoretische winsten reëel zijn en dat de juiste combinatie van netwerkhardware en planningslogica de traditionele barrières van afstand kan overwinnen. De bevindingen suggereren dat de toekomst van het trainen van gigantische kunstmatige intelligentiemodellen niet alleen zal rusten op snellere computers, maar op slimmere netwerken die actief deelnemen aan het leerproces, waardoor de enorme afstanden tussen datacenters worden omgevormd van een zwakte naar een beheersbaar onderdeel van het systeem.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.