Enabling Memory-efficient Im2win Convolution with Multi-precision Support on GPU CUDA and Tensor Cores
Dit artikel presenteert een geoptimaliseerd, geheugenefficiënt im2win-convolutiekader voor GPU's dat gebruikmaakt van multi-precisieondersteuning en gespecialiseerde hardwarekenmerken zoals Tensor Cores om aanzienlijk hogere prestaties en een lager geheugengebruik te bereiken in vergelijking met bestaande methoden zoals cuDNN en GEMM-gebaseerde benaderingen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Deep learning, de technologie achter moderne beeldherkenning en autonoom rijden, leunt zwaar op een wiskundige operatie genaamd convolutie. Je kunt deze operatie zien als een schuivend venster dat over een afbeelding scant, waarbij kleine stukjes pixels controleert tegen een reeks patronen om kenmerken zoals randen of texturen te identificeren. Dit proces is de motor van kunstmatige intelligentie en verbruikt het grootste deel van de tijd en energie die nodig is om deze systemen te laten draaien. Om deze systemen sneller en efficiënter te maken, hebben onderzoekers jarenlang geprobeerd te optimaliseren hoe dit schuivende venster over data beweegt op computerchips, specif으로 op de krachtige graphics processing units (GPU's) die in high-end computers worden gevonden. De uitdaging is altijd geweest een afweging: methoden die snel zijn, vereisen vaak enorme hoeveelheden tijdelijk geheugen, terwijl methoden die geheugen besparen, de neiging hebben traag of instabiel te zijn.
Een team van onderzoekers heeft nu een nieuwe manier ontwikkeld om deze berekeningen uit te voeren die deze afweging doorbreekt. Ze hebben een techniek genaamd "im2win" verfijnd, die herstructureert hoe de computer de beelddata opslaat en toegankelijk maakt tijdens de scan. Door de lay-out van de data te veranderen, stelt de nieuwe methode de computer in staat om informatie in een vloeiende, continue stroom te verplaatsen in plaats van rond te springen op een verspreide manier. Deze eenvoudige verandering in organisatie vermindert de hoeveelheid tijdelijk geheugen die de computer moet vasthouden met meer dan de helft vergeleken met oudere, standaard methoden. Bovoltre heeft het team de techniek aangepast om te werken met twee verschillende soorten rekenkracht binnen moderne chips: de algemene kernen die nauwkeurige berekeningen afhandelen, en gespecialiseerde "tensor cores" die ontworpen zijn om massale blokken getallen tegelijkertijd te versnellen.
De onderzoekers testten hun aanpak op twaalf verschillende soorten beeldverwerkingstaken, variërend van eenvoudige filters tot complexe lagen in geavanceerde neurale netwerken. Ze ontdekten dat hun geoptimaliseerde methode aanzienlijk sneller was dan de huidige industriestandaarden. Wanneer de methode werd uitgevoerd op de gespecialiseerde tensor cores, bereikte de nieuwe methode prestatieniveaus die 1,4 keer hoger waren dan de beste bestaande softwarebibliotheken en 6,4 keer hoger dan een veelvoorkomend alternatief gebaseerd op matrixvermenigvuldiging. Wat betreft snelheid, gemeten in biljoenen operaties per seconde, was de nieuwe methode bijna drie keer sneller dan hun eigen versie die op de algemene kernen draaide. Misschien wel het belangrijkste: deze snelheid ging gepaard met een drastische vermindering van het geheugengebruik. De nieuwe methode had slechts 35% van het geheugen nodig dat de gebruikelijke matrixgebaseerde aanpak vereiste en 53% van het geheugen dat de leidende industriële software gebruikte.
Om deze resultaten te bereiken, introduceerde het team verschillende specifieke technische verbeteringen. Ze ontwierpen de data zodat deze via een "zig-zag"-patroon kan worden geraadpleegd, wat voorkomt dat verschillende delen van het geheugen van de computer overvol raken en elkaar vertragen. Ze richtten ook een systeem in waarbij de computer de volgende batch data op zijn plaats brengt terwijl hij nog bezig is met het berekenen van de huidige batch, waardoor de tijd die nodig is om informatie te verplaatsen effectief wordt verborgen. Door zorgvuldige tests ontdekten ze dat deze "double buffering"-techniek de belangrijkste factor was voor hun snelheidswinsten. Hoewel het zig-zagpatroon hielp, was het minder cruciaal dan het vermogen om datamobiliteit te overlappen met berekeningen.
De studie bevestigt dat door software zorgvuldig af te stemmen op de fysieke lay-out van het geheugen en de rekeneenheden van de computer, het mogelijk is om deep learning-systemen zowel sneller als geheugenefficiënter te maken zonder de nauwkeurigheid op te offeren. De onderzoekers hebben aangetoond dat hun methode consistent werkt over een breed scala aan afbeeldingen en filtervormen, wat bewijst dat het een robuuste oplossing is voor de diverse behoeften van moderne kunstmatige intelligentie. Door het probleem van geheugenoverhead en inefficiënte data-toegang op te lossen, biedt dit werk een verenigd kader dat toekomstige AI-systemen in staat kan stellen om complexere modellen te draaien op bestaande hardware, of huidige modellen te draaien met aanzienlijk minder energie en tijd.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.