🤖 machine learning

Neural Network Training with Approximate Logarithmic Computations

Dit artikel stelt een end-to-end diep neuraal netwerk trainings- en inferentieschema voor met behulp van benaderende logaritmische getalsysteemcomputaties met fixed-point rekenkunde, waarbij wordt aangetoond dat 16-bit log-domein verwerking een classificatienauwkeurigheid bereikt binnen ongeveer 1% van floating-point baselines, terwijl de noodzaak voor hardware-multipliers wordt geëlimineerd.

Oorspronkelijke auteurs: Arnab Sanyal, Peter A. Beerel, Keith M. Chugg

Gepubliceerd 2019-10-22

📖 4 min leestijd☕ Koffiepauze-leesvoer

Oorspronkelijke auteurs: Arnab Sanyal, Peter A. Beerel, Keith M. Chugg

✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de moderne wereld zijn computers opmerkelijk goed geworden in het herkennen van patronen, van het identificeren van een kat op een foto tot het begrijpen van gesproken woorden. Deze vaardigheid komt voort uit een type software genaamd een neuraal netwerk, dat is ontworpen om de manier waarop het menselijk brein informatie verwerkt na te bootsen door veel eenvoudige verwerkingseenheden met elkaar te verbinden. Om deze netwerken slim te maken, moeten ze worden getraind met enorme hoeveelheden data, een proces dat vereist dat de computer miljarden complexe berekeningen uitvoert. Traditioneelelijk leunen deze berekeningen zwaar op vermenigvuldiging, een operatie die wiskundig gezien recht door zee is, maar aanzienlijke energie en gespecialiseerde hardware vereist om snel te worden uitgevoerd. Naarmate we proberen deze intelligente systemen te draaien op kleinere, op batterijen werkende apparaten zoals smartphones of sensoren, wordt de zware vraag naar vermenigvuldiging een flessenhals, wat energie verbruikt en het leerproces vertraagt.

Een team onderzoekers aan de University of Southern California heeft een andere manier voorgesteld om deze berekeningen af te handelen, een manier die het trainen van deze netwerken veel efficiënter zou kunnen maken. In plaats van de standaard vermenigvuldiging uit te voeren die vereist is door traditionele methoden, stellen zij voor om alle getallen om te zetten naar een logaritmisch formaat. In dit systeem wordt de moeilijke taak van het vermenigvuldigen van twee getallen vervangen door de veel eenvoudigere taak van het bij elkaar optellen ervan. Hoewel deze conversie veelbelovend klinkt, introduceert het een nieuwe uitdaging: het optellen van getallen in dit logaritmische formaat is niet zo eenvoudig als standaard optellen en vereist meestal complexe opzoektabellen of benaderingen om correct te werken. De onderzoekers gingen de uitdaging aan om te zien of ze deze optellingen nog verder konden vereenvoudigen, door gebruik te maken van grove benaderingen die gemakkelijk door hardware te bouwen zijn, zonder de nauwkeurigheid van het uiteindelijke resultaat te ruïneren.

De onderzoekers ontwikkelden een volledig systeem waarbij het gehele trainings- en testproces van een neuraal netwerk plaatsvindt binnen deze logaritmische wereld. Ze vervingen de standaard vermenigvuldigingsstappen door optelling en handelden de lastige delen van logaritmische optelling af met behulp van twee specifieke shortcuts. Eén shortcut maakt gebruik van een kleine tabel met vooraf berekende waarden, vergelijkbaar met een spiekbriefje, terwijl de andere een eenvoudige bit-shifting techniek gebruikt, wat een snelle manier is voor computers om te vermenigvuldigen met machten van twee. Om hun idee te testen, bouwden ze een digitale simulatie van een neuraal netwerk en trainden ze deze op verschillende bekende beelddatasets, waaronder foto's van handgeschreven cijfers en kledingstukken. Ze vergeleken hun nieuwe logaritmische methode met de standaard, hoogprecisie floating-point methode die momenteel in de meeste krachtige computers wordt gebruikt.

De resultaten waren verrassend bemoedigend. Wanneer de onderzoekers een 16-bit representatie voor hun getallen gebruikten, bereikte de logaritmische methode een classificatienauwkeurigheid die binnen ongeveer één procent van de standaard floating-point methode lag. Dit betekent dat, ondanks het gebruik van vereenvoudigde wiskunde en benaderingen, het netwerk leerde om afbeeldingen bijna even goed te herkennen als het traditionele systeem. Ze ontdekten dat zelfs met een zeer kleine opzoektabel die slechts twintig vermeldingen bevat, het systeem goed presteerde, en in veel gevallen was de eenvoudige bit-shifting shortcut voldoende om een hoge nauwkeurigheid te behouden. De studie suggereert dat voor veel veelvoorkomende taken een 16-bit fixed-point representatie in het logaritmische domein voldoende is om de prestaties van veel complexere floating-point berekeningen te benaderen.

Dit werk demonstreert dat het mogelijk is om diepe neurale netwerken te trainen zonder te vertrouwen op dure vermenigvuldigingshardware, mits de opteloperaties worden afgehandeld met deze specifieke benaderingen. De onderzoekers toonden aan dat de degradatie in nauwkeurigheid minimaal is, wat suggereert dat toekomstige hardwareontwerpen potentieel vermenigvuldigers volledig kunnen elimineren voor trainings- en inferentietaken. Dit zou leiden tot apparaten die kleiner, sneller en energiezuiniger zijn, in staat om direct aan de edge te leren en zich aan te passen zonder de noodzaak om data terug te sturen naar een grote server. Hoewel de studie zich richtte op specifieke typen netwerken en datasets, wijzen de bevindingen op een levensvatbaar pad om geavanceerde kunstmatige intelligentie toegankelijker en praktischer te maken voor alledaagse apparaten.

Technische Samenvatting: Training van Neurale Netwerken met Benaderde Logaritmische Berekeningen

Probleemstelling
De hoge computationele complexiteit die gepaard gaat met het trainen van diepe neurale netwerken (DNN's) beperkt de haalbaarheid van online en real-time training op edge-apparaten. Hoewel Graphics Processing Units (GPU's) massieve hardware multiply-accumulate (MAC) versnellers bieden, zijn ze algemeen van aard en maken ze mogelijk geen efficiënt gebruik van hardware voor DNN-verwerking. Op maat gemaakte hardware-versnellers bieden een weg naar verbeterde snelheid en energie-efficiëntie door middel van co-design, maar de dominantie van vermenigvuldigingscircuits in MAC-units blijft een significante bottleneck. Bestaande methoden voor complexiteitsreductie richten zich vaak op sparsity, pruning of kwantisatie, maar er is behoefte aan benaderingen die de complexiteit van de MAC-units zelf fundamenteel verminderen.

Methodologie
Dit paper stelt een end-to-end training- en inferentie-schema voor DNN's voor dat vermenigvuldigingen elimineert door alle berekeningen uit te voeren in het logaritmische domein met behulp van een Logarithmic Number System (LNS). In LNS wordt een reëel getal $v$ gerepresenteerd door de logaritme van de absolute waarde ( $V = \log_2 |v|$ ) en het teken ( $s_v$ ). Deze transformatie zet vermenigvuldigingen in het lineaire domein om in optellingen in het logaritmische domein.

De primaire uitdaging in LNS is de opteloperatie in het logaritmische domein, die het berekenen van complexe $\Delta$ -termen ( $\Delta_+$ en $\Delta_-$ ) vereist om de som van logaritmen te verwerken. Om dit aan te pakken, stellen de auteurs lage-complexiteit benaderingen voor, geïnspireerd door hardwarevriendelijke technieken:

Look-Up Tables (LUT's): Vooraf berekende tabellen voor $\Delta_\pm(d)$ , waarbij $d$ het verschil is tussen de log-waarden.
Bit-Shift Benaderingen: Het generaliseren van een eerdere bit-shift methode om met gesigneerde rekenkunde om te gaan. Deze benaderingen blijken speciale gevallen te zijn van LUT's met specifieke resoluties.

De trainingsprocedure wordt volledig in het logaritmische domein geïmplementeerd met behulp van fixed-point datarepresentaties. De auteurs passen standaard DNN-componenten aan voor dit domein:

Activatie-functies: De leaky-ReLU wordt vertaald naar een log-leaky ReLU (llReLU).
Gewichtsinitialisatie: Symmetrische distributies worden omgezet naar het logaritmische domein, waarbij het teken een Bernoulli-variabele wordt.
Soft-max: De soft-max laag en de cross-entropy kosten worden geherformuleerd voor operaties in het logaritmische domein.
Fixed-Point Analyse: Het paper analyseert de vereisten voor de bitbreedte en merkt op dat hoewel worst-case analyse suggereert dat logaritmische representaties meer bits vereisen dan equivalenten in het lineaire domein, empirische resultaten suggereren dat ze vergelijkbaar kunnen zijn.

Belangrijkste Bijdragen

End-to-End Log-Domain Training: De auteurs demonstreren een volledige training- en inferentie-pipeline voor DNN's met behulp van benaderde LNS-berekeningen, waardoor de noodzaak voor vermenigvuldigers vervalt.
Gegeneraliseerde Bit-Shift Benaderingen: Het paper breidt bestaande bit-shift benaderingen uit om met gesigneerde rekenkunde om te gaan en stelt hun equivalentie vast met specifieke LUT-configuraties.
Fixed-Point Implementatie: Een uitgebreid framework voor het implementeren van DNN-training met fixed-point LNS, inclusief specifieke aanpassingen voor activatie-functies, gewichtsinitialisatie en soft-max lagen.

Experimentele Resultaten
De auteurs hebben de voorgestelde methode geëvalueerd op vier datasets (MNIST, Fashion-MNIST, EMNIST-Digits, en EMNIST-Letters) met behulp van een Multi-Layer Perceptron (MLP) architectuur. Ze vergeleken 12-bit en 16-bit fixed-point implementaties in zowel het lineaire domein als het logaritmische domein (met zowel LUT als bit-shift benaderingen) tegenover floating-point baselines.

Nauwkeurigheid: De 16-bit log-gebaseerde training behaalde een classificatienauwkeurigheid binnen ongeveer 1% van de equivalente floating-point baselines over de geteste datasets.
Approximatiegevoeligheid: De log-domein soft-max laag bleek gevoeliger voor benaderingsfouten dan andere operaties, waarbij een hogere-resolutie LUT (640 elementen) nodig was vergeleken met de standaard operaties (20 elementen).
Bit-Shift Prestaties: Eenvoudige bit-shift benaderingen, die als equivalent aan kleinere LUT's kunnen worden beschouwd, boden in veel gevallen goede classificatieprestaties, hoewel LUT's over het algemeen iets betere resultaten opleverden.
Precisie: 16-bit fixed-point representaties in het logaritmische domein waren voldoende om de nauwkeurigheid van floating-point berekeningen te benaderen, waarbij 12-bit implementaties een iets hogere degradatie lieten zien.

Betekenis en Claims
Het paper claimt dat de voorgestelde aanpak hardware-implementaties van DNN-training en -inferentie mogelijk maakt zonder vermenigvuldigers, wat potentieel de implementatiecomplexiteit en het energieverbruik aanzienlijk kan verminderen. De auteurs concluderen dat:

Het benaderen van logaritmische optelling met behulp van een max-operatie, een adder en een LUT-gebaseerde benadering voor de $\Delta$ -term leidt tot slechts een bescheiden degradatie in classificatienauwkeurigheid vergeleken met lineaire verwerking.
16-bit fixed-point representaties voldoende zijn om prestaties te behalen die vergelijkbaar zijn met floating-point berekeningen.
Een LUT van grootte 20 voldoende is voor de meeste operaties, en eenvoudige bit-shift benaderingen levensvatbare alternatieven zijn in veel scenario's.

De auteurs houden een bescheiden standpunt aan met betrekking tot praktische inzetbaarheid, waarbij zij opmerken dat om de aanpak wenselijk te maken, de complexiteit van de circuitimplementatie van de benaderde logaritmische adder aanzienlijk lager moet zijn dan die van een vermenigvuldiger. Zij identificeren toekomstige onderzoeksrichtingen als het toepassen van de methode op grotere convolutionele neurale netwerken en het co-optimaliseren van $\Delta$ -term benaderingen voor zowel nauwkeurigheid als hardwarecomplexiteit.

Meer zoals dit