Integer-Only Operations on Extreme Learning Machine Test Time Classification

Probleemstelling

Hoewel de meeste signalen tegenwoordig worden verkregen via analog-naar-digitaal converters (ADC) en dus als gehele getallen (integers) worden weergegeven, gebruiken vrijwel alle classificatiealgoritmen tijdens de testfase (inference) zwevendekommabewerkingen (floating-point). Deze bewerkingen zijn hardwarematig zeer kostbaar, vooral op Field-Programmable Gate Arrays (FPGA's).

• Hardwarekosten: Zwevendekommabewerkingen vereisen aanzienlijk meer chipoppervlak, verbruiken meer energie en nemen meer tijd in beslag dan gehele getalbewerkingen. Een FPGA heeft bijvoorbeeld 12 keer meer dichtheid nodig voor zwevendekommabewerkingen vergeleken met een GPU.
• Bestaande oplossingen: Het gebruik van vaste komma (fixed-point) is een veelvoorkomende oplossing, maar dit introduceert kwantiseringsfouten en vereist vaak complexere DSP-eenheden (Digital Signal Processors) en hogere energieconsumptie om de precisie te behouden.
• Doel: De auteurs willen een methode ontwikkelen die het gebruik van zwevendekommabewerkingen volledig elimineert ten gunste van uitsluitend gehele getalbewerkingen, zonder de classificatie-accuraatheid significant te verlagen.

Methodologie

Het paper focust op Extreme Learning Machines (ELM), een type enkel-laags feedforward neurale netwerk (SLFN). In een ELM worden de input-weights en biases willekeurig gekozen; alleen de output-weights worden getraind (meestal via de Moore-Penrose pseudoinversie). De auteurs introduceren drie specifieke technieken om de berekeningskosten tijdens de testfase te reduceren:

1. Ternaire Input-Weights:
   In plaats van input-weights te trekken uit een continue verdeling (zoals een uniforme verdeling tussen 0 en 1), worden deze getrokken uit de ternaire set $\{-1, 0, 1\}$.

   • Voordeel: Dit elimineert de noodzaak voor vermenigvuldigingen tijdens de feature-mapping stap ($W \cdot x$). Als de input een integer is en de weight is -1, 0 of 1, wordt de vermenigvuldiging vervangen door een optelling of een bit-shift (of simpelweg 0).

2. Geen Normalisatie van Input-Signalen:
   De auteurs bewijzen wiskundig dat voor een ELM met een rectifier-activatiefunctie (ReLU, $g(x) = \max(0, x)$) en nul-bias, de classificatie-accuraatheid identiek is voor zowel ruwe (integer) signalen als genormaliseerde signalen (waarbij de $L_2$-norm gelijk is aan 1).

   • Gevolg: De dure stap van het normaliseren van de input-data (die zwevendekommabewerkingen vereist) kan worden weggelaten.

3. Integer Output-Weights:
   De getrainde output-weights ($\beta$), die normaal gesproken zwevendekommagetallen zijn, worden afgerond naar het dichtstbijzijnde gehele getal.

   • Bit-reductie: De auteurs tonen aan dat de precisie van deze gehele getallen (aantal bits) kan worden gereduceerd zonder noemenswaardig verlies aan nauwkeurigheid, zelfs tot minder dan de helft van de oorspronkelijke precisie.

Belangrijkste Bijdragen

De paper levert de volgende bijdragen:

• Empirisch bewijs dat input-weights uit de set $\{-1, 0, 1\}$ kunnen worden gehaald met slechts een beperkte daling in nauwkeurigheid.
• Wiskundig bewijs dat normalisatie van testsignalen niet nodig is bij gebruik van de rectifier-activatiefunctie en nul-bias, wat de voorverwerking vereenvoudigt.
• Een methode om een integer-versie van de output-weights te creëren die vergelijkbare prestaties levert als de originele zwevendekomma-versie.
• Demonstratie dat deze technieken toepasbaar zijn op diverse datasets en potentieel ook op andere matrix-vector vermenigvuldigingsalgoritmen (zoals Dictionary Learning of Deep Neural Networks).

Resultaten

De auteurs hebben hun technieken getest op vijf beeldclassificatiedatasets:

1. Bark vs. Woodgrain (Brodatz texturen)
2. Pigskin vs. Pressedcl (Brodatz texturen)
3. CIFAR-10: Deer vs. Horse (binair subset)
4. MNIST (handgeschreven cijfers, multiclass)
5. CIFAR-10 (alle 10 klassen)

Kernbevindingen:

• Accuraatheid: Er is slechts een beperkte daling in classificatie-accuraatheid waargenomen. Bij grote datasets (zoals MNIST en CIFAR-10) was het verschil tussen de originele ELM en de geoptimaliseerde integer-ELM verwaarloosbaar (vaak binnen de statistische foutmarge).
• Input-Weights: Het gebruik van $\{-1, 0, 1\}$ in plaats van continue waarden resulteerde in vergelijkbare resultaten (bijv. 95.96% op MNIST voor beide varianten).
• Bit-precisie: De output-weights konden worden gereduceerd tot ongeveer de helft van de oorspronkelijke bit-breedte zonder verlies aan nauwkeurigheid.
• Hardware-impact: De methode vervangt de duurste operatie (matrix-vector vermenigvuldiging) door optellingen, wat de energieconsumptie en het benodigde chipoppervlak op FPGA's drastisch verlaagt.

Betekenis en Toepassing

Deze research is van groot belang voor twee specifieke domeinen:

1. Embedded Systemen: Waar stroomverbruik beperkt is en rekenkracht schaars (bijvoorbeeld in draagbare apparaten of IoT-toepassingen). Het elimineren van zwevendekommabewerkingen en DSP's bespaart aanzienlijk energie.
2. Datacenters: Waar grote corporaties duizenden classificaties uitvoeren. Het verlagen van het energieverbruik per berekening leidt tot aanzienlijke kostenbesparingen en een kleinere ecologische voetafdruk.

Concluderend biedt het paper een robuuste theoretische en empirische basis voor het implementeren van Extreme Learning Machines op hardware die uitsluitend integer-bewerkingen ondersteunt, waardoor de barrière voor efficiënte beeldclassificatie op FPGA's wordt verlaagd.