Energy Efficient Exact and Approximate Systolic Array Architecture for Matrix Multiplication

Dit artikel presenteert een energiezuinige systolische array-architectuur met exacte en benaderende verwerkingselementen voor matrixvermenigvuldiging, die aanzienlijke energiebesparingen biedt terwijl de beeldkwaliteit behouden blijft voor toepassingen zoals DCT en randdetectie.

De kern

Stel je voor dat je een enorme, super-snelle keuken hebt waar elke seconde duizenden recepten worden bereid. In de wereld van kunstmatige intelligentie (zoals de apps op je telefoon of zelfrijdende auto's) zijn deze recepten eigenlijk rekenopdrachten. De meest voorkomende opdracht is het vermenigvuldigen van enorme lijsten met getallen (matrizen).

Dit papier beschrijft een nieuwe manier om deze "keuken" te bouwen, zodat hij minder stroom verbruikt, maar nog steeds heerlijke maaltijden (goede resultaten) levert.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De Hongerige Keuken

De huidige computers die AI doen, zijn als een keuken vol kokken die elke stap tot op de laatste komma perfect uitvoeren. Als een kok zegt: "Doe 3,000001 gram suiker toe", doet hij dat ook echt.

• Het nadeel: Dit kost enorm veel energie en tijd. Voor een smartphone of een slimme camera (die vaak op batterijen draait) is dit te veel van het goede. Het is alsof je een Ferrari gebruikt om naar de supermarkt te gaan; het kan, maar het is zonde van het benzine.

2. De Oplossing: De "Slimme" Kokken (Systolische Arrays)

De auteurs van dit papier hebben een nieuw type keuken ontworpen, een Systolische Array.

• De Analogie: Denk aan een assemblagelijn in een fabriek. In plaats dat elke kok wacht tot de vorige klaar is, werken ze allemaal tegelijk. Een kok geeft een ingrediënt door aan de volgende, die voegt iets toe, en geeft het weer door. Zo stroomt het werk als een hartslag (vandaar de naam "systolisch").

3. De Nieuwe Wapens: PPC en NPPC

Het geheim zit in de kleine gereedschappen die de kokken gebruiken. De auteurs hebben twee nieuwe soorten "rekenmachines" (Processing Elements) bedacht:

• De Exacte Kok (PPC): Deze is nog steeds heel precies, maar werkt slimmer en sneller dan de oude versies. Hij gebruikt minder energie omdat hij minder "stapels" hoeft te maken.
• De Benaderende Kok (NPPC): Dit is de echte ster van het verhaal. Deze kok is een beetje slordig, maar op een slimme manier.
  • De Metafoor: Stel je voor dat je een schilderij moet maken. De exacte kok meet elke penseelstreek tot op de micrometer. De benaderende kok zegt: "Als het eruit ziet alsof het 99% hetzelfde is, dan is het goed genoeg."
  • In de wereld van AI en beeldverwerking maakt een klein foutje (bijvoorbeeld een pixel die net iets anders kleurt) vaak niets uit voor het menselijk oog, maar bespaart het wel veel energie.

4. Wat hebben ze bereikt? (De Resultaten)

De auteurs hebben deze nieuwe keuken getest op drie belangrijke taken:

1. Foto's comprimeren (DCT):

   • Ze hebben een foto gecomprimeerd (kleiner gemaakt voor opslag).
   • Resultaat: De foto zag er nog steeds haarscherp uit (een kwaliteitsscore van 45 dB), maar de keuken verbruikte 68% minder stroom dan de oude methode. Dat is alsof je je telefoon een week laat meedraaien op één lading in plaats van één dag.

2. Randen detecteren (Edge Detection):

   • Dit is het vinden van de contouren in een foto (bijvoorbeeld voor een zelfrijdende auto om een voetganger te zien).
   • Resultaat: Met de "slordige" kokken zagen ze de randen nog steeds heel goed (30 dB kwaliteit).
   • De verrassing: Als ze de "slordige" kokken gebruikten in een slim netwerk (een CNN), werd het resultaat zelfs beter dan met de oude, perfecte kokken (75 dB!).
   • Waarom? Omdat het slimme netwerk de kleine foutjes van de kokken automatisch corrigeerde. Het is alsof je een team hebt waarbij de ene persoon snel schetst en de andere persoon de details perfect maakt; samen werken ze sneller en beter.

5. Waarom is dit belangrijk?

Voor de toekomst van technologie is dit een game-changer.

• Voor de batterij: Je telefoon, je slimme horloge en je drone kunnen veel langer werken zonder op te laden.
• Voor de snelheid: Omdat ze minder energie nodig hebben, kunnen ze sneller rekenen.
• Voor de wereld: We kunnen slimme camera's en AI overal plaatsen, zelfs op plekken waar geen stopcontact is.

Kort samengevat:
De auteurs hebben een manier gevonden om computers te laten werken met "voldoende goed" in plaats van "perfect". In de wereld van AI is "voldoende goed" vaak net zo goed als perfect voor het menselijk oog, maar het kost een fractie van de energie. Ze hebben een nieuwe, zuinige motor gebouwd die de wereld van beeldverwerking en AI een enorme duw in de rug geeft.

Technische samenvatting

Probleemstelling

Diepe neurale netwerken (DNN's) en andere AI-toepassingen vereisen enorme hoeveelheden matrixvermenigvuldigingen, wat leidt tot een zeer hoge reken- en energievraag. Traditionele systolische arrays (SA), zoals die gebruikt worden in hardware-versnellers (bijv. Google's TPU), maken gebruik van exacte rekenkundige eenheden. Hoewel deze nauwkeurig zijn, hebben ze een aanzienlijk energieverbruik en een grote siliconen oppervlakte nodig. Dit maakt ze minder geschikt voor hulpbronnen-beperkte platforms zoals edge-apparaten en IoT-systemen, waar energie-efficiëntie cruciaal is. Er is een behoefte aan een ontwerp dat de balans vindt tussen nauwkeurigheid en energiebesparing, vooral voor toepassingen die tolerant zijn voor kleine fouten (zoals beeldverwerking).

Methodologie

De auteurs stellen een nieuwe architectuur voor voor systolische arrays die zowel exacte als benaderende (approximate) Processing Elements (PE's) ondersteunt. De kern van de oplossing ligt in het ontwerp van nieuwe halfgeleidercellen voor het genereren van partiële producten:

1. Nieuwe Cellen-ontwerpen:

   • PPC (Partial Product Cell): Een energie-efficiënte cel voor het genereren van positieve partiële producten.
   • NPPC (Nand-based Partial Product Cell): Een cel gebaseerd op NAND-logica voor het genereren van negatieve partiële producten, essentieel voor het uitvoeren van vermenigvuldigingen met voorvoegseltekens (signed multiplication).
   • De auteurs hebben zowel exacte als benaderende versies van deze cellen ontwikkeld. De benaderende versies introduceren bewust fouten in de logica om de complexiteit en het stroomverbruik te verlagen.

2. Architectuur van de PE:

   • De voorgestelde PE's fuseren vermenigvuldiging en accumulatie in één eenheid ($a \times b + c$), wat de vertraging verkleint.
   • Er worden 8-bit ontwerpen gepresenteerd voor zowel ongesigneerde als gesigneerde bewerkingen.
   • Voor de benaderende ontwerpen wordt een benaderingsfactor $k = N-1$ gebruikt, waarbij bepaalde bits in de berekening worden genegeerd of vereenvoudigd.

3. Validatie:

   • De ontwerpen zijn geïmplementeerd in Verilog HDL en gesynthetiseerd met Cadence Genus in een 90-nm UMC-technologie.
   • De prestaties zijn getest op drie applicaties: Discrete Cosine Transform (DCT) voor beeldcompressie, randdetectie met een Laplacian-kernel, en randdetectie met een Convolutional Neural Network (BDCN).

Belangrijkste Bijdragen

• Innovatieve PE-ontwerpen: Introductie van energie-efficiënte exacte en benaderende PE's voor systolische arrays, specifiek ontworpen voor matrixvermenigvuldiging.
• Nieuwe Logica-cellen: Ontwikkeling van PPC en NPPC cellen die aanzienlijke energiebesparingen bieden ten opzichte van de beste bestaande ontwerpen (respectievelijk 46,8% en 34,4% energiebesparing voor de benaderende cellen).
• Significante Energiebesparing: De voorgestelde 8x8 systolische array met benaderende PE's bereikt een energiebesparing van 68% vergeleken met bestaande ontwerpen, terwijl de exacte versie nog steeds 16% bespaart.
• Toepassing in Real-world Scenarios: Succesvolle integratie in DCT en randdetectie-algoritmen, waarbij bewezen wordt dat de kwaliteit van het beeld (gemeten in PSNR) acceptabel blijft ondanks de benadering.

Resultaten

De evaluatie toont de volgende resultaten aan:

• Hardware-metrics (90nm technologie):

  • De benaderende PPC en NPPC cellen bereiken een verbetering in het Power-Area-Delay Product (PADP) van respectievelijk 46,8% en 34,4% ten opzichte van de beste bestaande ontwerpen.
  • De voorgestelde exacte 8-bit PE bespaart 24,37% energie ten opzichte van referentie [6].
  • De voorgestelde benaderende 8-bit PE bespaart 22,51% energie ten opzichte van referentie [5].
  • Voor een 16x16 systolische array bereikt het benaderende ontwerp een reductie in PDP (Power-Delay Product) van 62,7% ten opzichte van exacte ontwerpen.

• Foutanalyse:

  • De fouten worden gemeten met NMED (Normalized Mean Error Distance) en MRED (Mean Relative Error Distance). Hoewel de fout toeneemt met een hogere benaderingsfactor $k$, blijven de resultaten binnen acceptabele grenzen voor beeldverwerking.

• Applicatie-resultaten (Beeldkwaliteit):

  • DCT (Beeldcompressie): Bereikt een PSNR van 45,97 dB en een SSIM van 0,991 (bij $k=2$), wat aangeeft dat de beeldkwaliteit nauwelijks verslechtert.
  • Randdetectie (Kernel-based): Bereikt een PSNR van 30,45 dB.
  • Randdetectie (CNN-based BDCN): Bereikt een uitstekende PSNR van 75,98 dB. Dit toont aan dat de netwerkstructuur van de CNN de rekenfouten effectief kan compenseren, zelfs bij hogere benaderingsfactoren.

Betekenis en Conclusie

Dit onderzoek demonstreert dat het gebruik van benaderende rekenen (approximate computing) in systolische arrays een krachtige strategie is om de energie-efficiëntie van AI-hardware drastisch te verbeteren zonder de bruikbaarheid voor beeld- en visuele verwerkingstoepassingen te compromitteren.

De voorgestelde architectuur biedt een uitstekende balans tussen prestaties, energie-efficiëntie en rekennauwkeurigheid. Het is bij uitstek geschikt voor fouttolerante toepassingen zoals beeldcompressie, randdetectie en deep learning op edge-apparaten, waar energiebesparing vaak belangrijker is dan bit-perfecte nauwkeurigheid. De resultaten onderstrepen dat de combinatie van geoptimaliseerde hardware-cellen (PPC/NPPC) en benaderende logica leidt tot een nieuwe generatie energiezuinige AI-versnellers.