In de wereld van de moderne technologie is er een constante drang om slimme apparaten kleiner, goedkoper en in staat te maken om te draaien op piepkleine batterijen. Deze beweging heeft geleid tot "edge computing", waarbij complexe taken zoals het herkennen van gezichten of het detecteren van objecten direct op een camera of een sensor plaatsvinden, in plaats van het terugsturen van gegevens naar een enorme cloudserver. De wiskundige motor achter deze visie is een proces dat convolutie wordt genoemd, wat werkt als een filter die over een afbeelding schuift om specifieke patronen te vinden, zoals de scherpe rand van een gebouw of de curve van een gezicht. Om dit te doen, moet het apparaat tegelijkertijd naar een kleine groep pixels kijken, deze vermenigvuldigen met specifieke getallen en de resultaten bij elkaar optellen. Hoewel krachtige computers in datacentra dit gemakkelijk afhandelen, is het uitvoeren hiervan op een kleine, energiezuinige chip moeilijk omdat de chip zeer beperkt geheugen en energie heeft. Het kan het zich niet veroorloven om de hele afbeelding op te slaan om later terug te kijken, noch kan het energie verspillen aan het wachten tot gegevens binnenkomen.

Onderzoekers aan de Ain Shams Universiteit hebben een nieuwe hardwareversneller ontworpen die deze problemen oplost voor kleine, energiezuinige chips die te vinden zijn in apparaten zoals drones of draagbare sensoren. Ze hebben een gespecialiseerde schakeling ontworpen die een stroom van beeldgegevens kan verwerken terwijl deze binnenkomen, één pixel per keer, zonder ooit de hele foto in het geheugen te hoeven opslaan. Het team heeft dit systeem gebouwd op een type herconfigureerbare chip genaamd een FPGA, specifelijk gericht op een model dat bekend staat als de Zynq-7020, die gebruikelijk is in ingebedde elektronica. Hun doel was om alle zware, energieverslindende geheugencomponenten die normaal gesproken voor deze taak nodig zijn, weg te strippen en te vervangen door een veel lichtere, efficiëntere structuur die volledig binnen de basislogica-blokken van de chip past.

De kern van hun innovatie is een methode voor het afhandelen van beeldgegevens die het overbodig maakt om grote, toegewezen geheugenbanken te gebruiken. Typisch gezien heeft een computer, om een klein vierkant van een afbeelding te analyseren, de huidige rij pixels en de twee rijen die net voor hen kwamen, nodig om te onthouden. Standaardontwerpen gebruiken grote geheugenblokken om deze rijen vast te houden, wat kostbare ruimte en energie verbruikt. In plaats daarvan hebben de onderzoekers een systeem gebouwd dat gebruikmaakt van kleine, flexibele opslageenheden die in de logicafabricage van de chip te vinden zijn. Deze eenheden fungeren als een bewegende lopende band die net genoeg gegevens vasthoudt om het benodigde drie-bij-drie vierkant van pixels te reconstrueren terwijl de beeldstroom voorbijstroomt. Door deze kleine, gedistribueerde opslagelementen te gebruiken in plaats van grote geheugenblokken, hebben ze de noodzaak voor enige toegewezen geheugentegels geëlimineerd, waardoor ruimte vrijkwam voor andere taken en de energie die nodig is om het systeem te laten draaien drastisch werd verminderd.

De versneller verwerkt de beeldgegevens met een gestage snelheid, waarbij elke klokcyclus één pixel accepteert. Terwijl de pixels binnenstromen, vormt het systeem onmiddellijk de vereiste drie-bij-drie buurt, vermenigvuldigt elke pixel met de bijbehorende waarde en telt de resultaten bij elkaar op. Om de wiskunde nauwkeurig te houden en fouten te voorkomen door getallen die te groot worden, gebruikt het ontwerp een specifiek, wiskundig bewezen formaat voor zijn interne berekeningsregisters. Dit garandeert dat de som van de negen vermenigvuldigde waarden nooit zal overstromen of onjuist zal ronddraaien, een veelvoorkomend probleem in digitale systemen met een vaste grootte. Zodra de berekening voltooid is, wordt het resultaat zorgvuldig aangepast om binnen een standaardbereik te passen, en een optionele stap kan worden toegepast om negatieve waarden te verwijderen, wat een veelvoorkomende stap nabootst die wordt gebruikt in kunstmatige intelligentienetwerken.

Het team heeft hun ontwerp streng getest, door het door simulaties te laten lopen en de resultaten te vergelijken met een betrouwbaar softwaremodel. Ze hebben geverifieerd dat de hardware exact dezelfde output produceerde als de software voor elke pixel in testafbeeldingen, inclus�ien complexe natuurlijke foto's en geometrische patronen. Toen ze het ontwerp op de doelchip bouwden, lieten de resultaten zien dat het systeem bijna geen geheugenbronnen verbruikte, waarbij nul toegewezen geheugenblokken werden gebruikt. Het nam minder dan een half procent van de totale logische capaciteit van de chip in beslag en gebruikte slechts een fractie van de gespecialiseerde rekenprocessors. Het systeem draaide met een snelheid van 100 miljoen cycli per seconde, waarbij een volledige frame van een 32-bij-32 pixel afbeelding in slechts iets meer dan tien microseconden werd verwerkt.

Energieverbruik was een ander groot succes. Het actieve deel van de chip dat de berekeningen uitvoert, verbruikte slechts negen milliwatt aan vermogen, wat minder is dan de energie die nodig is om een piepkleine LED te verlichten. Hoewel het totale gemeten vermogen ook de energie omvatte die nodig is om signalen uit de chip naar externe pinnen te sturen, merkten de onderzoekers op dat in een echt apparaat waar de chip intern met andere onderdelen communiceert, deze externe energiekosten zouden verdwijnen, waardoor de berekeningskern op minder dan tien milliwatt draait. Dit niveau van efficiëntie maakt het mogelijk om geavanceerde visietaken uit te voeren op apparaten die worden gevoed door kleine batterijen of zelfs energieoogst, zonder dat daar grote koelsystemen of zware voedingen voor nodig zijn.

Het ontwerp is niet zonder beperkingen. Het is momenteel specifiek gebouwd voor het verwerken van enkelvoudige kanaalafbeeldingen, zoals zwart-witfoto's, en is geoptimaliseerd voor een drie-bij-drie patroonformaat. Het veranderen van de patroongrootte of het verwerken van kleurenafbeeldingen zou het herbouwen van de schakeling vereisen. Daarnaast verwacht het systeem een continue datastroom en heeft het geen mechanisme om te pauzeren en te wachten als de databron stopt. Echter, voor hun beoogde doel — het afhandelen van kleine, snel bewegende beeldfragmenten op energiezuinige hardware — hebben de onderzoekers aangetoond dat hun aanpak een zeer efficiënte oplossing is. Door te bewijzen dat complexe beeldanalyse kan worden uitgevoerd met bijna geen geheugen en minimaal energieverbruik, opent dit werk de deur naar een nieuwe generatie slimme, zelfstandige sensoren die de wereld kunnen zien en begrijpen zonder een verbinding met de cloud nodig te hebben.