MicroViTv2: Beyond the FLOPS for Edge Energy-Friendly Vision Transformers
MicroViTv2 is een lichtgewicht, hardware-bewuste Vision Transformer die gereparameteriseerde componenten en Single Depth-Wise Transposed Attention gebruikt om superieure nauwkeurigheid en energie-efficiëntie op edge-apparaten te bereiken, wat aantoont dat optimaliseren voor real-world prestaties kritischer is dan het minimaliseren van FLOPs.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van moderne technologie zijn computers bijzonder goed geworden in het bekijken van afbeeldingen en het begrijpen van wat ze zien. Ze kunnen een kat identificeren, een auto opsporen of een bord lezen met een nauwkeurigheid die die van het menselijk oog evenaart. Deze vaardigheid berust op een type kunstmatige intelligentie dat een Vision Transformer wordt genoemd. Beschouw deze systemen als zeer gedetailleerde kaartenmakers die een afbeelding scannen en deze in kleine stukjes opdelen om te begrijpen hoe ze met elkaar samenhangen. Hoewel deze kaartenmakers ongelooflijk krachtig zijn, zijn ze ook zwaar en veeleisend. Ze vereisen enorme hoeveelheden rekenkracht en elektriciteit om te draaien, wat het lastig maakt om te gebruiken op kleinere apparaten zoals smartphones, drones of autonome robots die op batterijen werken. Voor deze randapparatuur (edge devices) is het doel niet alleen om slim te zijn, maar ook om efficiënt te zijn, waarbij een balans wordt gezocht tussen hoge prestaties en een laag energieverbruik, zodat ze urenlang kunnen functioneren zonder een oplaadbeurt nodig te hebben.
Onderzoekers geloofden lang dat de beste manier om deze systemen efficiënt te maken, simpelweg het verminderen van het aantal wiskundige berekeningen was die ze uitvoeren. In de industrie staat deze telling bekend als FLOPs, een standaardmetriek die wordt gebruikt om te schatten hoeveel werk een computer moet verrichten. De heersende aanname was dat minder berekeningen automatisch een sneller en energiezuiniger apparaat betekenden. Echter, een nieuwe studie daagt dit langgekoesterde geloof uit. Het team achter het onderzoek, dat samenwerkt met de National Science and Technology Council in Taiwan, voert aan dat het tellen van berekeningen een imperfecte manier is om de werkelijke prestaties te beoordelen. Ze ontdekten dat een model met iets meer berekeningen feitelijk sneller kan draaien en minder energie kan verbruiken als de interne structuur ervan zo is ontworpen dat deze beter werkt met de fysieke hardware waarop het draait.
Om dit idee te testen, ontwikkelden de onderzoekers een nieuw model genaamd MicroViTv2. Dit is een lichtgewicht versie van de Vision Transformer, specifiek ontworpen om te draaien op randapparatuur zoals de Jetson AGX Orin, een krachtige computer die vaak wordt gebruikt in robotica en autonome systemen. In plaats van alleen te proberen de wiskunde te verminderen, heeft het team de architectuur van het model herontworpen om de fysieke belasting op het geheugen en de processor van het apparaat te verminderen. Ze introduceerden een methode genaamd structurele herparametrisatie. Tijdens de trainingsfase leert het model met behulp van een complexe structuur met meerdere paden, vergelijkbaar met een gebouw met veel verschillende gangen. Maar voordat het model naar de echte wereld wordt uitgebracht, worden deze paden wiskundig samengevoegd tot één gestroomlijnd pad. Dit betekent dat wanneer het apparaat het model daadwerkelijk uitvoert, het niet door de complexe trainingsstructuur hoeft te navigeren; het beweegt zich door een vereenvoudigde, directe route die veel sneller af te leggen is en minder geheugentoegang vereist.
De onderzoekers hebben ook verfijnd hoe het model verschillende delen van een afbeelding met elkaar verbindt. Ze vervingen oudere aandachtmechanismen door een nieuw onderdeel genaamd Single Depth-Wise Transposed Attention. Dit stelt het model in staat om de hele afbeelding te bekijken en te begrijpen hoe verre delen met elkaar samenhangen zonder te verdrinken in onnodige gegevens. Door zich te concentreren op hoe het model data door de hardware verplaatst in plaats van alleen op hoeveel wiskundige problemen het oplost, heeft het team een systeem gecreëerd dat vriendelijker is voor de fysieke beperkingen van echte apparaten.
De resultaten van hun experimenten, uitgevoerd op standaard beelddatasets en taken voor objectdetectie, tonen een duidelijke verschuiving aan in hoe efficiëntie gemeten moet worden. Bij tests op de Jetson AGX Orin presteerde het nieuwe MicroViTv2-model beter dan zijn voorganger en verschillende andere toonaangevende lichtgewicht modellen. Het behaalde een hogere nauwkeurigheid bij het identificeren van objecten, terwijl het afbeeldingen sneller verwerkte en minder energie per afbeelding verbruikte. Zo verwerkte een versie van hun model 1.883 afbeeldingen per seconde terwijl het slechts 14,9 millijoule energie per afbeelding verbruikte. Ter vergelijking: andere modellen met minder theoretische berekeningen waren trager en verbruikten meer stroom. De studie toonde aan dat het nieuwe model de nauwkeurigheid met maximaal 0,5 procent verbeterde ten opzichte van de vorige versie en concurrenten zoals MobileViTv2 en EdgeNeXt overtrof in zowel snelheid als energie-efficiëntie.
Cruciaal is dat het artikel expliciet de gedachte uitsluit dat een lager aantal berekeningen altijd gelijk staat aan betere prestaties. De onderzoekers toonden aan dat hun model feitelijk meer wiskundige operaties uitvoerde dan sommige oudere versies, maar toch sneller draaide en minder elektriciteit verbruikte. Deze bevinding suggereert dat de traditionele focus op het verminderen van het aantal berekeningen misleidend is wanneer dit wordt toegepast op echte hardware. De werkelijke flessenhals is vaak hoe de computer toegang krijgt tot zijn geheugen en hoe de software op de chip wordt gepland. Door de structuur te optimaliseren om bij de hardware te passen, bewezen de onderzoekers dat een model efficiënter kan zijn, zelfs als het meer wiskunde doet.
Het team valideerde deze bevindingen in verschillende scenario's, waaronder het classificeren van afbeeldingen en het detecteren van objecten in complexe scènes. In elke test leidden de structurele verbeteringen tot betere resultaten. De studie concludeert dat ontwerpen voor de fysieke realiteit van het apparaat belangrijker is dan simpelweg het minimaliseren van de theoretische werklast. Deze aanpak biedt een nieuwe weg voorwaarts voor het creëren van kunstmatige intelligentie die niet alleen slim is, maar ook praktisch voor de op batterijen werkende apparaten die steeds gebruikelijker worden in ons dagelijks leven. Het werk bevestigt dat om echt efficiënte systemen te bouwen, ingenieurs verder moeten kijken dan de cijfers op een pagina en moeten overwegen hoe het model zich daadwerkelijk binnen de machine gedraagt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.