From Physics to Attention: Building Vision Transformers from Oscillatory Neural Network Hardware
Dit artikel introduceert HoKuVit, een schaalbare Convolutional Vision Transformer die op Kuramoto gebaseerde convolutionele en op Hopfield gebaseerde lineaire lagen integreert in een Oscillatory Neural Network-architectuur, waarmee state-of-the-art prestaties op CIFAR-10 wordt bereikt terwijl een levensvatbaar pad voor het schalen van ONNs naar diepe AI-pipelines wordt aangetoond.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Moderne computers zijn ongelooflijk snel, maar ze zijn ook hongerig naar elektriciteit. Naarmate kunstmatige intelligentie complexer wordt, wordt de energie die nodig is om deze systemen aan te drijven een significante flessenhals. Wetenschappers kijken al lang naar het menselijk brein voor inspiratie, in de hoop machines te bouwen die informatie verwerken zoals neuronen dat doen: met een laag vermogen en een hoge efficiëntie. Een veelbelovend pad omvat "oscillerende neurale netwerken", een type computing dat gebruikmaakt van het ritmische pulseren van kleine elektronische circuits om gegevens op te slaan en te verwerken. In plaats van te vertrouwen op de constante, binaire aan-uit schakelaars van traditionele chips, gebruiken deze systemen de timing en synchronisatie van golven. Hoewel onderzoekers erin zijn geslaagd kleine versies van deze netwerken te bouwen om eenvoudige puzzels op te lossen, hebben ze moeite gehad om ze op te schalen. De uitdaging is geweest om deze ritmische circuits te verbinden tot de diepe, gelaagde architecturen die de huidige geavanceerde visionsystemen aandrijven, die objecten op foto's kunnen herkennen met menselijke nauwkeurigheid.
Een team van onderzoekers aan de Pázmány Péter Katholieke Universiteit in Hongarije heeft een belangrijke stap gezet naar het oplossen van dit opschalingsprobleem. Ze ontwierpen een nieuw type kunstmatige intelligentie-model genaamd HoKuVit, dat bijna volledig is gebouwd uit deze ritmische, oscillerende componenten. De onderzoekers slaagden erin twee specifieke fysieke principes te combineren in één enkel, werkend systeem. Het eerste principe betreft een netwerk van gekoppelde oscillatoren die fungeren als een filter, waarbij visuele informatie wordt gesorteerd op basis van hoe goed verschillende delen van een afbeelding met elkaar synchroniseren. Het tweede principe gebruikt een netwerk dat functioneert als een geheugen, waarbij het systeem tot een stabiele staat komt die een herkend patroon vertegenwoordigt. Door deze twee fysieke gedragingen samen te weven in een hiërarchische structuur, creëerde het team een vision transformer — een moderne AI-architectuur die in staat is om afbeeldingen te analyseren — die opereert op basis van de wetten van de fysica in plaats van alleen digitale logica.
De onderzoekers testten hun creatie op de CIFAR-10 dataset, een standaard collectie van 60.000 kleurenafbeeldingen met tien verschillende categorieën, zoals vliegtuigen, katten en vrachtwagens. Dit is een veel moeilijkere taak dan de eenvoudige cijferherkenningsexperimenten die gewoonlijk worden gebruikt om oscillerende netwerken te testen. Het HoKuVit-model bereikte een nauwkeurigheid van bijna 80 procent, een resultaat dat het hoogst gerapporteerde is voor elke architectuur die voornamelijk op oscillator-dynamiek is gebouwd. Hoewel dit lager is dan de 92 procent nauwkeurigheid die door een standaard digitale versie van dezelfde architectuur wordt bereikt, is de afruil bewust. Het doel is niet om de ruwe snelheid van huidige digitale chips te evenaren, maar om te bewijzen dat deze fysieke circuits getraind kunnen worden om complexe, realistische visuele taken aan te pakken. Het model bevat ongeveer 0,87 miljoen parameters, waarvan ongeveer 88 procent wordt geïmplementeerd met behulp van de oscillerende componenten, waarbij alleen de uiteindelijke besluitvormende lagen digitaal blijven.
Wat dit werk bijzonder opmerkelijk maakt, is hoe de onderzoekers het systeem hebben getraind. Traditioneel werden oscillerende netwerken ontworpen met vaste regels of eenvoudige leermethoden die niet toelieten om zich aan te passen aan complexe data. In deze studie gebruikte het team een techniek genaamd backpropagation, wat de standaardmethode is voor het trainen van moderne deep learning-modellen. Ze leerden de oscillerende circuits om hun eigen interne verbindingen en ritmes aan te passen om fouten te minimaliseren, waardoor het systeem direct van de afbeeldingen kon leren. Het "geheugen"-gedeelte van het netwerk leerde te stabiliseren in duidelijke, stabiele patronen voor elke objectcategorie, terwijl het "filter"-gedeelte leerde zijn ritmes te synchroniseren om belangrijke kenmerken in de afbeelding te benadrukken. De onderzoekers verifieerden dat deze digitale simulaties zich precies gedragen zoals ze in een fysiek apparaat zouden doen, waarbij de energie van het systeem afneemt naarms het juiste antwoord vindt, vergelijkbaar met een bal die een heuvel afrolt om het laagste punt te vinden.
De studie onderzocht ook hoe robuust deze systemen zouden zijn als ze gebouwd zouden worden met echte, imperfecte hardware. Fysieke circuits lijden vaak aan minuscule variaties in hun componenten of ruis in hun signalen. De onderzoekers simuleerden deze imperfecties door willekeurige ruis toe te voegen aan de berekeningen van het model en de precisie van de geheugengewichten te verminderen. Het systeem bleek opmerkelijk veerkrachtig; zelfs toen de geheugengewichten tot een zeer lage precisie werden teruggebracht of wanneer er aanzienlijke ruis werd geïntroduceerd, daalde de nauwkeurigheid met minder dan één procentpunt. Dit suggereert dat de architectuur goed geschikt is voor fysieke implementatie, aangezien het niet de perfecte precisie vereist die digitale computers eisen. De onderzoekers schatten dat als deze gebouwd zouden worden op gespecialiseerde hardware, de energiebesparing aanzienlijk zou kunnen zijn, wat potentieel een viervoudige verbetering in efficiëntie biedt vergeleken met een volledig digitaal systeem, mits de oscillerende delen een verwaarloosbaar vermogen verbruiken.
Dit werk demonstreert dat de kloof tussen theoretische fysica en praktische kunstmatige intelligentie kleiner wordt. Door het ritmische gedrag van elektronische circuits niet als een beperking, maar als de kern van de computationele motor te behandelen, hebben de onderzoekers aangetoond dat het mogelijk is om diepe leermodellen te bouwen die fundamenteel anders zijn dan de modellen die we vandaag de dag gebruiken. Het HoKuVit-model dient als een blauwdruk voor een toekomst waarin kunstmatige intelligentie draait op de natuurlijke dynamiek van fysieke systemen, wat een pad biedt naar machines die niet alleen slimmer, maar ook veel energie-efficiënter zijn. Hoewel het huidige model nog een simulatie is, is het bewijs van concept duidelijk: de ritmische puls van een oscillator kan inderdaad worden ingezet om de wereld te zien en te begrijpen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.