Hardware-Aware On-Chip Learning with a Scalable Single-Transistor-based Neuromorphic Platform

Moderne computers zijn ongelooflijk krachtig, maar ze zijn ook hongerig. Naarmate kunstmatige intelligentie complexer wordt, is de energie die nodig is om het te draaien een knelpunt geworden, vooral voor apparaten die gedurende lange perioden moeten werken op kleine batterijen, zoals robots of sensoren in de natuur. Om dit op te lossen, hebben wetenschappers een andere manier van denken over computertechnologie opgezocht, één die het menselijk brein nabootst. In plaats van informatie te verwerken in een gestage, continue stroom zoals een traditionele rekenmachine, gebruiken deze "neuromorfische" systemen kleine, asynchrone uitbarstingen van informatie die "spikes" worden genoemd. Deze methode is veel efficiënter omdat het systeem alleen werkt wanneer er iets nieuws te verwerken valt. Het aanleren van nieuwe taken aan deze breinachtige machines terwijl ze draaien, is echter een grote hindernis geweest. In de meeste ontwerpen is de interne staat van een neuron—zijn "geheugen" van wat het zojuist heeft ontvangen—verborgen binnen de hardware, waardoor het voor het systeem bijna onmogelijk is om zijn eigen verbindingen aan te passen en te leren van fouten zonder dure, energieverslindende externe sensoren.

Een team van onderzoekers van de Seoul National University en het Korea Institute of Science and Technology heeft nu een manier gedemonstreerd om deze systemen te onderwijzen zonder ooit in de neuronen te hoeven kijken. Ze hebben een nieuw type chip gebouwd waarbij het leerproces uitsluitend rust op signalen die al zichtbaar zijn aan de oppervlakte: de elektrische stroom die tussen componenten vloeit en de timing van de spikes zelf. Door de hardware en de leersoftware samen te laten werken, creëerden ze een systeem dat op de chip kan leren, waarbij een enkele transistor dient als synaps, neuron en generator van leer-signalen tegelijkertijd. Deze aanpak elimineert de noodzaak om de verborgen interne spanning van een neuron te lezen, een stap die voorheen complexe, energieverslindende circuits vereiste. Het resultaat is een verenigd platform dat niet alleen kleiner en eenvoudiger is, maar ook in staat is om continu te leren, waarbij het zich aanpast aan nieuwe informatie terwijl het onthoudt wat het al heeft geleerd.

De kern van deze doorbraak ligt in de manier waarop de onderzoekers het probleem van "toegang tot de staat" (state access) hebben opgelost. In een traditioneel kunstmatig brein, om een neuron te leren op het juiste moment te vuren, moet de computer precies weten hoeveel elektrische lading er op elk gegeven moment in zit. In fysieke hardware zit deze lading gevangen in het apparaat, en het meten ervan vereist complexe, energie-intensieve circuits die het doel van een energiezuinig systeem tenietdoen. De onderzoekers realiseerden zich dat ze deze verborgen lading niet hoefden te meten als ze de stroom die naar het neuron vloeit als een surrogaat konden gebruiken. Ze ontwikkelden een methode genaamd een "current-based surrogate gradient". In plaats van te vragen "hoe vol is de batterij van het neuron?", vraagt het systeem: "hoeveel stroom vloeit er op dit moment?". Als de stroom binnen een specifieke, gezonde range ligt, weet het systeem dat het neuron correct leert. Als de stroom te hoog of te laag is, weet het dat een aanpassing nodig is. Dit stelt de chip in staat om zijn eigen leersignalen te genereren met behulp van alleen de gegevens die van nature beschikbaar zijn bij de verbindingspunten tussen neuronen.

Om dit in de echte wereld werkend te krijgen, heeft het team een speciale chip vervaardigd met behulp van een standaard fabricageproces, maar met een slimme twist. Ze gebruikten een enkel type transistor dat, afhankelijk van de configuratie, drie verschillende taken kon uitvoeren. Eén groep van deze transistoren fungeerde als synapsen, de verbindingen die de sterkte van een geheugen opslaan. Een andere groep fungeerde als neuronen, die elektrische lading accumuleren totdat ze een kantelpunt bereiken en een spike vuren. De derde groep fungeerde als het leermechanisme, dat de stroom observeert en beslist wanneer er een correctiesignaal moet worden verzonden. Omdat alle drie de componenten zijn gebouwd van dezelfde basisbouwsteen, kunnen ze dicht op elkaar worden gepakt op een enkele chip. De onderzoekers toonden aan dat deze transistoren betrouwbaar verschillende niveaus van gewicht kunnen opslaan, inkomende signalen over tijd kunnen integreren en spikes kunnen vuren in een patroon dat biologische neuronen nabootst. Cruciaal is dat het leercomponent kon detecteren of het systeem correct of incorrect functioneerde door simpelweg naar de stroom te kijken, zonder toegang te hoeven hebben tot de verborgen interne spanning van het neuron.

Het team testte dit systeem via uitgebreide computersimulaties die gebruikmaakten van het werkelijke gemeten gedrag van hun fysieke chips. Ze trainden het netwerk op een verscheidenheid aan taken, variërend van het herkennen van handgeschreven cijfers tot het identificeren van complexe objecten in afbeeldingen en het interpreteren van videostreams van event-based camera's. In deze tests presteerde de nieuwe methode net zo goed als traditionele leermethoden die volledige toegang hebben tot interne staten. Het systeem was in staat om nieuwe klassen objecten te leren zonder de klassen die het al beheerst had te vergeten, een capaciteit die bekend staat als "continual learning" (continu leren). Dit is een belangrijke prestatie, omdat veel eerdere pogingen om deze systemen op de chip te onderwijzen resulteerden in "catastrofale vergetelheid", waarbij het leren van iets nieuws oude herinneringen uitwiste. Door hun nieuwe leersignalen te gebruiken, lieten de onderzoekers zien dat het systeem zich kon aanpassen aan nieuwe informatie terwijl het zijn vorige kennis behield, zelfs wanneer de hardware zelf imperfect en ruizig was.

De implicaties voor energie-efficiëntie zijn aanzienlijk. De onderzoekers schatten dat door hun analoge, spike-gebaseerde aanpak, de energie die nodig is om een inferentie uit te voeren—een beslissing nemen op basis van nieuwe data—met meer dan 60 procent kan worden verminderd in vergelijking met volledig digitale systemen. In sommige specifieke configuraties waren de besparingen zelfs hoger, oplopend tot meer dan 85 procent. Dit komt omdat het systeem de enorme energiekosten vermijdt om analoge signalen naar digitale getallen en vice versa om te zetten, en het verbruikt alleen stroom wanneer er daadwerkelijk een spike optreedt. Hoewel het proces van het onderwijzen van de chip aanvankelijk nog steeds enige hoogspanningspulsen vereist die energie verbruiken, merkten de onderzoekers op dat deze kosten een eenmalige setup of een zeldzame gebeurtenis zijn, terwijl de energiebesparingen tijdens de dagelijkse operatie continu en significant zijn.

Dit werk beweert niet dat het elk probleem in de kunstmatige intelligentie heeft opgelost, noch suggereert het dat deze chips klaar zijn om de processors in uw smartphone morgen te vervangen. De onderzoekers waren zorgvuldig in het wijzen op het feit dat hoewel de leersignalen goed werken, de volledige energiekosten van een volledig geïntegreerd leersysteem nog niet in een echt apparaat zijn gemeten. Er zijn nog steeds uitdagingen bij het opschalen van de productie en het integreren van de besturingscircuits die nodig zijn om deze chips te beheren. De studie biedt echter een duidelijk bewijs van concept dat het mogelijk is om een breinachtige computer te bouwen die uit zichzelf leert zonder zijn eigen interne gedachten te hoeven zien. Door de hardware te laten spreken in dezelfde taal als het leeralgoritme, heeft het team een pad geopend naar adaptieve, energie-efficiënte machines die kunnen leren en evolueren in de echte wereld, net als de biologische hersenen die ze zijn ontworpen te emuleren.