An RRAM-based Hardware Implementation of a Radial Basis Function Neuron for Edge Classifiers

Technische Samenvatting: RRAM-gebaseerde Hardware-implementatie van een Radial Basis Function Neuron voor Edge-classificatieurs

Probleemstelling
De implementatie van moderne Machine Learning (ML)-modellen op hulpbronnenbeperkte edge-apparaten staat voor aanzienlijke uitdagingen, met name wat betreft energie-efficiëntie, latentie en het vermogen om uitschieters of Out-of-Distribution (OOD) inputs in realtime te verwerken. Traditionele Deep Neural Networks (DNN's) hebben vaak moeite met "domeinverschuiving" (domain shift)—waarbij omgevingsveranderingen, sensorruis of evoluerende datapatronen de prestaties van vooraf getrainde modellen verslechteren. Bovendien creëert de von Neumann-geheugenmuur knelpunten voor computationeel zware operaties zoals dot-producten die vereist zijn voor gelijkeniszoekopdrachten (similarity searches). Bestaande oplossingen missen vaak het vermogen tot efficiënte, on-device adaptatie (continual learning) zonder dat daar extra middelen of data-annotatie voor nodig zijn, wat cruciaal is voor veiligheidskritische toepassingen zoals autonome navigatie.

Methodologie
De auteurs stellen een hardware-nativie oplossing voor die gebruikmaakt van Metal-Oxide Resistive RAM (RRAM, geïntegreerd met CMOS-technologie) om een Analoog Content Addressable Memory (ACAM)-systeem te creëren. De kern van dit ontwerp is een aangepaste Template piXeL (TXL) cel, die functioneert als een configureerbare, analoge Radial Basis Function (RBF) neuron.

• TXL Cel Architectuur: De TXL-cel maakt gebruik van twee source-degeneration RRAM-CMOS inverters. Door de weerstand van RRAM-componenten ($R_M$ en $R_B$) in serie met de MOSFET-sources te programmeren, vestigt het circuit een specifiek "matching window" (afstemvenster) gedefinieerd door bovenste en onderste drempelspanningen ($V_{TH}^{upper}$ en $V_{TH}^{lower}$). Dit venster simuleert een receptief veld waarbij de cel alleen activeert wanneer de ingangsspanning binnen een specifiek bereik valt, wat effectief een afstandmetriek berekent.
• Array Organisatie: TXL-cellen zijn georganiseerd in dichte $k \times n$ arrays. Elke rij vertegenwoordigt een uniek $k$-dimensionaal prototype (opgeslagen als statistische attributen: gemiddelde $\mu$ en variantie $\sigma$, gecodeerd in RRAM-conductantie), terwijl elke kolom overeenkomt met een input-feature.
• In-Memory Computing (IMC): Het systeem voert gelijkeniszoekopdrachten parallel uit. Inputvectoren worden toegepast als analoge signalen op de bitlines. Door de wet van Kirchhoff voor stromen te gebruiken, accumuleren de stromen van individuele TXL-cellen op de matchline, waardoor de geaggregeerde gelijkenis-score (inverse afstand) tussen de input-query en het opgeslagen prototype natuurlijk wordt berekend.
• Adaptatiebeleid: Het systeem implementeert een drietraps adaptatiebeleid gebaseerd op de afstand ($d$) tussen de input en het best passende prototype:
  1. Betrouwbare In-Distribution ($d \le \tau_{IDO}$): Geen adaptatie vindt plaats.
  2. In-Distribution Outlier ($\tau_{IDO} < d \le \tau_{OOD}$): Het bestaande prototype wordt aangepast (gemiddelde en variantie worden bijgewerkt) om de nieuwe sample te bevatten, wat geleidelijke domeinverschuiving tegengaat.
  3. Out-of-Distribution ($d > \tau_{OOD}$): Het systeem identificeert een nieuwe klasse. Een nieuw prototype wordt toegewezen aan een lege rij in de array via een few-shot learning schema, waardoor de classificatiecapaciteiten worden uitgebreid zonder bestaande kennis te overschrijven.

Belangrijkste Bijdragen

• Hardware-Native RBF Neuron: Het artikel introduceert de TXL-cel als een fysieke implementatie van een RBF-neuron, in staat om metriek-gebaseerde classificatie direct in het analoge domein uit te voeren.
• Energie-efficiënte Gelijkeniszoekopdracht: Door gebruik te maken van RRAM-gebaseerde ACAM bereikt het ontwerp een $O(1)$ complexiteit voor template matching, waarmee de geheugenmuur wordt omzeild.
• Online Adaptatiemechanisme: Het systeem ondersteunt "on-the-fly" leren waarbij parameters van het receptieve veld kunnen worden afgestemd om domeinverschuivingen te volgen of nieuwe klassen te introduceren zonder volledige hertraining van het model.
• Verklaarbaarheid: In tegenstelling tot opaak feed-forward lagen, is het besluitvormingsproces expliciet herleidbaar naar de nabijheid van de input tot de opgeslagen prototypes, wat inherente verklaarbaarheid biedt.

Resultaten

• Energie en Latentie: Circuit-simulaties (SPICE-Spectre) op een 180 nm CMOS-proces met TiN/HfON/TiN RRAM wijzen op een energieverbruik van 185 fJ per cel per operatie bij 100 MHz. De latentie per zoekopdracht is ongeveer 100 ns.
• Classificatie-nauwkeurigheid:
  • Op een kunstmatige geometrische symboolset bereikte het systeem 100% nauwkeurigheid voor zowel de initiële training als na adaptatie.
  • Op de MNIST-dataset (gedownsampled naar 7x7) behaalde het systeem 89,1% nauwkeurigheid vóór adaptatie en 85,5% nauwkeurigheid na adaptatie. De auteurs merken op dat de lichte daling in nauwkeurigheid wordt toegeschreven aan het ontbreken van feature extraction-lagen en de downsampling van de input, in plaats van aan het kernmechanisme van de TXL.
• Adaptatieprestaties: SPICE-simulaties toonden aan dat het systeem er succesvol in is om bestaande prototypes aan te passen aan outlier-samples (het hervormen van het receptieve veld) en nieuwe prototypes toe te wijzen voor onbekende klassen (bijv. het introduceren van een "rechthoek"-klasse in een dataset van cirkels, driehoeken en kruisen) terwijl de integriteit van de bestaande prototypes behouden blijft.

Betekenis
Het artikel beweert dat de voorgestelde TXL-gebaseerde architectuur een levensvatbaar pad biedt naar robuuste, energie-efficiënte edge computing voor veiligheidskritische toepassingen. Door in-situ adaptatie mogelijk te maken, pakt het systeem de uitdaging van domeinverschuiving aan, waardoor edge-apparaten hun betrouwbaarheid kunnen behouden wanneer ze in real-world datadistributies terechtkomen die verschillen van de trainingsdata. De auteurs positioneren deze technologie als een stap richting continual learning aan de edge, waarbij systemen hun classificatiecapaciteiten kunnen uitbreiden en zich aan nieuwe omgevingen kunnen aanpassen zonder catastrofale vergetelheid (catastrophic forgetting) of de noodzaak voor externe data-annotatie. Het werk voorziet in toekomstige inzetbaarheid in remote monitoring, wearables en autonome navigatie, mits uitdagingen met betrekking tot RRAM-variabiliteit, retentie en duurzaamheid worden beheerd door middel van kalibratie.