Robust Multi-Sensor Fusion via Memristive Deep Reservoir Computing With Differential-Pair Fault Tolerance

Stel je een zelfrijdende auto voor die door een regenachtige stadsstraat navigeert of een drone die probeert te landen op een landingsplatform in winderige omstandigheden. Deze machines vertrouwen op een constante stroom gegevens van camera's, radar en andere sensoren om in een fractie van een seconde beslissingen te nemen. Als één sensor faalt of een verstoord signaal geeft, kan het hele systeem in de war raken, wat potentieel tot rampen kan leiden. Jarenlang hebben ingenieurs geprobeerd dit op te lossen door complexe digitale breinen te bouwen die kunnen leren om slechte gegevens te negeren, maar deze systemen zijn vaak te energieverslindend voor kleine apparaten en hebben moeite wanneer ze fouten tegenkomen die ze nog nooit eerder hebben gezien. Een nieuwe aanpak zoekt naar een oplossing in de hardware zelf, met behulp van een type elektronisch component dat een memristor wordt genoemd. Deze minuscule apparaten kunnen informatie opslaan en tegelijkertijd verwerken, wat de manier nabootst waarop biologische neuronen werken, waardoor ze ongelooflijk efficiënt zijn. Echter, net als elk fysiek component, zijn memristoren gevoelig voor fabricagefouten en slijten ze in de loop van de tijd, waardoor ze in specifieke toestanden vast komen te zitten of onvoorspelbaar fluctueren. Deze inherente onbetrouwbaarheid is lang een barrière geweest voor het gebruik van hen in realistische, veiligheidskritische machines.

Onderzoekers aan de Hunan University en de Hunan Police Academy hebben een nieuwe methode ontwikkeld om deze fragiele elektronische systemen robuust genoeg te maken voor echt gebruik. Ze creëerden een raamwerk waarmee een computer kan leren en zich kan aanpassen, zelfs wanneer zijn interne componenten defect zijn. De kern van hun werk omvat een techniek gena de reservoir computing, die een groot, willekeurig verbonden netwerk met vaste gewichten gebruikt om tijdsgebonden informatie te verwerken, zoals het veranderende beeld van een camera van een auto of de wisselende hoogte van een drone. In plaats van te proberen elk defect onderdeel van de hardware te repareren, ontwierpen de onderzoekers een systeem dat deze fouten anticipeert en ze op drie verschillende stadia compenseert: voordat het systeem wordt gebouwd, wanneer het voor het eerst wordt ingeschakeld, en terwijl het in bedrijf is.

Het team ontdekte dat de manier waarop informatie in de hardware wordt opgeslagen een enorm verschil maakt in hoe goed het systeem overleeft bij fouten. Ze vergeleken twee methoden: het gebruik van een enkele memristor om een waarde te vertegenwoordigen versus het gebruik van een paar memristors die samenwerken om een verschil te vertegenwoordigen. Ze ontdekten dat hoewel beide methoden dezelfde gemiddelde daling in prestaties ervaren wanneer onderdelen falen, de gepaarde aanpak veel stabieler is. Wanneer een enkel component vast komt te zitten, kan het de waarde die het zou moeten vasthouden volledig ruïneren. Maar wanneer twee componenten als een paar samenwerken, kan de ander vaak compenseren als er één vast komt te zitten, waardoor de totale waarde veel dichter bij wat het zou moeten zijn blijft. Deze eenvoudige verandering in de manier waarop de gegevens worden gecodeerd, vermindert de chaos veroorzaakt door defecte onderdelen aanzienlijk.

Om dit systeem in de praktijk te laten werken, bouwden de onderzoekers een driestaps veiligheidsnet. Ten eerste, tijdens de ontwerpfase, pasten ze de interne instellingen van het netwerk aan om te verwachten dat sommige onderdelen zwakker of sterker zouden zijn dan bedoeld, waardoor het systeem effectief wordt voorgekalibreerd om de gemiddelde hoeveelheid fouten op te vangen. Ten tweede, wanneer het systeem wordt ingeschakeld, voert het een snelle zelfcontrole uit om precies te meten hoe zijn specifieke hardware zich gedraagt en maakt het fijne afstellingen om te zorgen dat het stabiel blijft. Ten slotte, terwijl de machine in bedrijf is, werkt het continu zijn eigen besluitvormingsregels bij op basis van de ontvangen gegevens, waardoor het in realtime kan aanpassen aan langzame veranderingen of onverwachte storingen. Deze combinatie van voorplanning, zelfcontrole en continu leren stelt het systeem in staat om een hoge nauwkeurigheid te behouden, zelfs wanneer een aanzienlijk deel van de hardware defect is.

De onderzoekers testten deze aanpak in twee veeleisende scenario's: autonoom rijden en drone-landingen. Ze simuleerden een zelfrijdende auto met behulp van een dataset afgeleid van real-world rijsequenties, die voor het experiment werd omgezet in voltagesignalen, en een drone die landt op een vaste vleugel met behulp van een synthetische dataset die windvlagen en grondeffecten bevatte. In de rijtest moest het systeem objecten zoals auto's en voetgangers identificeren. In de drone-test moest het de exacte hoogte berekenen die nodig is om veilig te landen. Wanneer zij een hoog percentage hardwarefouten introduceerden — waarbij werd gesimuleerd dat 20 procent van de componenten vastzat of defect was — hield hun nieuwe methode het systeem met opmerkelijke precisie werkend. In het rijscenario daalde de foutmarge van bijna 30 procent naar minder dan 2 procent. Voor de drone-landing werd de hoogtefout, die met een defect systeem tot wel 26 meter hoog had kunnen zijn, teruggebracht tot slechts 0,59 meter.

Deze resultaten suggereren dat het voorgestelde raamwerk niet alleen een theoretische oefening is, maar een levensvatbare weg naar het bouwen van betrouwbare, energiezuinige machines die in de echte wereld kunnen opereren. De studie toonde aan dat hun methode bestaande technieken overtrof die probeerden fouten te herstellen door het systeem opnieuw te trainen of extra hardware toe te voegen. Door een slimmere manier van gegevenscodering te combineren met een gelaagde aanpak voor foutcorrectie, hebben de onderzoekers aangetoond dat het mogelijk is om complexe, fouttolerante systemen te bouwen die geen perfecte hardware vereisen om te functioneren. Dit is een belangrijke stap vooruit voor de toekomst van autonome technologie, waarbij het vermogen om te blijven functioneren ondanks componentfouten het verschil kan zijn tussen een veilige reis en een catastrofale gebeurtenis.