Enhancing Deep Neural Network Resilience Through Integrated Reliability-Aware Design and Fault-Aware Training

Diepe neurale netwerken zijn de onzichtbare motoren die enkele van de meest cruciale beslissingen in het moderne leven aandrijven, van het helpen van vliegtuigen om botsingen te vermijden tot het ondersteunen van artsen bij het diagnosticeren van ziekten. Deze systemen zijn ontworpen om patronen te herkennen en voorspellingen te doen met een nauwkeurigheid die die van menselijke experts evenaart. De hardware die deze complexe berekeningen uitvoert, is echter niet perfect. De minuscule chips in computers, die opereren op schalen die zo klein zijn dat ze in miljardsten van een meter worden gemeten, zijn kwetsbaar voor onzichtbare dreigingen. Kosmische straling en andere natuurlijke straling kunnen incidenteel een geheugencel of een verwerkingseenheid raken, wat een tijdelijke glitch veroorzaakt. In een standaardcomputer kan een dergelijke glitch ervoor zorgen dat een enkel getal omklapt, maar in een diep neuraal netwerk kan die enkele fout door het hele systeem rimpelen, waardoor het eindresultaat wordt gecorrumpeerd zonder ooit een alarm te activeren. Dit fenomeen, bekend als silent data corruption (stille gegevenscorruptie), is bijzonder gevaarlijk omdat het systeem blijft functioneren en een foutief antwoord geeft dat voor de gebruiker volkomen correct lijkt.

Jarenlang waren de oplossingen voor dit probleem moeilijke afwegingen. Ingenieurs konden speciale, dure hardware bouwen die immuun is voor deze glitches, maar dit vereist op maat gemaakte siliciumchips die niet beschikbaar zijn in standaardcomputers. Alternatief konden ze softwarecontroles toevoegen die fouten opvangen, maar deze controles vertragen het systeem aanzienlijk, waardoor het te traag wordt voor realtime taken zoals het besturen van een voertuig of het beheren van het luchtverkeer. Onderzoekers aan de Puducherry Technological University hebben nu een ander pad voorgesteld. Ze ontwikkelden een nieuw framework genaamd ResilientNet, dat het neurale netwerk zelf versterkt tegen deze hardwarefouten zonder speciale chips nodig te hebben of de verwerking te vertragen. Hun aanpak combineert vier specifieke ontwerpwijzigingen die samenwerken om fouten te stoppen voordat ze zich verspreiden, waardoor het netwerk effectief leert om de ruis veroorzaakt door straling te negeren.

De kern van deze nieuwe methode houdt in dat de manier waarop het netwerk de getallen die het verwerkt, afhandelt, wordt gewijzigd. In een typisch neuraal netwerk, als een stralingsinslag ervoor zorgt dat een getal onmogelijk groot wordt, geeft het systeem dit enorme getal door naar de volgende fase, waar het de gehele berekening kan overstemmen. De onderzoekers vervingen de standaardwijze van het afhandelen van deze getallen door een methief die een strikte bovengrens stelt. Als een waarde probeert deze limiet te overschrijden, wordt deze simpelweg begrensd, wat voorkomt dat het ongecontroleerd groeit. Dit alleen was echter niet voldoende. De onderzoekers ontdekten dat de volgorde waarin het netwerk zijn berekeningen uitvoert net zo belangrijk was als de limieten zelf. Door de sequentie van operaties te herschikken zodat de begrenzing plaatsvindt vóór de data wordt genormaliseerd, voorkamen zij dat het systeem fouten versterkt. Deze herschikking, gecombineerd met een filter dat onmogelijke wiskundige waarden onmiddellijk vervangt door nul, creëert een barrière die de corruptie stopt met verspreiden.

Om te waarborgen dat deze wijzigingen daadwerkelijk werkten, vertrouwde het team niet op computersimulaties of theoretische modellen. In plaats daarvan voerden ze een reeks massale tests in de echte wereld uit. Ze namen zes verschillende versies van een neuraal netwerk, variërend van een basisopstelling tot het volledig geharde ResilientNet, en onderwiergen deze aan bijna vijftien duizend afzonderlijke foutinjecties. In elke test corrumpeerden ze de gegevens doelbewust om de exacte patronen van fouten na te bootsen die worden gezien in echte stralingsexperimenten, inclusclusief single-bit flips, rijen gecorrumpeerde gegevens en blokken beschadigde informatie. Ze maten hoe vaak deze fouten leidden tot een foutieve voorspelling, een metriek die bekend staat als de silent data corruption rate. De resultaten waren opmerkelijk. In het ongewijzigde netwerk leidde een specifiek type fout veroorzaakt door ongeldige getallen tot een corruptieratio van tweeënnegentig procent. Met de nieuwe filtering en ontwerpwijzigingen op de plaats, daalde die ratio naar slechts zeventien procent. Bovendien presteerde het netwerk dat getraind was om deze fouten te verwachten, feitelijk beter bij zijn primaire taak dan het originele netwerk, waarbij het een classificatienauwkeurigheid van zesënnegentig komma zes zeven procent bereikte vergeleken met de baseline van tweeënnegentig komma vijf procent.

De studie onthulde ook dat niet alle delen van het netwerk even kwetsbaar zijn. De onderzoekers brachten in kaart waar fouten het meest waarschijnlijk tot een falen zouden leiden en ontdekten dat de vroegste lagen van het netwerk het meest gevoelig waren, met een kwetsbaarheidspercentage dat bijna anderhalf keer hoger lag dan dat van de latere lagen. Dit suggereert dat beschermingsinspanningen in omgevingen met beperkte middelen gefocust kunnen worden op het begin van de verwerkingsketen. Cruciaal is dat al deze verbeteringen zonder extra tijdverlies tijdens de operatie kwamen. De wijzigingen in de code vereisten geen extra stappen die de resultaten zouden vertragen, en de enige kleine toename was in het aantal interne registers dat door de processor wordt gebruikt, een verandering die geen meetbare impact had op de snelheid. Hoewel de tests werden uitgevoerd op een relatief kleine dataset van handgeschreven cijfers, werden de principes geverifieerd met gebruik van echte code-executie in plaats van benaderingen, wat een veelbelovend blauwdruk biedt voor het betrouwbaarder maken van veiligheidskritische systemen zonder de noodzaak van dure hardware-upgrades.