💻 computer science

NPU-Accelerated Neuro-Fuzzy Safety Assistance with Decision-Level Multimodal Fusion for Teleoperated Assistive Robots

Dit artikel presenteert een Edge-AI shared-control framework voor teleoperated assistieve robots dat gebruikmaakt van een Hailo-8L NPU om gelijktijdig een Adaptive Neuro-Fuzzy Inference System en een YOLOX-S detector uit te voeren, waarbij de outputs ervan worden gefuseerd om botsingspercentages en noodinterventies aanzienlijk te verminderen terwijl volledige lokale operatie behouden blijft.

Oorspronkelijke auteurs: Sarra Ben Halima, Faten Ben Abdallah, Joseph Haggege

Gepubliceerd 2026-09-14

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sarra Ben Halima, Faten Ben Abdallah, Joseph Haggege

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een robot voor die een persoon helpt bij het bewegen door een kamer, maar de robot beslist niet waar hij heen gaat. In plaats daarvan zit een mens aan een afstandsbedieningsstation, die een videofeed bekijkt en de robot stuurt met een joystick. Deze opstelling komt vaak voor bij taken zoals het controleren van oudere familieleden of het inspecteren van gevaarlijke gebieden, maar het heeft een gevaarlijk gebrek. De menselijke operator ziet alleen wat de camera laat zien, wat vaak slechts een smalle strook van de kamer is. Ze zien misschien een glazen deur, een lage tafel of een persoon die net buiten het gezichtsveld van de camera staat. Als de operator de robot naar voren duwt, kan deze botsen voordat de mens zich zelfs maar bewust is van het gevaar. De oplossing is niet om de robot zelfstandig te laten rijden, wat de menselijke controle zou wegnemen en complexe, dure kaartsystemen zou vereisen. De oplossing is om de mens te laten sturen terwijl een slimme veiligheidslaag het pad in de gaten houdt en de robot zachtjes vertraagt als er iets te dichtbij is.

Onderzoekers aan de Nationale Ingenieursschool van Tunis hebben precies dit soort systeem gebouwd en getest voor kleine, wielenrijdende robots. Hun doel was om een vangnet te creëren dat volledig op de robot zelf werkt, zonder dat er gegevens naar een cloudserver hoeven te worden verzonden of een krachtige computer nodig is. Ze combineerden twee verschillende manieren om de wereld te zien. Ten eerste gebruikt de robot infraroodsensoren die werken als de stok van een blinde persoon, waarbij signalen van objecten weerkaatsen om de afstand te meten. Ten tweede gebruikt de robot een camera en een visueel herkenningssysteem om te identificeren wat die objecten zijn. De onderzoekers hebben een computerprogramma geleerd om deze twee informatiestromen te combineren. Het programma leert de robot af te remmen op basis van hoe ver een object verwijderd is, maar het luistert ook naar de camera. Als de camera met een hoge mate van zekerheid een persoon of een stoel ziet, vermindert het programma de snelheid van de robot nog verder, als een tweede paar ogen dat nooit knippert.

Om dit systeem snel genoeg te maken om bruikbaar te zijn, kreeg het team te maken met een aanzienlijke uitdaging. Het draaien van complexe visuele software en veiligheidsberekeningen tegelijkertijd vereist meestal een zware, stroomverslindende computer. In plaats daarvan gebruikten ze een gespecialiseerde chip die ontworpen is voor kunstmatige intelligentie, een zogenaamde neural processing unit, die klein genoeg is om op een standaard single-board computer te passen. Deze chip stelde de robot in staat om visuele gegevens en veiligheidsbeslissingen gelijktijdig te verwerken, waarbij de snelheid vijftig keer per seconde werd bijgewerkt. Het systeem plant geen route of kiest een bestemming; het neemt simpelweg de richting aan die de menselijke operator kiest en bepaalt hoe snel de robot in die richting mag rijden. Als de robot te dicht bij een obstakel komt, overrulet het systeem de opdracht van de mens om naar voren te bewegen en dwingt de robot te achteruit te rijden, om zo een veilige stop te garanderen.

In hun experimenten testte het team dit systeem op een op maat gemaakte vierwielige robot in een gecontroleerde omgeving. Ze vroegen een menselijke operator om de robot door een parcours vol obstakels te besturen onder drie verschillende omstandigheden: rijden zonder hulp, rijden met het infraroodsensor-veiligheidssysteem, en rijden met het gecombineerde infrarood- en camerasysteem. De resultaten toonden een duidelijke verbetering in veiligheid. Wanneer de operator zonder assistentie reed, botste de robot in veertig procent van de pogingen tegen obstakels. Wanneer het gecombineerde veiligheidssysteem actief was, daalde dat botspercentage naar slechts tien procent. Bovendien behield de robot een veel veiligere afstand tot obstakels, waarbij een marge van ongeveer tien centimeter werd aangehouden in plaats van de vijf centimeter bij de niet-ondersteunde ritten. Het systeem verminderde ook het aantal keren dat de menselijke operator de noodstop moest indrukken, van een gemiddelde van bijna twee interventies per rit naar slechts één vijfde van een interventie.

De onderzoekers stelden vast dat het systeem soepel werkte zonder het vermogen van de robot om te reageren op de stuurcommando's van de mens te vertragen. Het hele proces, van het zien van een obstakel tot het aanpassen van de snelheid, gebeurde in minder dan een honderdste van een seconde. Het visuele systeem was bijzonder effectief in het detecteren van objecten die de afstandsensoren mogelijk zouden missen, zoals oppervlakken met een laag contrast, en paste de snelheid van de robot aan op basis van de mate van zekerheid over wat het zag. Desondanks merkte het team op dat het systeem niet perfect is. De veiligheidsregels werden getest in een laboratorium met statische objecten en een enkele operator, dus de resultaten kunnen variëren in een drukke woning met bewegende mensen. Bovendien, als de visuele pipeline hapert of een frame vertraagd is, verwerpt het systeem de verouderde visuele gegevens en valt het terug op het vertrouwen op alleen de afstandsensoren, in plaats van een specifieke camera-blokkade te detecteren. Ondanks deze beperkingen toont de studie aan dat het mogelijk is om een teleoperated robot een betrouwbare, lokale veiligheidslaag te geven die beschermt tegen botsingen zonder de menselijke controle weg te nemen.

Dit werk is belangrijk omdat het een praktisch pad biedt voor ondersteunende robots die betaalbaar en veilig moeten zijn. Door te bewijzen dat complexe veiligheidsberekeningen kunnen draaien op een kleine, energiezuinige chip, hebben de onderzoekers aangetoond dat deze robots niet verbonden hoeven te zijn met het internet of dure hardware nodig hebben om veilig te zijn. Het systeem respecteert de intentie van de menselijke operator terwijl het een laag van bescherming toevoegt die altijd toezicht houdt. In de toekomst zou dergelijke technologie oudere mensen in staat kunnen stellen om met op afstand bestuurbare robots voorwerpen te halen of hun huis te monitoren zonder de constante angst dat de machine tegen meubels of mensen aan botst. De onderzoekers zijn van plan het systeem te testen met meer operators en in meer dynamische omgevingen om te zien hoe het standhoudt wanneer de wereld minder voorspelbaar is dan een laboratorium. Voor nu hebben ze aangetoond dat een robot zowel gehoorzaam kan zijn aan een mens als slim genoeg kan zijn om zichzelf te beschermen.

Technische Samenvatting: NPU-versnelde Neuro-Fuzzy Veiligheidsassistentie met Multimodale Fusie op Beslissingsniveau voor Tele-operated Assisterende Robots

Probleemstelling
Tele-operated mobiele robots die worden gebruikt voor assistentie en huishoudelijke monitoring kampen met een fundamentele afweging: puur handmatige tele-operatie legt de volledige last van botsingsvermijding bij de menselijke operator, wiens situationeel bewustzijn vaak beperkt wordt door smalle camerabeelden en zwakke diepteperceptie. Omgekeerd verwijdert volledig autonome navigatie de intentie van de operator en vereist het computationele middelen (mapping, lokalisatie, planning) die de kosten-, grootte- en energiebudgetten van goedkope domestieke platforms overstijgen. Bestaande shared-control oplossingen vertrouwen vaak op broze PID-regelaars of fuzzy logic-systemen die een gebrek aan leercapaciteiten vertonen, of ze behandelen perceptie en controle als onafhankelijke modules, waardoor ze de synergie tussen deep learning en neuro-fuzzy controle op edge-hardware niet kunnen benutten. Bov�elijk hebben de meeste decision-level fusiestrategieën voor veiligheid geen integratie gekend met toegewijde Neural Processing Unit (NPU) versnelling voor gelijktijdige uitvoering.

Methodologie
De auteurs stellen een shared-control framework voor waarbij de menselijke operator de volledige stuurautoriteit (richting) behoudt, terwijl een onboard Edge-AI veiligheidslaag automatisch de toegestane translationele snelheid reguleert. De systeemarchitectuur is verdeeld in drie lagen:

Sensory Layer: Maakt gebruik van een custom 360° servo-gescand dual-IR afstandssysteem (twee Sharp GP2Y0A41SK0F sensoren), een IMU voor attitude-schatting via een 6-assige Extended Kalman Filter (EKF), en een RGB-camera voor visuele perceptie.
Low-Level Embedded Layer: Een STM32L4S5 handelt attitude-schatting af, terwijl een Arduino MEGA 2560 de motoractuatie en seriële communicatie beheert.
High-Level Assistance Layer: Uitvoerend op een Raspberry Pi 5 uitgerust met een Hailo-8L NPU, draait deze laag twee gelijktijdige inference pipelines:
- ANFIS Controller: Een Adaptive Neuro-Fuzzy Inference System (Sugeno-type, 20 regels) dat IR-afstand en bearing naar een basissnelheid ( $v_{base}$ ) mapt.
- YOLOX-S Detector: Een vooraf getrainde anchor-free object detector die een semantische obstakel-betrouwbaarheidsscore ( $s_{obs}$ ) levert vanuit de visuele stream.

Decision-Level Multimodal Fusion
De kerninnovatie ligt in een lichtgewicht, multiplicatieve decision-level fusiewet die de geometrische en semantische takken combineert:
$\bar{v}_f = \bar{v}_A (1 - s_{obs})$
Waarbij $\bar{v}_A$ de genormaliseerde ANFIS-output is en $s_{obs}$ de maximale betrouwbaarheid van obstakels is die gedetecteerd worden in het frontale gebied van de robot. Deze formulering dempt de snelheid op basis van visuele betrouwbaarheid zonder dat complexe gewichtskalibratie nodig is. Daarnaast opereert een deterministische critical-distance override ( $d \leq 5$ cm) onafhankelijk van de geleerde modellen, wat een achterwaartse manoeuvre afdwingt om veiligheid te garanderen, zelfs als de geleerde componenten falen of de operator voorwaartse beweging beveelt.

NPU Deployment
Het systeem bereikt real-time prestaties door zowel de ANFIS-controller als de YOLOX-S detector gelijktijdig te implementeren op een enkele Hailo-8L NPU. Het ANFIS-model werd van PyTorch naar ONNX geconverteerd, gekwantiseerd naar INT8, en gecompileerd naar een Hailo Executable Format (HEF) binary. Dit maakt 50 Hz ANFIS-updates en 28,7 fps visuele inference mogelijk met een gecombineerde NPU-benutting van 55%. De gehele stack werkt lokaal zonder cloud-afhankelijkheid.

Belangrijkste Bijdragen

Shared-Control Architectuur: Een systeem waarbij de operator de richting controleert terwijl een Edge-AI laag de snelheid reguleert op basis van de obstakelconfiguratie.
Dual-Inference op een Enkele NPU: Succesvolle gelijktijdige uitvoering van een neuro-fuzzy controller en een deep learning detector op een enkele Hailo-8L NPU, inclusief gemeten latentie en throughput onder gezamenlijke belasting.
Decision-Level Fusion: Een multiplicatieve fusiemechanisme dat geometrische snelheid moduleert met visuele betrouwbaarheid, waardoor het systeem de snelheid kan dempen op basis van semantische detectie zonder ruwe sensordata te fuseren.
Onafhankelijke Veiligheidsoverride: Een kritieke afstandregel die geometrische veiligheid prioriteert boven zowel de geleerde componenten als de commando's van de operator.
Deployment Pipeline: Een volledige workflow voor het converteren van een PyTorch-getraind ANFIS-model naar een INT8-geïmplementeerde HEF-binary, inclusief een kosteneffectief 360° servo-gescand IR-afstandssysteem.
Experimentele Validatie: Vergelijkende proeven die manual, ANFIS-assisted en ANFIS–YOLOX-assisted tele-operatie evalueren.

Experimentele Resultaten
Experimenten werden uitgevoerd op een custom vierwielig platform met één operator over 10 runs per conditie (Manual, ANFIS-only, Fusion). Belangrijkste bevindingen zijn:

Veiligheidsmetrieken: De fusiestrategie verminderde de botsingsfrequentie van 0,40 (Manual) naar 0,10 botsingen/run. De minimale obstakelafstand nam toe van 5,1 cm naar 10,4 cm, en noodinterventies daalden van 1,70 naar 0,20 per run.
Prestaties: Het systeem behaalde 50 Hz ANFIS-updates (0,62 ms latentie op NPU) en 28,7 fps YOLOX-inference. De INT8-implementatie vertoonde slechts een afwijking van 0,4% ten opzichte van de FP32-baseline.
Afwegingen: De verbeteringen in veiligheid gingen gepaard met een matige toename in command-to-actuation latentie (+6,2 ms) en een langere tijd voor cursusvoltooiing (+20,3%), wat wijst op een conservatiever snelheidsverloop.

Betekenis en Claims
Het artikel claimt dat deze architectuur de kloof overbrugt in de co-design van neuro-fuzzy controle, deep-learning perceptie en NPU-acceleratie voor goedkope assisterende robots. Door beide processen op een enkele edge-accelerator uit te voeren, demonstreert het systeem dat shared-control veiligheidslagen kunnen worden geïmplementeerd binnen strikte kracht- en omvangbeperkingen zonder cloud-afhankelijkheid. De auteurs benadrukken dat het systeem de intentie van de operator niet vervangt, maar de veiligheid verhoogt door de snelheid dynamisch te reguleren op basis van real-time geometrische en semantische data.

Beperkingen en Toekomstig Werk
De auteurs merken expliciet de volgende beperkingen op:

Het ANFIS-model werd offline getraind op gecontroleerde data en vertoont niet-monotoon gedrag nabij de lagere afstandsgrens, wat de onafhankelijke kritieke afstandsoverride noodzakelijk maakt.
De YOLOX-detector werd gebruikt als een vooraf getrainde component zonder onafhankelijke benchmarking (precisie/recall) in de specifieke deployment-omgeving.
Het systeem vertrouwt op een enkele operator en statische obstakels; variabiliteit tussen operators en dynamische omgevingen werden niet getest.
De reverse override controleert niet op obstakels aan de achterzijde, en de nauwkeurigheid van de IR-ranging op korte afstanden is niet gekwantificeerd tegenover referentiestandaarden.

Toekomstig werk richt zich op het kwantificeren van IR-ranging fouten, het benchmarken van de visuele detector, het opleggen van monotonie-constraints aan de ANFIS-surface, en het valideren van het systeem bij meerdere operators en dynamische scenario's.

Meer zoals dit