⚡ electrical engineering

A Novel Neurodynamics-based Approach to Fatigue-aware Motion Planning in Human–Robot Collaborative Assembly

Dit artikel stelt een op neurodynamica gebaseerd bewegingsplanningsframework voor mens-robot collaboratieve assemblage voor dat de vermoeidheid van de operator schat op basis van gezichtskenmerken om robottrajecten en veiligheidsmarges dynamisch aan te passen, waardoor de taalefficiëntie wordt afgewogen tegen verbeterde menselijke veiligheid zonder dat voorafgaande training vereist is.

Oorspronkelijke auteurs: Junfei Li, Jasmun Banwait, Da Long, Simon X. Yang, Sheng Yang

Gepubliceerd 2026-07-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Junfei Li, Jasmun Banwait, Da Long, Simon X. Yang, Sheng Yang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een fabrieksvloer voor waar robots en mensen beste vrienden zijn en zij aan zij werken om dingen te bouwen. Meestal zijn deze robotvrienden geprogrammeerd met een "one-size-fits-all" veiligheidsregel: "Blijf twee voet verwijderd van de mens, ongeacht wat er gebeurt." Maar wat als de mens supermoe is? Misschien geeuwt hij, zijn ogen zijn zwaar en beweegt hij wat langzamer. Een rigide veiligheidsregel weet het verschil niet tussen een uitgeruste werker en een vermoeide werker.

Dit paper suggereert een nieuwe manier waarop robots slimmer kunnen zijn over veiligheid. In plaats van een vaste regel te gebruiken, gebruikt de robot een "neurodynamisch" brein — een speciaal soort digitaal zenuwstelsel — om de stemming van de mens te lezen en zijn pad in realtime aan te passen.

De "Ogen" en het "Brein" van de Robot
Eerst moet de robot weten of zijn menselijke partner moe is. Het gebruikt camera's om het gezicht van de mens te observeren, zoekend naar aanwijzingen zoals hoe wijd de ogen open staan of of er gegiept wordt. Denk hierbij aan een coach die een atleet observeert; als de ogen van de atleet hangen, weet de coach dat hij de training moet vertragen. De robot gebruikt een combinatie van computer vision en fuzzy logic (een manier van denken die omgaat met "misschien" en "een beetje" in plaats van alleen maar "ja" en "nee") om deze gezichtskenmerken om te zetten in een enkele "vermoeidheidsscore".

Het Digitale Zenuwstelsel
Zodra de robot de vermoeidheidsscore weet, volgt hij niet zomaar een vooraf geschreven kaart. In plaats daarvan gebruikt hij een "bio-geïnspireerd neuraal netwerk". Stel je voor dat de fabrieksvloer bedekt is met een gigantisch, onzichtbaar rooster van kleine gloeilampjes. Elk lampje vertegenwoordigt een plek waar de robot naartoe kan gaan.

Excitatoire Inputs (Het Groene Licht): Als een plek het doel is (zoals waar een onderdeel geleverd moet worden), gloeien de gloeilampjes daar heldergroen, wat de robot naar hen toe trekt.
Inhibitoire Inputs (Het Rode Licht): Als een plek een obstakel of een mens is, gloeien de gloeilampjes daar rood, wat de robot van hen wegduwt.

Hier komt de magie kijken: de "roodheid" van de gloeilampjes van de mens verandert op basis van hoe moe hij is.

Lage Vermoeidheid: Als de mens helemaal wakker is, is het rode licht zwak. De robot ziet een smal pad tussen de mens en een muur als veilig en neemt de kortere route om de klus snel te klaren.
Hoge Vermoeidheid: Als de mens geeuwt en moe is, wordt het rode licht superhelder en verspreidt het zich. Het "brein" van de robot ziet het gebied rond de vermoeide mens als een grote, gevaarlijke zone. De robot kiest automatisch een langere, bredere route om de vermoeide mens extra ruimte te geven, waarbij veiligheid boven snelheid gaat.

Wat deze Aanpak Verwerpt
De auteurs zijn heel duidelijk over wat ze niet doen. Ze argumenteren tegen de oude manier van doen, waarbij robots vertrouwen op vaste veiligheidsmarges die nooit veranderen, of waarbij veiligheid wordt behandeld als een aparte, statische regel die niet communiceert met het planningsproces. Ze verwerpen ook het idee dat robots jaren aan data nodig hebben om dit te "leren". In hun systeem heeft de robot geen geschiedenisles nodig; hij reageert direct op de huidige situatie met behulp van zijn neurale netwerk, zonder een trainingsfase.

Ze hebben dit ook getest tegenover een populaire methode genaamd "Artificial Potential Fields" (wat lijkt op een robot die door magneten wordt aangetrokken). In hun simulaties kwam de oude magnetische methode vast te zitten in een "lokaal minimum" — stel je een bal voor die in een klein kuiltje in een heuvel rolt en daar vast komt te zitten, niet in staat om de top te bereiken. De nieuwe neurodynamische methode navigeerde echter succesvol door deze lastige U-vormige obstakels zonder vast te komen zitten, wat aantoont dat het complexe, hobbelige omgevingen beter aan kan.

Hoe Zeker Zijn We?
Het paper presenteert resultaten uit computersimulaties en experimenten in de echte wereld.

In de simulaties: De robot genereerde succesvol korte, efficiënte paden wanneer de "mens" alert was en bredere, veiligere paden wanneer de "mens" moe was. Het bewees ook dat het de "vallen" kon ontsnappen die de oudere magnetische methode in de war brachten.
In de echte wereld: Het team bouwde een opstelling met een werkruimte van 3,5 m × 2,0 m, een mobiele robot en drie studenten die circuits assembleerden. Wanneer een student tekenen van vermoeidheid vertoonde (zoals geeuwen), schakelde de robot automatisch over naar een bredere, veiligere route, waardoor de nauwe opening die hij gebruikte toen de student nog fris was, werd vermeden.

De auteurs suggereren dat dit framework robots meer "mensgericht" maakt, wat betekent dat ze zich kunnen aanpassen aan de staat van de mens om iedereen veilig en tevreden te houden. Hoewel de resultaten veelbelovend lijken in deze specifieke tests, presenteren de auteurs dit als een nieuwe, effectieve aanpak voor dynamische omgevingen in plaats van een opgelost probleem voor elk mogelijk robotscenario. Het systeem werkt door constant het "neurale activiteitslandschap" bij te werken om de beste volgende stap te vinden, wat ervoor zorgt dat de robot altijd reageert op de huidige staat van de mens, en niet op een herinnering aan het verleden.

Technische Samenvatting: Een Nieuwe Neurodynamica-gebaseerde Benadering voor Vermoeidheidsbewuste Bewegingsplanning in Mens-Robot Collaboratieve Assemblage

1. Probleemstelling

Mens-Robot Collaboratieve Assemblage (HRCA) streeft naar het combineren van menselijke flexibiliteit met robotprecisie in gedeelde werkruimtes. De huidige HRCA-methoden vertonen echter drie primaire beperkingen:

Verwaarlozing van Interne Menselijke Toestanden: Bestaande studies richten zich op fysieke veiligheid en preventie van letsel, maar negeren grotendeels interne menselijke toestanden, specifiek vermoeidheid. Het gebrek aan expliciete modellering voor door vermoeidheid veroorzaakte cognitieve en fysieke degradatie beperkt het vermogen van een systeem om assistentiestrategieën aan te passen, wat de lange termijn duurzaamheid en veiligheid in gevaar kan brengen.
Statische Omgevingsveronderstellingen: De meeste benaderingen zijn ontworpen voor statische omgevingen met vooraf gedefinieerde taakverdelingen, waardoor ze niet in staat zijn om dynamische real-world condities te verwerken of zich aan te passen aan evoluerende menselijke toestanden.
Reactieve Veiligheidsmechanismen: Huidige planningsmethoden behandelen veiligheid vaak als statische beperkingen of hanteren deze onafhankelijk van het planningsproces. Dit voorkomt dat robots proactieve, dynamische bescherming bieden aan operators die te maken hebben met onvoorspelbare bewegingen of evoluerende taakcontexten.

Het artikel adresseert de behoefte aan een bewegingsplanningsframework dat real-time menselijke vermoeidheidsschatting integreert met adaptieve robot-trajectgeneratie, om zowel taakefficiëntie als operatorveiligheid te waarborgen.

2. Methodologie

Het voorgestelde framework integreert visuele vermoeidheidsperceptie met een bio-geïnspireerd neuraal netwerk (BINN) voor bewegingsplanning. De methodologie bestaat uit vier kerncomponenten:

2.1 Visuele Vermoeidheidstoestand Modellering

Het systeem schat menselijke vermoeidheidsniveaus in via een vierfasige pijplijn:

Data-acquisitie & Landmark Extractie: MediaPipe wordt gebruikt om gezichtslocaties (landmarks) te extraheren. Belangrijke geometrische metrieken, de Eye Aspect Ratio (EAR) en de Mouth Aspect Ratio (MAR), worden berekend om regio's van belang (ROIs) te definiëren.
Feature Extractie: Vier complementaire indicatoren worden afgeleid:
- Geometrische metrieken (EAR, MAR).
- Binaire toestanden (Oog/Mond Open of Gesloten) bepaald door Convolutionele Neurale Netwerken (CNNs) getraind op uitgesneden ROIs.
- Hoge-niveau temporele features: Jaapduur, Sluitingsduur van de ogen, Percentage Oogsluiting (PERCLOS), Oogamplitude en Mondamplitude.
Fuzzy Logic Inferentie: Een fuzzy inferentiesysteem brengt de geëxtraheerde features in kaart naar een kwantitatieve vermoeidheidsindex. Lidmaatschapsfuncties classificeren featurewaarden (laag, midden, hoog), en vooraf gedefinieerde fuzzy regels (bijv. "Als PERCLOS hoog is, dan is vermoeidheid Medium") aggregeren deze inputs. Defuzzificatie via de zwaartepuntmethode levert een scherpe waarde ( $F_t$ ) op.
Temporele Middeling: Om stabiliteit te garanderen en aanhoudende trends te vangen, worden de instantane vermoeidheidswaarden gemiddeld over een tijdvenster ( $N$ frames) om een definitief vermoeidheidsniveau ( $F_{avg}$ ) te produceren.

2.2 Neurodynamica-gebaseerde Bewegingsrepresentatie

Het framework maakt gebruik van een niet-holonomisch neuraal netwerkmodel om de configuratieruimte van de robot te representeren, specifelijk afgestemd op auto-achtige mobiele robots.

Toestandsruimte: Het neurale netwerk is een 3D-grid waarbij neuronen de planaire positie $(x, y)$ en oriëntatie $\theta$ van de robot vertegenwoordigen.
Kinematische Beperkingen: In tegenstelling tot punt-robotmodellen zijn de laterale neurale verbindingen beperkt tot configuraties die voldoen aan de niet-holonome kinematische beperkingen van de mobiele robot (sturing en kromming). Dit zorgt ervoor dat gegenereerde trajecten fysiek uitvoerbaar zijn.
Neurodynamisch Model: De activiteit van de $k$ -de neuron ( $x_k$ ) evolueert volgens een shunting-vergelijking:
$\frac{dx_k}{dt} = -Ax_k + (B - x_k)Q^+_k - (D + x_k)Q^-_k$
Waar $Q^+_k$ en $Q^-_k$ respectievelijk excitatieve en inhiberende inputs zijn.

2.3 Vermoeidheidsbewust Planningsmechanisme

Het planningsproces moduleert de neurale landschap dynamisch op basis van het geschatte vermoeidheidsniveau:

Excitatieve Input ( $Q^+$ ): Gedreven door de doelwerkruimte, creëert een globale sturende veld die de robot naar relevante regio's voor de taak leidt.
Inhiberende Input ( $Q^-$ ):
- Obstakels: Genereren lokale inhiberende effecten die niet voortplanten.
- Menselijke Operators: Het inhiberende effect wordt gemoduleerd door een vermoeidheidsafhankelijke drempelwaarde ( $\sigma_c$ ).
- Vermoeidheidsmodulatie: De drempelwaarde $\sigma_c$ wordt berekend met behulp van een sigmoidfunctie van het gemiddelde vermoeidheidsniveau ( $F_{avg}$ ). Naarmate de vermoeidheid toeneemt, neemt $\sigma_c$ toe, wat de laterale inhiberende voortplanting rond de werkruimte van de mens versterkt. Dit vergroot effectief de "veiligheidsregio" in het neurale activiteitslandschap zonder dat een leerproces vereist is.
Padselectie: De robot selecteert de volgende configuratie door de naburige neuron met de hoogste neurale activiteit te kiezen, waardoor het pad botsingsvrij en kinematisch haalbaar is.

3. Belangrijkste Bijdragen

Het artikel beschrijft drie primaire bijdragen:

Vermoeidheidsgemoduleerd Inhiberend Mechanisme: In tegenstelling tot het behandelen van vermoeidheid als een vaste veiligheidsregel, wordt het geschatte vermoeidheidsniveau direct geïntegreerd in de inhiberende inputs van de BINN. Dit stelt de veiligheidsmarge rond menselijke werkgebieden in staat om dynamisch aan te passen aan de staat van de operator.
Niet-holonome Neurale Verbindingsontwerp: Er is een specifieke neurale verbindingsstrategie ontwikkeld voor auto-achtige mobiele robots. Verbindingen worden alleen tot stand gebracht tussen configuraties die voldoen aan de kinematische en sturende beperkingen, wat ervoor zorgt dat de gegenereerde beweging beperkt blijft tot fysiek uitvoerbare transities in plaats van geïdealiseerde punt-robotbewegingen.
Vermoeidheidsbewuste Veiligheid-Efficiëntie Afweging: Het framework maakt een dynamische afweging mogelijk. In toestanden met lage vermoeidheid kiest de robot kortere, efficiënte paden. In toestanden met hoge vermoeidheid past het systeem automatisch de afstand tot de operator te vergroten, waarbij veiligheid en comfort prioriteit krijgen boven de padlengte.

4. Resultaten

Het framework werd geëvalueerd via simulaties en experimenten in de echte wereld:

Simulatie (Verschillende Vermoeidheidsniveaus):
- Lage Vermoeidheid: De robot genereerde een kort, efficiënt traject door een nauwe doorgang tussen een obstakel en een menselijke werkregio.
- Hoge Vermoeidheid: De verhoogde inhiberende drempelwaarde zorgde ervoor dat de nauwe doorgang minder wenselijk werd in het neurale landschap. De robot genereerde succesvol een alternatief traject met grotere afstand, waarbij de vermoeide operator werd vermeden.
- Vergelijking met APF: In een concave U-vormige omgeving slaagde de voorgestelde methode erin de robot uit de concave regio te navigeren. In contrast hiermee faalde de Artificial Potential Field (APF) methode, waarbij de robot vast kwam te zitten in een lokaal minimum door de annulering van aantrekkende en afstotende krachten.
Experimenten in de echte wereld:
- Opstelling: Een ROS-gebaseerde mobiele robot opereerde in een gedeelde werkruimte met drie menselijke studenten die circuits assembleerden. Camera's monitorden de gezichtsgegevens voor de vermoeidheidsschatting.
- Scenario 1 (Lage Vermoeidheid): De robot leverde componenten efficiënt af door nauwe openingen tussen obstakels en operators te navigeren.
- Scenario 2 (Hoge Vermoeidheid): Wanneer een student hoge vermoeidheid vertoonde (bijv. gapen, oogsluiting), detecteerde het systeem deze staat en paste het traject van de robot aan. De robot vermeed de nauwe doorgang nabij de vermoeide student en koos voor een langer maar veiliger traject met grotere afstand.

5. Betekenis en Claims

De auteurs stellen dat het voorgestelde neurodynamica-gebaseerde framework de ontwikkeling van veiligere, meer mensgerichte robotische systemen in collaboratieve assemblage ondersteunt. De betekenis van het werk ligt in:

Adaptiviteit: Het systeem reageert op dynamische interne menselijke toestanden (vermoeidheid) zonder dat offline leren of hertraining vereist is.
Veiligheid-Efficiëntie Balans: Het biedt een mechanisme om dynamisch een balans te vinden tussen taakefficiëntie en operatorveiligheid, waarbij de veiligheidsmarges alleen worden uitgebreid wanneer dat nodig is.
Robuustheid: De neurodynamische benadering demonstreert superieure prestaties in complexe omgevingen met concave obstakels vergeleken met traditionele potentiaalveldmethoden, waarbij lokale minima worden vermeden.
Praktiseerbaarheid: De integratie van visuele vermoeidheidsschatting met real-time bewegingsplanning biedt een levensvatbare oplossing voor Industry 5.0-scenario's waar robots fungeren als adaptieve, mensgerichte samenwerkers.

Het artikel concludeert dat deze benadering de beperkingen van huidige HRCA-methoden effectief aanpakt door de interne menselijke toestanden expliciet te modelleren en ze te integreren in een verenigd, adaptief planningsframework.