Stochastic Decision-Making Framework for Human-Robot Collaboration in Industrial Applications

Technische Samenvatting: Stochastisch Besluitvormingskader voor Mens-Robot Collaboratie in Industriële Toepassingen

Probleemstelling
De integratie van collaboratieve robots (cobots) in industriële omgevingen heeft operaties verschoven van solitaire, door veiligheid beperkte settings naar coöperatieve omgevingen waar robots en mensen gedeelde werkruimtes delen. Hoewel bestaand onderzoek effectief gebruikmaakt van sensoren (visie, nabijheid, EMG) om menselijke intenties te detecteren, blijven er aanzienlijke uitdagingen bestaan bij het omgaan met de onzekerheid van menselijke factoren, specifiek emotionele staten (motivatie en agressie) en dynamische gedragskenmerken. Huidige veiligheidsmechanismen vertrouwen vaak op statische musculoskeletale modellen of eenvoudige afstandsdrempels, wat onvoldoende kan zijn in open, ongecontroleerde omgevingen waar menselijk gedrag stochastisch is. Het kernprobleem dat wordt geadresseerd is de behoefte aan een besluitvormingskader dat menselijke acties en emoties onder onzekerheid kan anticiperen om zowel veiligheid als efficiëntie in Mens-Robot Collaboratie (HRC) te waarborgen.

Methodologie
Het paper stelt een stochastisch besluitvormingskader voor gebaseerd op een Partially Observable Markov Decision Process (POMDP). De aanpak gaat verder dan het aannemen van een vast menselijk model; in plaats daarvan leert het menselijke modellen van geobserveerde data om verborgen staten zoals menselijke emotie en motivatie te verwerken.

1. Formulering van de Toestandsruimte: Het model definieert een uitgebreide toestandsruimte ($S$) bestaande uit vijf variabelen types:

   • Taaktoewijzing ($\tau$): Omvat prioriteit, duur, aard (alleen robot, alleen mens, of collaboratief), en de status van de commitment.
   • Afstand ($d$): Gemodelleerd met een innovatieve "tri-circle" veiligheidsbenadering. De cirkels vertegenwoordigen: (1) de werkruimte van de mens, (2) de mens met volledig uitgestrekte armen (agressieve daad), en (3) een vallende mens (ongeval). De robot selecteert dynamisch de passende veiligheidscirkel op basis van de context.
   • Menselijke Emotie ($e$): Omvat motivatieniveau en agressieniveau, wat verborgen staten zijn die worden afgeleid uit observaties.
   • Menselijke Activiteit ($h$) en Robotactiviteit ($b$): Vertegenwoordigend de huidige prioriteit en voortgang van taken voor beide agenten.

2. Observatie en Inferentie: Omdat emotionele staten niet direct observeerbaar zijn, maakt het systeem gebruik van een observatieruimte ($O$) bestaande uit de menselijke lichaamspositie, gewrichtshoeken en hoeksnelheden (bijv. van visuele sensoren). Het POMDP-raamwerk gebruikt deze observaties om een belief state (waarschijnlijkheidsverdeling over verborgen staten zoals motivatie en agressie) bij te werken.

3. Besluitvariabelen: De actieset van de robot ($D$) omvat:

   • Normale werkmodus ($nw$).
   • Verzoeken aan de mens om alleen te werken ($rh1$) of collaboratief te werken ($rh2$).
   • De mens motiveren ($mh$).
   • Zich committeren aan een taak ($ct$).
   • Afstand aanpassen ($dp$ om te vergroten, $dm$ om te verkleinen).
   • Niets doen/idle modus ($dn$).

4. Kostenfunctie: De doelfunctie ($J$) balanceert drie doelen: het vermijden van botsingen (het behouden van een veilige afstand op basis van agressieniveaus), het efficiënt voltooien van taken, en het respecteren van menselijke emotionele staten. De kostenfunctie bestraft onveilige afstanden, niet-toegewezen taken, lage motivatie en incorrecte taaktoewijzingen.

5. Oplossingsbenadering: De auteurs maken gebruik van Value Iteration om de onderliggende MDP op te lossen en een optimaal beleid af te leiden. Om partiële observeerbaarheid te behandelen, wordt een heuristische actieselectiemethode gebruikt waarbij de robot gewichten aggregeert uit de belief state distributie om de actie te kiezen met de hoogste cumulatieve waarschijnlijkheid van optimaal te zijn.

Belangrijkste Bijdragen

• Tri-Circle Veiligheidsmodel: Een innovatieve veiligheidsbesluitvormingsbenadering die de veiligheidszone van de robot dynamisch aanpast op basis van drie verschillende menselijke scenario's (werken, strekken, vallen), in plaats van te vertrouwen op een enkele statische veiligheidsstraal.
• Emotie-bewuste HRC: De integratie van menselijke emotionele staten (motivatie en agressie) in de besluitvormingslus, waardoor de robot zijn gedrag kan aanpassen (bijv. de afstand vergroten als de agressie hoog is, de mens motiveren als de betrokkenheid laag is).
• Bilaterale Intentievoorspelling: In tegen tegenstelling tot eerdere werken die zich uitsluitend richten op het detecteren van menselijke intentie, gebruikt dit kader een POMDP om over de bilaterale interactie te redeneren, waarbij menselijke beslissingen als exogene gebeurtenissen worden behandeld terwijl de robot zijn eigen beleid optimaliseert om veilige en soepele samenwerking te faciliteren.
• Verenigd Kader: De combinatie van taakbeheer, veiligheidsbeperkingen en emotioneel redeneren binnen één enkel stochastisch controlekader.

Resultaten
Het voorgestelde kader werd gevalideerd via een numerieke casestudy met betrekking tot een gesimuleerd industrieel scenario met een mens en een robot. De simulatie introduceerde drie opeenvolgende taken met variërende prioriteiten, duur en samenwerkingsvereisten (collaboratief, alleen mens, en alleen robot).

• Taakuitvoering: Het systeem identificeerde succesvol optimale beleidsregels om taken in de kortste tijd uit te voeren terwijl de veiligheid behouden bleef.
• Dynamische Adaptatie: De resultaten toonden het vermogen van de robot aan om zijn gedrag aan te passen op basis van de aard van de taak. Voor collaboratieve taken behield de robot een kleine afstand (kleine veiligheidscirkel) en motiveerde hij de mens. Voor taken die alleen door de mens uitgevoerd moesten worden, vergrootte de robot de afstand en motiveerde hij de mens voordat de taak werd toegewezen.
• Veiligheidsbeheer: De simulatie toonde aan dat de robot de "tri-circle" veiligheidszones effectief beheerde, de afstand vergrootte wanneer de mens niet betrokken was bij een collaboratieve taak, en deze verkleinde wanneer samenwerking vereist was.
• Belief State Updates: Het systeem slaagde erin verborgen emotionele staten (motivatie en agressie) af te leiden op basis van geobserveerde menselijke snelheden, en de belief state bij te werken om de besluitvorming te sturen.

Betekenis en Claims
Het paper claimt dat de primaire betekenis ligt in het adresseren van de kloof in huidig HRC-onderzoek, dat vaak focust op intentiedetectie zonder voldoende rekening te houden met de stochastische aard van menselijke emoties en de dynamische vereisten van veiligheid. Door een POMDP te gebruiken, biedt het kader een gegeneraliseerde aanpak om om te gaan met onzekerheden voortvloeiend uit verborgen menselijke acties en imperfecte sensordata. De auteurs stellen dat deze aanpak de veiligheid en transparantie van collaboratieve robots verhoogt, waardoor zij menselijke acties kunnen anticiperen en hun gedrag in realtime kunnen aanpassen. De studie concludeert dat het integreren van zowel robotstatussen als onzekere menselijke emotionele staten in een verenigde hiërarchische structuur een uitgebreide oplossing biedt voor dynamische mens-robotinteracties, waarmee men verder gaat dan eenvoudige botsingsvermijding naar proactieve, emotie-bewuste samenwerking.