Human-Aware Robot Behaviour in Self-Driving Labs

Dit artikel introduceert een AI-gedreven waarnemingsmethode voor mobiele robotchemici in zelfrijdende laboratoria die, door menselijke intenties te voorspellen, proactieve interactie mogelijk maakt en zo de inefficiëntie van passief wachten oplost.

De kern

Titel: Hoe Robots in het Lab Leren "Lezen" in Mensen (Zodat ze niet blijven staren)

Stel je een modern chemielaboratorium voor. Het is niet langer een stille plek waar alleen mensen in witte jassen werken. Het is nu een drukke, futuristische werkplek waar robots en mensen samenwerken. Deze robots, die we "mobiele robot-chemici" noemen, rijden rond om flesjes te vervoeren, mengsels te maken en metingen te doen.

Maar er is een probleem.

Het Probleem: De Robot die als een Stok in de Paal staat

Op dit moment zijn deze robots een beetje als een verwarde toerist die een kaartje vasthoudt. Als ze een mens zien, weten ze niet wat die mens aan het doen is. Ze zien alleen een obstakel.

• Huidige situatie: Een robot rijdt naar een apparaat, ziet een mens staan, en denkt: "Oh, iemand in de weg. Ik wacht maar even." De robot stopt en blijft staren tot de mens weggaat.
• Het gevolg: De mens moet misschien alleen even een flesje pakken (10 seconden), maar de robot wacht 5 minuten. Dat is inefficiënt. Het is alsof je in een supermarkt staat en de winkelmedewerker je niet ziet, dus jij blijft staan wachten terwijl hij gewoon langs je heen loopt om iets te pakken.

De Oplossing: Een Robot met "Situatiebesef"

De auteurs van dit paper (onderzoekers van de Universiteit van Liverpool) hebben een slimme oplossing bedacht. Ze willen de robot niet alleen laten "zien", maar ook laten begrijpen.

Ze hebben een nieuw systeem ontwikkeld dat werkt als een twee-staps proces:

1. De Oogjes (Perceptie): De robot gebruikt camera's en dieptemeters (zoals de ogen en het dieptezintuig van een mens) om te zien wie er in de buurt is. Is het een mens? Is het een apparaat? Hoe ver staan ze van elkaar?
2. De Hersenen (Redeneren): Hier komt de magie. De robot gebruikt een kunstmatige intelligentie (een soort "super-brein" dat ook tekst en plaatjes begrijpt) om de situatie te analyseren.

De creatieve analogie:
Stel je voor dat de robot een ervaren gastheer is op een feestje.

• De oude robot was als een onzekere gast die denkt: "Er staat iemand voor de koelkast. Ik kan niet bij de koelkast, dus ik ga ergens anders staan wachten."
• De nieuwe robot is als de slimme gastheer die kijkt en denkt: "Ah, die gast staat voor de koelkast, maar hij is alleen even zijn glas aan het vullen. Hij is niet bezig met het koken van het eten. Ik kan rustig even wachten tot hij klaar is, of zelfs vragen: 'Heb je hulp nodig?' in plaats van 5 minuten te wachten."

Hoe werkt het in de praktijk?

Het systeem kijkt naar twee dingen:

1. Blokkeert de mens de weg? (Is de robot fysiek geblokkeerd?)
2. Is de mens bezig met het apparaat? (Is de mens aan het werk, of staat hij daar alleen maar?)

Als de robot ziet dat een mens even snel iets pakt bij een apparaat, maar niet langdurig bezig is, kan de robot beslissen: "Ik wacht even kort, of ik vraag beleefd of ik mag helpen." Als de mens juist heel druk bezig is met een experiment, weet de robot: "Oké, ik ga nu een andere taak doen in plaats van hier te wachten."

Wat hebben ze ontdekt?

Ze hebben dit getest in een echt laboratorium met 3270 foto's en situaties.

• Resultaat: De robots die dit nieuwe "slimme brein" kregen, waren veel beter in het voorspellen wat de mens zou doen. Ze maakten veel minder fouten dan de robots die alleen maar op hun LiDAR-sensoren (een soort laser-afstandsmeter) vertrouwden.
• De uitdaging: Soms is het lastig. Als de robot te veel cijfers en afstanden in zijn hoofd moet houden, raakt hij in de war. Het is alsof je iemand vraagt om een ingewikkelde wiskundige som te doen terwijl je hem tegelijkertijd een verhaal vertelt; soms vergeet hij het verhaal. De onderzoekers werken nu aan een manier om de robot slimme "hulpboeken" te geven, zodat hij de juiste informatie op het juiste moment kan raadplegen zonder in de war te raken.

Waarom is dit belangrijk?

Dit onderzoek is een grote stap naar samenwerking in plaats van concurrentie tussen mens en machine.

• Efficiëntie: Geen tijd meer verspillen aan wachten.
• Veiligheid: De robot weet wanneer hij niet moet storen.
• Vloeiendheid: Het voelt alsof de robot een echte teamgenoot is die begrijpt wat je doet, in plaats van een stomme machine die alleen maar "ja" of "nee" zegt.

Kortom: De robot leert niet alleen te rijden, maar ook te lezen in de lichaamshouding en intenties van de mens. Zo wordt het laboratorium een plek waar mens en machine als een goed getraind danspaar door elkaar heen bewegen, zonder elkaars voet te trappen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Human-Aware Robot Behaviour in Self-Driving Labs", vertaald en samengevat in het Nederlands.

Probleemstelling

In zelfrijdende laboratoria (Self-Driving Labs of SDL's) spelen mobiele robotchemici (MRCs) een cruciale rol bij het autonoom navigeren en transporteren van monsters. Echter, deze robots opereren vaak in gedeelde ruimtes met menselijke onderzoekers.

• Huidige beperking: Bestaande MRCs vertrouwen op simpele LiDAR-gebaseerde obstructiedetectie. Als een mens in de weg staat, wacht de robot passief.
• Gevolg: Dit gebrek aan situationeel bewustzijn leidt tot onnodige vertragingen en inefficiënte coördinatie, vooral omdat robots en mensen vaak dezelfde apparatuur (zoals chemische zuiven) moeten gebruiken.
• Kernuitdaging: Robots missen het vermogen om menselijke intenties te voorspellen (bijv. onderscheid maken tussen iemand die even wacht en iemand die actief werkt aan een instrument), wat leidt tot onderbrekingen van kritieke workflows of veiligheidsrisico's.

Methodologie

De auteurs stellen een geïncorporeerde, AI-gedreven perceptie- en redeneermethode voor die bestaat uit een hiërarchisch, twee-staps model:

1. Multimodale Perceptie (Stap 1):

   • De robot gebruikt visuele (RGB), diepte (stereo camera) en LiDAR-sensoren om de omgeving te monitoren.
   • Een objectdetectiesysteem (gebaseerd op YOLO-achtige principes) classificeert objecten in 2D-coördinaten (mensen, instrumenten, zuiven).
   • De dieptemodule berekent 3D-locaties.
   • De afstand ($D_{ij}$) tussen gedetecteerde objecten (bijv. mens en zuif) wordt berekend om ruimtelijke relaties te bepalen.

2. Visie-Taal Redenering en Interactie (Stap 2):

   • De data (afbeelding, objectlabels en berekende afstanden) worden ingevoerd in een Vision-Language Model (VLM), specifiek LLaVA-1.5-7b.
   • De VLM ontvangt een gestructureerde prompt met de scène-informatie en regels voor afstandsdrempels.
   • Doel: De VLM voorspelt twee binaire uitkomsten:
     1. Obstructie: Blokkeert de mens het pad van de robot?
     2. Interactie: Is de mens actief bezig met het instrument (en mag niet worden gestoord)?
   • Op basis van deze voorspellingen genereert de robot een gepast tekstueel antwoord (bijv. "Je lijkt de zuif te gebruiken. Zal ik wachten?") en past zijn navigatiegedrag aan (passief wachten vs. proactief communiceren).

Experimentele Opzet en Data

• Omgeving: Een autonoom chemielaboratorium met een KUKA KMR-iiwa mobiele robotarm.
• Hardware: Intel RealSense D435i RGB-D camera, NVIDIA RTX 4090 GPU voor inferentie.
• Dataset: 3270 datasets (afbeeldingen + dieptedata) verzameld in drie scenario's:
  1. Mens blokkeert toegang tot het doelapparaat.
  2. Mens blokkeert het pad bij een zuif.
  3. Meerdere mensen in de buurt met diverse activiteiten.
• Training: Het model is gefinetuned op een dataset waarbij labels (obstructie/interactie) handmatig zijn toegevoegd en natuurlijke taalverklaringen gegenereerd met GPT-4.

Resultaten

De prestaties werden vergeleken tussen het basismodel, een gefinetuned model (alleen visie) en een gefinetuned model met extra diepte-informatie in de prompt.

• Verbetering door Finetuning: Het gefinetunde model (zonder extra afstandsinformatie) presteerde aanzienlijk beter dan het basismodel:
  • Scenario 1: Van 29% naar 88% nauwkeurigheid.
  • Scenario 2: Van 20% naar 94% nauwkeurigheid.
  • Scenario 3: Van 43% naar 90% nauwkeurigheid.
• Invloed van Afstandsinformatie: Het toevoegen van expliciete afstandsmetingen ($D_{ij}$) en regels aan de prompt bleek contraproductief in sommige gevallen (daling van 18% en 8% in scenario 1 en 3).
  • Reden: De prompt werd te complex, waardoor het model de visuele context "vergat" of de afstandswaarden verkeerd interpreteerde.
• Foutanalyse: De belangrijkste fouten ontstaan door onduidelijke houdingen van mensen en het verkeerd interpreteren van het doel van de robot (het model gaat er vaak van uit dat het doel direct voor de camera ligt).

Belangrijkste Bijdragen

1. Proactieve Interactie: Een nieuw kader dat robots in staat stelt menselijke intenties te infereren in plaats van passief te wachten, wat de workflow-efficiëntie in SDL's verhoogt.
2. Hiërarchisch Model: Een architectuur die objectdetectie koppelt aan een Vision-Language Model voor contextbewuste redenering.
3. Empirische Validatie: Een eerste studie die de haalbaarheid toont van het gebruik van multimodale AI voor mens-robot interactie in een echte, dynamische laboratoriumomgeving.

Betekenis en Toekomstperspectief

• Efficiëntie: Door onnodige wachttijden te elimineren en robots in staat te stellen proactief te communiceren, wordt de doorlooptijd van wetenschappelijke experimenten verkort.
• Veiligheid: Het vermogen om te onderscheiden tussen een mens die "even wacht" en een mens die "werk doet", voorkomt gevaarlijke onderbrekingen.
• Toekomstig Werk: De auteurs erkennen dat de huidige methode om afstandsinformatie direct in de prompt te stoppen onbetrouwbaar is. De volgende stap is het implementeren van een Retrieval-Augmented Generation (RAG) aanpak. Hierbij worden topologiedata en afstandsgegevens op een meer betrouwbare manier aan het model aangeleverd, in plaats van als ruwe tekst in de prompt, om de generalisatie naar bredere laboratoriumscenario's te verbeteren.

Kortom, dit paper markeert een verschuiving van passieve obstakelvermijding naar sociaal bewust en intentie-gedreven robotgedrag in wetenschappelijke laboratoria.