Longitudinal Robot Learning from Demonstration with Care Providers in a Home Environment

Technische Samenvatting: Longitudinaal Robotisch Leren van Demonstraties door Zorgverleners in een Thuisomgeving

Probleemstelling
Learning from Demonstration (LfD) stelt niet-deskundige gebruikers in staat om robots nieuwe vaardigheden aan te leren zonder expliciete programmering. De huidige bruikbaarheidsevaluaties van LfD met niet-experts worden echter voornamelijk uitgevoerd in gecontroleerde laboratoriumsettings met de aanwezigheid van een robotica-experimentator. Dit creëert een kloof in het begrip van de barrières die niet-deskundige eindgebruikers ervaren bij het aanleren van robots in ongestructureerde, dynamische thuisomgevingen zonder directe feedback van een expert. Bovendien suggereert eerder werk dat demonstranten verbeteren over meerdere sessies, maar er is een gebrek aan longitudinale gegevens over hoe niet-experts, specif specifiek zorgverleners, zich over de tijd aanpassen aan het aanleren van assistieve taken in realistische huishoudelijke omgevingen.

Methodologie
De auteurs stellen een experiment met menselijke proefpersonen voor dat wordt uitgevoerd over drie bezoeken in de Georgia Tech Aware Home, een authentieke thuisomgeving. De studie richt zich op een populatie van zorgverleners (zowel formeel, zoals verpleegkundigen en therapeuten, als informeel, zoals familieleden) zonder voorafgaande ervaring met robotica of informatica.

• Systeemarchitectuur:

  • Perceptie: Het systeem verwerkt RGB-D stromen van een Intel RealSense camera met behulp van YOLOE voor objectdetectie en segmentatie. Dieptemetingen worden teruggeprojecteerd naar 3D-puntenwolken, en objectposities worden geschat met behulp van Iterative Closest Point (ICP) registratie tegen vooraf gedefinieerde vormen.
  • Leeralgoritme: De robot maakt gebruik van Cartesian Probabilistic Motion Primitives (ProMPs) over end-effector en getrackte objectposities. ProMPs werden gekozen vanwege hun vermogen om te leren van beperkte demonstraties, snelle trainingstijden en robuustheid tegen veranderende objectposities vergeleken met Behavior Cloning of Vision-Language Action modellen.
  • Interface: Een interactieve interface stelt deelnemers in staat om taken te ontleden in laag-niveau vaardigheden, deze te demonstreren en vaardigheids"recepten" te creëren.

• Experimentele Condities:
  De studie maakt gebruik van een between-subjects design met twee condities:

  1. PT+AF Conditie: Deelnemers ontvangen Pre-Training (PT) in Bezoek 1, waarbij ze proberen taken te ontleden en video's bekijken van optimale ontledingen en expertdemonstraties. Zij ontvangen vervolgens Adaptive Feedback (AF) in Bezoek 2 en 3.
  2. AF Conditie: Deelnemers slaan Bezoek 1 over en ontvangen alleen AF in Bezoek 2 en 3.

• Feedbackmechanismen (AF):

  • Foundation Model (FM) Feedback: Biedt begeleiding bij de generaliseerbaarheid van taakontleding. Een iteratief verhelderingsmodule helpt nieuwkomers om domeinen en taken met voldoende detail te definiëren.
  • Real Robot Replay (RRR): De robot voert het geleerde beleid uit in de fysieke omgeving voor observatie door de gebruiker.
  • Augmented Reality (AR) Feedback: De robot voert het beleid uit in AR, waardoor gebruikers de prestaties en generaliseerbaarheid kunnen visualiseren zonder fysiek risico of tijdrovende interacties.

• Procedure:

  • Bezoek 1: PT-conditie deelnemers leren taken aan in vooraf gedefinieerde domeinen (bijv. het stapelen van Tupperware).
  • Bezoek 2: Deelnemers leren aanvullende taken in nieuwe domeinen met alle drie de AF-typen beschikbaar.
  • Bezoek 3: Deelnemers definiëren aangepaste domeinen en taken met AF beschikbaar.
  • Metrieken: De studie evalueert het percentage taakvoltooiing, de afstemming tussen voorspelde en werkelijke robotprestaties, en gebruikerservaringsmetrieken (bruikbaarheid, acceptatie, geleerd vertrouwen en werklast). Statistische analyse zal gebruikmaken van meerdere lineaire regressies met gemengde effecten.

Belangrijkste Bijdragen

1. Experimenteel Ontwerp: Het artikel stelt een experiment met menselijke proefpersonen voor dat is ontworpen om de uitdagingen en kansen te karakteriseren bij het inzetten van LfD-systemen met niet-deskundige eindgebruikers in een thuisomgeving, specifiek gebruikmakend van pre-training en adaptieve feedback.
2. Dataset Release: De auteurs stellen voor om een longitudinale dataset open-source beschikbaar te stellen, bestaande uit zorgverleners die een robot assistieve taken aanleren. Deze dataset bevat natuurlijke taalbeschrijvingen, puntenwolken, end-effector/gewrichtstrajecten, audio en videobeelden (egocentrisch en exocentrisch). Het doel is om bestaande datasets zoals MIME en RoboPro aan te vullen met realistische, longitudinale assistieve taken.

Resultaten en Uitkomsten
Aangezien dit papier een voorgestelde studie en dataverzamelingkader beschrijft, rapporteert het geen definitieve statistische resultaten of specifieke prestatie-metrieken van het voltooide experiment. In plaats daarvan details de sectie "Outcomes" de beoogde deliverables:

• De release van de longitudinale dataset om gestandaardiseerde benchmarking voor interactieve robotische leeralgoritmen mogelijk te maken.
• Het rapporteren van human-factors bevindingen gerelateerd aan de drie Onderzoeksvragen (verschillen in taakprestaties, voorspellingsafstemming en gebruikerservaring).
• Het voorstellen van ontwerprichtlijnen voor onderzoekers en praktijkbeoefenaars die LfD-systemen in thuisomgevingen voor assistieve taken inzetten, specifiek afgestemd op zorgverleners en longitudinale dataverzameling.

Significantie
Het artikel claimt significantie door de "ecologische validiteit" van LfD-onderzoek aan te pakken. Door te bewegen van laboratoriumsettings naar een realistische thuisomgeving en te focussen op een longitudinale studie met zorgverleners, probeert het werk de specifieke barrières te identificeren die niet-experts ervaren bij het aanleren van robots zonder directe feedback van een expert. De resulterende dataset en ontwerprichtlijnen beogen de ontwikkeling van robuustere, gepersonaliseerde en gebruiksvriendelijkere assistieve robotica te faciliteren die zich kan aanpassen aan ongestructureerde menselijke omgevingen.