Close-Fitting Dressing Assistance Based on State Estimation of Feet and Garments with Semantic-based Visual Attention

Technische Samenvatting: Ondersteuning bij het aantrekken van nauwsluitende kleding op basis van staatsschatting van voeten en kleding met semantische visuele aandacht

Probleemstelling
Het artikel behandelt de uitdaging van autonome ondersteuning bij het aantrekken van nauwsluitende kleding, specifiek sokken, in de context van een vergrijzende populatie en een tekort aan zorgverleners. Waar eerder onderzoek zich richtte op loszittende kleding (bijv. shirts, broeken) die aanzienlijke uitlijningsfouten toelaten, vereist het aantrekken van strakke kleding fijne krachtafstemming om wrijving en haken tegen de huid te beheersen, terwijl rekening wordt gehouden met de vervorming van het kledingstuk. Een grote hindernis is de variabiliteit in de menselijke fysiek (voetgrootte, vorm, huidskleur, flexibiliteit) en de moeilijkheid om nauwkeurige wrijving tussen huid en kleding te simuleren voor reinforcement learning. Bestaande methoden vertrouwen vaak zwaar op RGB-gegevens, wat de generaliseerbaarheid naar onbekende achtergronden of objecten beperkt, en hebben moeite met het balanceren van de elastische aard van de stof met de directionele controle van trekkrachten.

Methodologie
De auteurs stellen een multimodal imitatieleringsframework voor dat semantisch begrip van objecten integreert met ruimtelijke diepteschatting en somatosensorische feedback. Het systeem is ontworpen om te opereren zonder uitsluitend afhankelijk te zijn van RGB-waarden, waardoor de robuustheid tegen variaties in achtergrond en uiterlijk wordt verbeterend.

1. Semantische en Ruimtelijke Perceptie (Ventraal-Dorsaal Model):

   • Geïnspireerd door de dubbele banen van het menselijke visuele systeem, combineert het model SAM2 (Segment Anything Model 2) voor semantische segmentatie (ventrale baan) en Depth Anything Model (DAM) voor diepteschatting (dorsale baan).
   • SAM2 genereert binaire maskers voor sokken en voeten, waardoor de invloed van kleurvariaties en occlusies wordt verminderd.
   • DAM schat diepte uit monoculaire RGB-beelden. Het systeem voegt deze samen door dieptewaarden in de gemaskeerde regio's in te bedden, waardoor een "gemaskeerde dieptekaart" ontstaat die 3D ruimtelijke relaties (x, y, z) tussen de sok en de voet biedt.

2. Aandachtmechanismen:

   • Somatosensorische Aandacht: Een Selective Kernel Network (SKNet) wordt ingezet om dynamisch optimale kenmerkextractie-kernels (3×3 en 5×5) te selecteren op basis van de input-schaal. Dit vangt lokale en globale veranderingen in tactiele feedback op, wat cruciaal is voor het beheren van de elasticiteit en wrijving van de interface tussen sok en voet.
   • Visuele Aandacht: Een Spatial Attention Recurrent Neural Network (SARNN) verwerkt de semantische maskers en dieptekaarten. Het past een spatial softmax toe om aandachtskaarten te genereren en berekent verwachte 3D-keypoints. Dit stelt het systeem in staat om zich te concentreren op geometrische context in plaats van alleen op 2D-salientiegebieden, wat helpt bij robuuste lokalisatie tijdens occlusie.

3. Controlebeleid (Hiërarchische LSTM):

   • De kern van het beleid is een Hiërarchische LSTM (specifiek EIPL met hiërarchische LSTM). Het verwerkt zes geëxtraheerde 3D-keypoints, gewrichtshoeken, koppel (torques) en duimtactiele informatie.
   • De architectuur gebruikt een "union LSTM" om de globale context van alle modaliteiten te integreren, die vervolgens feedback geeft aan modaliteit-specifieke "bottom LSTMs". Deze structuur modelleert zowel intra-modale als inter-modale afhankelijkheden.
   • Het netwerk voorspelt de volgende staat van de sensorische-motorische sequentie, waarbij de volgende gewrichtshoeken, koppel en een gereconstrueerd beeld voor de volgende tijdstap worden uitgevoerd.

4. Training en Datacollectie:

   • Om veiligheid te garanderen en de menselijke proefpersonen niet te belasten tijdens de datacollectie, werd het model getraind met behulp van een mannequin.
   • Data werd verzameld via teleoperatie met een PS-controller, waarbij 12 monsters werden vastgelegd over drie voethoeken (30°, 40°, 50°).
   • De verliesfunctie combineert Mean Squared Error (MSE) voor gewrichtshoeken, koppel, tactiele waarden, voorspelde beelden en aandachtspunten.

Belangrijkste Bijdragen

• Multimodale Imitatielering voor Nauwsluitende Kleding: Het artikel vestigt een methode voor het manipuleren van nauwsluitende kleding die zich aanpast aan individuele menselijke verschillen door middel van juiste krachtinteractie, waarmee de beperkingen van studies naar loszittende kleding worden overstegen.
• Semantische Generalisatie: Door gebruik te maken van semantische maskers en diepteschatting in plaats van ruwe RGB-data, demonstreert het model het vermogen om te generaliseren naar onbekende menselijke voeten en achtergrondomgevingen.
• Veiligheidsgerichte Training en Evaluatie: De studie valideert een pipeline waarbij een model getraind op een mannequin succesvol wordt overgedragen naar echte menselijke proefpersonen, wat de veiligheids- en ethische uitdagingen van het verzamelen van kledingdata van mensen aanpakt.

Experimentele Resultaten
Het systeem werd geëvalueerd op een humanoïde robot (AIREC) met 10 menselijke deelnemers (voetmaten 23,0–26,5 cm) en vergeleken met Action Chunking with Transformer (ACT) en Diffusion Policy (DP).

• Ablatiestudie: Het verwijderen van de Hiërarchische LSTM of de combinatie van SAM2 en DAM veroorzaakte een dramatische daling in succespercentages (van 100% naar respectievelijk 5% en 0%). Het verwijderen van DAM of SKNet resulteerde in een matige degradatie, wat de cruciale rol van diepte en tactiele aandacht benadrukt.
• Generalisatieprestaties:
  • Het voorgestelde model behaalde een succespercentage van 84% (42/50) op bekende achtergronden en 74% (37/50) op onbekende achtergronden.
  • In contrast hiermee behaalde ACT 66% op bekende achtergronden en 0% op onbekende achtergronden. DP slaagde er niet in de taak volledig te voltooien.
• Krachtadaptatie: Het voorgestelde model behield consistente tactiele krachten over verschillende voetmaten heen (ongeveer 19N bij de tenen, 21N bij de hiel), terwijl ACT een hoge gevoeligheid voor maatvariaties en inconsistente krachttoepassing vertoonde.
• Statistische Significantie: Een Wilcoxon signed-rank test bevestigde een statistisch significant verschil (p < 0,01) en een grote effectgrootte tussen het voorgestelde model en ACT.

Betekenis en Claims
Het artikel claimt dat het voorgestelde model erin slaagt de staat van zowel het kledingstuk als de voet te schatten, wat precieze ondersteuning bij het aantrekken van nauwsluitende kleding mogelijk maakt. De integratie van semantisch begrip met diepte en somatosensorische aandacht stelt de robot in staat om zich aan te passen aan individuele verschillen in voetgrootte, vorm en flexibiliteit zonder dat hertraining op menselijke data nodig is. De auteurs benadrukken dat deze aanpak de beperkingen van puur RGB-gebaseerde visuele policies en op simulatie gebaseerde reinforcement learning overwint, die moeite hebben met de complexe dynamica van de elasticiteit van stof en huidwrijving.

Beperkingen en Toekomstig Werk
De auteurs merken bescheiden op dat hoewel het systeem de insertiefase en de daaropvolgende aantrekafase goed afhandelt, de precisie van de initiële teen-insertiestap nog beperkt is en niet rigoureus is geëvalueerd. Falen in menselijke proeven werd toegeschreven aan morfologische variabiliteit (bijv. beperkte enkelflexibiliteit, haken van teennagels) en voortijdig optillen van de arm bij grotere voeten. Toekomstig werk richt zich op het uitbreiden van de methode om dynamische adaptatie aan onverwachte voetbewegingen te hanteren en het verbeteren van online bewegingsherplanning op basis van detectie van onbedoeld contact.