Close-Fitting Dressing Assistance Based on State Estimation of Feet and Garments with Semantic-based Visual Attention

Resumen Técnico: Asistencia para el Vestido de Prendas Ajustadas Basada en la Estimación del Estado de los Pies y las Prendas con Atención Visual Semántica

Planteamiento del Problema
El artículo aborda el desafío de la asistencia autónoma para el vestido de prendas ajustadas, específicamente calcetines, en el contexto de una población envejecida y la escasez de cuidadores. Mientras que investigaciones previas se han centrado en prendas holgadas (por ejemplo, camisas, pantalones) que permiten un desalineamiento significativo, el vestir prendas ajustadas requiere ajustes finos de fuerza para gestionar la fricción y el enganche contra la piel, considerando la deformación de la prenda. Un obstáculo importante es la variabilidad en la constitución física humana (tamaño del pie, forma, tono de piel, flexibilidad) y la dificultad de simular con precisión la fricción entre la piel y la prenda para el aprendizaje por refuerzo. Los métodos existentes dependen en gran medida de datos RGB, lo que limita su capacidad de generalización ante fondos u objetos no vistos, y tienen dificultades para equilibrar la naturaleza elástica de la tela con el control direccional de las fuerzas de tracción.

Metodología
Los autores proponen un marco de aprendizaje de imitación multimodal que integra la comprensión semántica de objetos con la estimación de profundidad espacial y la retroalimentación somatosensorial. El sistema está diseñado para operar sin depender únicamente de los valores RGB, mejorando así la robustez ante variaciones de fondo y apariencia.

1. Percepción Semántica y Espacial (Modelo Ventral-Dorsal):

   • Inspirado en las vías duales del sistema visual humano, el modelo combina SAM2 (Segment Anything Model 2) para la segmentación semántica (vía ventral) y DAM (Depth Anything Model) para la estimación de profundidad (vía dorsal).
   • SAM2 genera máscaras binarias para los calcetines y los pies, mitigando la influencia de las variaciones de color y las oclusiones.
   • DAM infiere la profundidad a partir de imágenes RGB monoculares. El sistema fusiona estos elementos integrando los valores de profundidad en las regiones enmascaradas, creando un "mapa de profundidad enmascarado" que proporciona relaciones espaciales 3D (x, y, z) entre el calcetín y el pie.

2. Mecanismos de Atención:

   • Atención Somatosensorial: Se emplea una Red de Núcleo Selectivo (SKNet) para seleccionar dinámicamente núcleos de extracción de características óptimos (3×3 y 5×5) basados en la escala de entrada. Esto captura cambios locales y globales en la retroalimentación táctil, crucial para gestionar la elasticidad y la fricción de la interfaz calcetín-pie.
   • Atención Visual: Una Red Neuronal Recurrente de Atención Espacial (SARNN) procesa las máscaras semánticas y los mapas de profundidad. Aplica un softmax espacial para generar mapas de atención, calculando los puntos clave (keypoints) 3D esperados. Esto permite que el sistema se concentre en el contexto geomético en lugar de solo en regiones salientes 2D, ayudando a una localización robusta durante la oclusión.

3. Política de Control (LSTM Jerárquica):

   • La política central es una LSTM Jerárquica (específicamente EIPL con LSTM jerárquica). Procesa seis puntos clave 3D extraídos, ángulos articulares, torques articulares e información táctil del pulgar.
   • La arquitectura utiliza una "unión LSTM" para integrar el contexto global de todas las modalidades, la cual proporciona retroalimentación a las "LSTMs de base" específicas de cada modalidad. Esta estructura modela tanto las dependencias intra-modales como las inter-modales.
   • La red predice el siguiente estado de la secuencia sensoriomotora, emitiendo los siguientes ángulos articulares, torques y una imagen reconstruida para el siguiente paso de tiempo.

4. Entrenamiento y Recolección de Datos:

   • Para garantizar la seguridad y evitar la carga sobre los sujetos humanos durante la recolección de datos, el modelo fue entrenado utilizando un maniquí.
   • Los datos se recolectaron mediante teleoperación con un controlador PS, capturando 12 muestras a través de tres ángulos de pie (30°, 40°, 50°).
   • La función de pérdida combina el Error Cuadrático Medio (MSE) para los ángulos articulares, torques, valores táctiles, imágenes predichas y puntos de atención.

Contribuciones Clave

• Aprendizaje de Imitación Multimodal para Prendas Ajustadas: El artículo establece un método para manipular prendas ajustadas que se adapta a las diferencias individuales humanas mediante una interacción de fuerza adecuada, yendo más allá de las limitaciones de los estudios de prendas holgadas.
• Generalización Basada en la Semántica: Al utilizar máscaras semánticas y estimación de profundidad en lugar de datos RGB brutos, el modelo demuestra la capacidad de generalizarse a pies humanos y entornos de fondo no vistos.
• Entrenamiento y Evaluación Orientados a la Seguridad: El estudio valida un flujo de trabajo donde un modelo entrenado en un maniquí se transfiere con éxito a sujetos humanos reales, abordando los desafíos éticos y de seguridad de la recolección de datos de vestido de seres humanos.

Resultados Experimentales
El sistema fue evaluado en un robot humanoide (AIREC) con 10 participantes humanos (tamaños de pie 23.0–26.5 cm) y se comparó contra Action Chunking with Transformer (ACT) y Diffusion Policy (DP).

• Estudio de Ablación: Eliminar la LSTM Jerárquica o la combinación de SAM2 y DAM causó una caída drástica en las tasas de éxito (del 100% al 5% y 0%, respectivamente). Eliminar DAM o SKNet resultó en una degradación moderada, resaltando el papel crítico de la profundidad y la atención táctil.
• Desempeño de Generalización:
  • El modelo propuesto logró una tasa de éxito del 84% (42/50) en fondos conocidos y del 74% (37/50) en fondos desconocidos.
  • En contraste, ACT logró un 66% en fondos conocidos y 0% en fondos desconocidos. DP no logró completar la tarea en absoluto.
• Adaptación de Fuerza: El modelo propuesto mantuvo fuerzas táctiles consistentes a través de diferentes tamaños de pie (aprox. 19N en los dedos, 21N en el talón), mientras que ACT mostró alta sensibilidad a las variaciones de tamaño y una aplicación de fuerza inconsistente.
• Significancia Estadística: Una prueba de rango con signo de Wilcoxon confirmó una diferencia estadísticamente significativa (p < 0.01) y un gran tamaño del efecto entre el modelo propuesto y ACT.

Significancia y Reivindicaciones
El artículo afirma que el modelo propuesto estima con éxito el estado tanto de la prenda como del pie, permitiendo una asistencia de vestido precisa para prendas ajustadas. La integración de la comprensión semántica con la atención visual y somatosensorial permite que el robot se adapte a las diferencias individuales en tamaño, forma y flexibilidad del pie sin requerir un reentrenamiento con datos humanos. Los autores enfatizan que este enfoque supera las limitaciones de las políticas visuales puramente basadas en RGB y del aprendizaje por refuerzo basado en simulación, que luchan con la compleja dinámica de la elasticidad de la tela y la fricción de la piel.

Limitaciones y Trabajo Futuro
Los autores señalan modestamente que, si bien el sistema maneja bien las fases de inserción y el vestido posterior, la precisión del paso inicial de inserción del dedo sigue siendo limitada y no fue evaluada rigurosamente. Los fallos en los ensayos humanos se atribuyeron a la variabilidad morfológica (por ejemplo, flexibilidad limitada del tobillo, enganche de las uñas de los pies) y al levantamiento prematuro del brazo para pies más grandes. El trabajo futuro tiene como objetivo ampliar el método para manejar la adaptación dinámica a movimientos inesperados del pie y mejorar la replanificación de movimiento en línea basada en la detección de contactos no deseados.