Close-Fitting Dressing Assistance Based on State Estimation of Feet and Garments with Semantic-based Visual Attention

Resumo Técnico: Assistência para Vestimentas Ajustadas Baseada na Estimativa de Estado de Pés e Vestimentas com Atenção Visual Semântica

Definição do Problema
O artigo aborda o desafio da assistência autônoma para vestir vestimentas ajustadas, especificamente meias, no contexto de uma população envelhecida e da escassez de cuidadores. Pesquisas anteriores focaram em vestimentas folgadas (ex: camisas, calças) que permitem um desalinhamento significativo; no entanto, vestir roupas apertadas exige ajustes finos de força para gerenciar o atrito e o enroscamento contra a pele, ao mesmo tempo em que se considera a deformação da vestimenta. Um grande obstáculo é a variabilidade na fisiologia humana (tamanho do pé, formato, tom de pele, flexibilidade) e a dificuldade de simular com precisão o atrito entre pele e vestimenta para o aprendizado por reforço. Os métodos existentes dependem fortemente de dados RGB, o que limita a generalização para fundos ou objetos não vistos, e têm dificuldade em equilibrar a natureza elástica do tecido com o controle direcional das forças de tração.

Metodologia
Os autores propõem um framework de aprendizado de imitação multimodal que integra a compreensão semântica de objetos com estimativa de profundidade espacial e feedback somatossensorial. O sistema é projetado para operar sem depender exclusivamente de valores RGB, melhorando assim a robustez a variações de fundo e aparência.

1. Percepção Semântica e Espacial (Modelo Ventral-Dorsal):

   • Inspirado nos sistemas visuais humanos de duas vias, o modelo combina o SAM2 (Segment Anything Model 2) para segmentação semântica (via ventral) e o Depth Anything Model (DAM) para estimativa de profundidade (via dorsal).
   • O SAM2 gera máscaras binárias para as meias e os pés, mitigando a influência das variações de cor e oclusões.
   • O DAM infere a profundidade a partir de imagens RGB monoculares. O sistema funde esses dados incorporando os valores de profundidade nas regiões mascaradas, criando um "mapa de profundidade mascarado" que fornece relações espaciais 3D (x, y, z) entre a meia e o pé.

2. Mecanismos de Atenção:

   • Atenção Somatossensorial: Uma Rede de Núcleo Seletivo (SKNet) é empregada para selecionar dinamicamente kernels de extração de características ideais (3×3 e 5×5) com base na escala de entrada. Isso captura mudanças locais e globais no feedback tátil, crucial para gerenciar a elasticidade e o atrito da interface meia-pé.
   • Atenção Visual: Uma Rede Neural Recorrente de Atenção Espacial (SARNN) processa as máscaras semânticas e os mapas de profundidade. Ela aplica um softmax espacial para gerar mapas de atenção, calculando pontos-chave (keypoints) 3D esperados. Isso permite que o sistema foque no contexto geométrico em vez de apenas regiões salientes 2D, auxiliando na localização robusta durante a oclusão.

3. Política de Controle (LSTM Hierárquica):

   • A política central é uma LSTM Hierárquica (especificamente EIPL com LSTM hierárquica). Ela processa seis pontos-chave 3D extraídos, ângulos articulares, torques articulares e informações táteis do polegar.
   • A arquitetura utiliza uma "union LSTM" para integrar o contexto global de todas as modalidades, que então fornece feedback para as "bottom LSTs" específicas de cada modalidade. Esta estrutura modela dependências intra-modais e inter-modais.
   • A rede prevê o próximo estado da sequência sensório-motora, emitindo os próximos ângulos articulares, torques e uma imagem reconstruída para o próximo passo de tempo.

4. Treinamento e Coleta de Dados:

   • Para garantir a segurança e evitar sobrecarregar os sujeitos humanos durante a coleta de dados, o modelo foi treinado utilizando um manequim.
   • Os dados foram coletados via teleoperação usando um controle PS, capturando 12 amostras através de três ângulos de pé (30°, 40°, 50°).
   • A função de perda combina o Erro Quadrático Médio (MSE) para ângulos articulares, torques, valores táteis, imagens previstas e pontos de atenção.

Principais Contribuições

• Aprendizado de Imitação Multimodal para Vestimentas Ajustadas: O artigo estabelece um método para manipular vestimentas ajustadas que se adapta às diferenças individuais humanas através da interação de força adequada, indo além das limitações dos estudos de vestimentas folgadas.
• Generalização Baseada em Semântica: Ao utilizar máscaras semânticas e estimativa de profundidade em vez de dados RGB brutos, o modelo demonstra a capacidade de se generalizar para pés humanos e ambientes de fundo não vistos.
• Treinamento e Avaliação Orientados à Segurança: O estudo valida um pipeline onde um modelo treinado em um manequim é transferido com sucesso para sujeitos humanos reais, abordando os desafios éticos e de segurança da coleta de dados de vestimenta em humanos.

Resultos Experimentais
O sistema foi avaliado em um robô humanoide (AIREC) com 10 participantes humanos (tamanhos de pé 23,0–26,5 cm) e comparado ao Action Chunking with Transformer (ACT) e ao Diffusion Policy (DP).

• Estudo de Ablação: Remover a LSTM Hierárquica ou a combinação de SAM2 e DAM causou uma queda drástica nas taxas de sucesso (de 100% para 5% e 0%, respectivamente). Remover o DAM ou a SKNet resultou em degradação moderada, destacando o papel crítico da profundidade e da atenção tátil.
• Desempenho de Generalização:
  • O modelo proposto alcançou uma taxa de sucesso de 84% (42/50) em fundos conhecidos e 74% (37/50) em fundos desconhecidos.
  • Em contraste, o ACT alcançou 66% em fundos conhecidos e 0% em fundos desconhecidos. O DP falhou em completar a tarefa inteiramente.
• Adaptação de Força: O modelo proposto manteve forças táteis consistentes em diferentes tamanhos de pé (aprox. 19N nos dedos, 21N no calcanhar), enquanto o ACT mostrou alta sensibilidade a variações de tamanho e aplicação de força inconsistente.
• Significância Estatística: Um teste de postos sinalizados de Wilcoxon confirmou uma diferença estatisticamente significativa (p < 0,01) e um grande tamanho de efeito entre o modelo proposto e o ACT.

Significado e Alegações
O artigo afirma que o modelo proposto estima com sucesso o estado tanto da vestimenta quanto do pé, permitindo assistência precisa para vestir vestimentas ajustadas. A integração da compreensão semântica com atenção visual e somatossensorial permite que o robô se adapte às diferenças individuais de tamanho, formato e flexibilidade do pé sem a necessidade de retreinamento em dados humanos. Os autores enfatizam que esta abordagem supera as limitações de políticas visuais puramente baseadas em RGB e de aprendizado por reforço baseado em simulação, que lutam com a dinâmica complexa da elasticidade do tecido e do atrito da pele.

Limitações e Trabalho Futuro
Os autores observam modestamente que, embora o sistema lide bem com as fases de inserção e o vestir subsequente, a precisão da etapa inicial de inserção do dedo permanece limitada e não foi rigorosamente avaliada. As falhas nos testes humanos foram atribuídas à variabilidade morfológica (ex: flexibilidade limitada do tornozelo, enroscamento de unhas dos pés) e ao levantamento prematuro do braço para pés maiores. O trabalho futuro visa expandir o método para lidar com a adaptação dinâmica a movimentos inesperados do pé e melhorar o replanejamento de movimento online baseado na detecção de contato não pretendido.