Shared Representation for 3D Pose Estimation, Action Classification, and Progress Prediction from Tactile Signals

Resumo Técnico: SCOTTI – Uma Abordagem Multitarefa para Inferência Tátil

1. Problema e Motivação

A interação humano-robô (HRI) depende criticamente da capacidade de estimar a pose humana, classificar ações e prever o progresso do movimento. Embora os métodos baseados em visão computacional sejam avançados, eles sofrem limitações em ambientes reais, como oclusão (obstrução da visão) e preocupações com privacidade.

A sensoriamento tátil oferece uma alternativa robusta, livre de oclusão e privacidade, fornecendo informações de força e pressão diretamente relacionadas à postura. No entanto, a literatura existente trata essas tarefas (estimativa de pose, classificação de ação e previsão de progresso) de forma isolada, o que resulta em desempenho subótimo. Além disso, a previsão de progresso de ação usando sinais táteis de pés ainda não havia sido explorada.

O objetivo deste trabalho é superar essas limitações propondo um modelo unificado que aprenda uma representação compartilhada para realizar simultaneamente três tarefas distintas a partir de sinais táteis de sensores de palmilha.

2. Metodologia: O Modelo SCOTTI

Os autores propõem o SCOTTI (Shared COnvolutional Transformer for Tactile Inference), uma arquitetura que combina as capacidades de extração de características espaciais das Redes Neurais Convolucionais (CNNs) com a modelagem de dependências temporais dos Transformers.

• Entrada de Dados: O modelo recebe uma sequência de $T$ quadros de sinais táteis de sensores de palmilha (esquerda e direita), estruturados como imagens 2D de alta resolução.
• Arquitetura:
  1. Extrator de Características Espaciais (CNN): Cada quadro tátil é processado independentemente por uma CNN (duas camadas convolucionais com ReLU e pooling) para extrair características espaciais, que são então projetadas em um espaço de embeddings.
  2. Modelagem Temporal (Transformer): Os embeddings temporais são concatenados e alimentados em um Transformer. Um token de classe (learnable) é adicionado para aprender uma representação global do sinal, e encodings de posição são usados para codificar a informação temporal.
  3. Saída Multitarefa: Após o encoder do Transformer, aplica-se um pooling ponderado no tempo para obter uma representação compartilhada final. Esta representação é dividida em três cabeças (MLPs) distintas para prever:
     • Pose 3D: Posição das articulações do corpo.
     • Classificação de Ação: Categoria da atividade (ex: agachamento, caminhada).
     • Previsão de Progresso: Um valor contínuo $p \in [0, 1]$ indicando o avanço da ação.
• Função de Perda: O treinamento utiliza uma soma ponderada das perdas de cada tarefa:
  • Pose: Soma do Mean Per Joint Position Error (MPJPE) e Mean Per Joint Angle Error (MPJAE).
  • Ação: Cross-Entropy.
  • Progresso: Mean Squared Error (MSE).

3. Contribuições Principais

1. Modelo Unificado (SCOTTI): Primeiro trabalho a propor uma arquitetura de aprendizado multitarefa que aprende uma representação compartilhada para estimativa de pose 3D, classificação de ação e previsão de progresso contínuo usando apenas sinais táteis.
2. Inovação na Tarefa: Introdução da previsão de progresso de ação baseada em sinais táteis, uma tarefa inédita na literatura de sensores táteis de pés.
3. Novo Dataset de Grande Escala:
   • Coletado de 15 participantes realizando 8 atividades distintas (agachamentos, afundos, saltos, step-ups, e vários tipos de caminhada).
   • Mais de 200.000 quadros sincronizados de dados táteis e visuais (para ground truth), totalizando mais de 7 horas de gravação.
   • Sensores personalizados de baixo custo (~$50/unidade) com transmissão sem fio e alta resolução (>500 sensores por pé).
4. Análise de Representação: Visualização do espaço de características compartilhadas demonstrando que o modelo aprende padrões estruturados e significativos sobre o movimento humano.

4. Resultados Experimentais

Os experimentos foram conduzidos com divisões de participantes (10 para treino, 5 para teste) para garantir generalização para sujeitos não vistos.

• Desempenho Geral: O SCOTTI superou todas as baselines (modelos de estado da arte para pose e classificação, e uma previsão aleatória para progresso) em todas as três tarefas.
  • Pose 3D: MPJPE de 96,63 mm (o menor erro entre todos os modelos testados).
  • Classificação de Ação: Precisão de 90,06% (superior em ~5,5 pontos percentuais ao modelo STAT anterior).
  • Previsão de Progresso: MSE de 0,0223 e Average Progress Precision (APP) de 0,8952, superando significativamente a linha de base aleatória (MSE 0,1448).
• Comparação Multitarefa vs. Single-Task: Ao comparar o SCOTTI com versões multitarefa de modelos baselines existentes, o SCOTTI manteve a superioridade. Isso indica que a arquitetura específica (CNN + Transformer) e a estratégia de aprendizado compartilhado são mais eficazes do que apenas adicionar cabeças de saída a modelos existentes.
• Estudo de Ablação:
  • O modelo multitarefa superou versões de tarefa única (ex: erro de pose caiu de 101,61 mm para 96,63 mm ao usar o aprendizado multitarefa).
  • Análise de Regiões: A importância das regiões do pé mostrou que a parte central (arco/pé médio) é mais crítica para a inferência do que os calcanhares, devido ao contato mais consistente.
  • Visualização (t-SNE): As visualizações mostraram que o modelo aprendeu estruturas cíclicas claras para progressos de ações alternadas (como caminhar) e agrupamentos distintos para diferentes classes de ação.

5. Significado e Impacto

Este trabalho representa um avanço significativo na área de interação humano-robô e análise de movimento:

• Robustez: Demonstra que o sensoriamento tátil pode superar as limitações de privacidade e oclusão da visão computacional em ambientes domésticos e industriais.
• Eficiência: Prova que o aprendizado multitarefa com representação compartilhada é superior ao treinamento de modelos isolados, economizando recursos computacionais e melhorando a precisão geral.
• Aplicações Práticas: O sistema e o dataset aberto têm potencial direto para aplicações em:
  • Reabilitação e Saúde: Monitoramento de exercícios e cuidados com idosos.
  • Análise Esportiva: Avaliação técnica de movimentos.
  • Robótica de Serviço: Robôs assistivos que podem reagir ao momento exato da intenção humana (ex: ajudar a levantar-se de uma cadeira no momento correto).

Em suma, o SCOTTI estabelece um novo paradigma para a inferência baseada em tátil, unificando tarefas complexas e fornecendo uma base de dados e metodologia robusta para pesquisas futuras.