Real-time body pose non-verbal communication with a consistency-based reliability measure

Resumo Técnico: Comunicação Não Verbal de Postura Corporal em Tempo Real com uma Medida de Confiabilidade Baseada em Consistência

Definição do Problema
O artigo aborda o reconhecimento da intenção comunicativa apenas a partir da postura corporal 2D, visando especificamente cenários onde os canais facial e de áudio estão indisponíveis ou não são confiáveis (ex: comunicação de longa distância pessoa-robô, missões de resgate, vigilância preservadora de privacidade). Os recursos existentes falham ao isolar esse sinal: corpora afetivos (ex: MELD, IEMOCIA) emaranham o movimento corporal com a fala e expressões faciais, enquanto benchmarks de reconhecimento de ação de esqueleto (ex: NTU RGB+D 120) rotulam ações executadas (caminhar, sentar) sobre janelas longas, em vez de breves explosões (1–2 segundos) que transmitem intenções comunicativas específicas. Além disso, sistemas de gestos de drones existentes dependem de vocabulários pequenos e fixos de poses de comando, em vez de um espaço mais rico e natural de intenções comunicativas. Existe uma lacuna crítica em conjuntos de dados e benchmarks que visam o reconhecimento de intenção comunicativa sob restrições de tempo real e em dispositivos (on-device). Adicionalmente, sistemas implantáveis requerem não apenas precisão, mas também um mecanismo para sinalizar quando uma previsão é provavelmente incorreta para evitar falhas críticas de segurança, embora os métodos de calibração padrão frequentemente exijam dados de validação rotulados.

Metodologia
Os autores propõem uma estrutura que envolve a criação de um conjunto de dados, benchmarking de modelos e uma nova medida de confiabilidade não supervisionada.

1. Criação do Conjunto de Dados: Os autores lançam um conjunto de dados ("Ours") contendo 157.000 quadros reais de postura de corpo inteiro cobrindo 10 intenções comunicativas (ex: "venha até mim", "desaprovação", "temos um acordo"). Estes foram capturados de vídeos humanos reais usando YOLO11-pose. Para avaliar a generalização e a dificuldade, isso é comparado contra quatro outros corpora:

   • IPC (Real): Um corpus multimodal de larga escala (Seamless Interaction) com 8 códigos de circunferência interpessoal, servindo como um controle negativo onde a intenção não é recuperável apenas da movimentação bruta 2D.
   • MotionLCM (Sintético): Gerado via um Modelo de Consistência Latente, oferecendo dados de baixa variância e alta separabilidade.
   • Kimodo (Sintético): Gerado via SMPL-X, oferecendo variância equilibrada.
   • VEO3.1 (Sintético): Dados gerados por texto-para-vídeo, oferecendo aparência fotorrealista de alta variância.
     Todos os conjuntos de dados são padronizados para sequências de 105 quadros de 17 pontos-chave (keypoints) 2D do COCO a 30Hz.

2. Benchmarking de Modelos: Doze modelos são testados sob condições de treinamento correspondentes em hardware embarcado (NVIDIA Jetson Orin Nano). Os modelos são categorizados em:

   • Apenas Reconhecimento: Classificadores de grafo de esqueleto (ST-GCN++, CTR-GCN, 2s-AGCN, EfficientGCN-B0).
   • Previsão-Reconhecimento Conjunta: Arquiteturas que preveem trajetórias de movimento futuras e classificam a intenção simultaneamente (MLP, LSTM, CNN-LSTM, Transformer, MotionMixer, POTR, InfoGCN++, PGBIG).
     O desempenho é medido por precisão (macro-F1), erro de previsão de trajetória (MAE) e latência de inferência (FPS).

3. Medida de Confiabilidade Baseada em Consistência: O artigo introduz uma estimativa de confiança sem rótulos ($c_{10}$) derivada da autossistência autorregressiva de um modelo. O modelo prevê seu próprio movimento futuro, alimenta essa previsão de volta como entrada e reclassifica a janela repetidamente por 10 etapas. O escore de consistência é a fração de etapas onde o rótulo previsto permanece o mesmo. Os autores fornecem uma prova teórica (Proposição 1) limitando a probabilidade de que uma previsão autossistente seja correta, mostrando que esta probabilidade aumenta com o número de etapas consistentes ($n$), mas é limitada pela separabilidade das classes ($f_r, f_g$).

Principais Resultados

• Recuperação de Intenção: A intenção comunicativa é recuperável da postura corporal 2D no conjunto de dados "Ours". Modelos baseados em grafos e recorrentes (ex: 2s-AGCN, CNN-LSTM) alcançam 90–100% de recall na maioria das intenções. No entanto, intenções específicas como "desaprovação", "venha até mim" e "entusiasta" apresentam ambiguidade inerente sob projeção 2D.
• Dificuldade do Conjunto de Dados: Conjuntos de dados sintéticos (MotionLCM, Kimodo) são facilmente aprendidos (precisão próxima ao teto) devido à baixa variância. O VEO3.1 apresenta um desafio maior devido ao ruído fotorrealista. O conjunto de dados IPC atua como um caso de falha; os modelos alcançam precisão próxima ao acaso, confirmando que códigos de postura interpessoal não são recuperáveis da movimentação bruta 2D sem pistas faciais ou de contexto.
• Previsão vs. Estabilidade: Um baixo erro de previsão de trajetória (MAE) não garante robustez. Modelos que minimizam o MAE frequentemente suavizam demais o movimento. A estabilidade do rollout autorregressivo (o quão bem um modelo mantém o movimento dentro da classe ao consumir suas próprias previsões) é uma métrica distinta e crítica. CNN-LSTM e InfoGCN++ demonstraram superior estabilidade em comparação com MLPs e Transformers.
• Sinal de Confiabilidade: O escore de consistência $c_{10}$ é um sinal de confiabilidade calibrado em conjuntos de dados aprendíveis. Alta consistência correlaciona-se com alta precisão (até 0,93 no "Ours" e ~1,0 em conjuntos sintéticos). Crucialmente, no conjunto de dados IPC onde a tarefa não é aprendível, $c_{10}$ permanece alto, mas se desacopla da correção, identificando corretamente o regime onde a confiança não é informativa.
• Desempenho em Borda (Edge): Todos os 12 modelos rodam bem acima de 30 FPS no NVIDIA Orin Nano. A principal restrição para implantação é a precisão, não a latência. Modelos de tarefa dupla são dominados em classificação pura, mas oferecem as capacidades necessárias de previsão e confiabilidade.

Significância e Alegações
O artigo alega três contribuições principais:

1. Conjunto de Dados e Benchmark: Preenche uma lacuna ao fornecer um conjunto de dados e benchmark especificamente para intenção comunicativa a partir de postura corporal, contrastando dados reais e sintéticos para isolar o desempenho do modelo de artefatos do conjunto de dados.
2. Benchmarking Consciente de Hardware: Fornece uma comparação abrangente de arquiteturas em hardware embarcado, estabelecendo que a precisão é o fator limitante para a comunicação pessoa-robô em tempo real em dispositivos, e não a velocidade de computação.
3. Confiabilidade Não Supervisionada: Demonstra que a autossistência autorregressiva de um modelo serve como um sinal de confiabilidade válido e sem rótulos. O artigo prova que este sinal é informativo quando a tarefa é aprendível e identifica corretamente quando não é (ou seja, quando o modelo está confiantemente errado). Isso permite que um sistema adie uma ação em previsões incertas, um recurso crítico para aplicações de segurança relevante.

Os autores concluem que a postura corporal sozinha é um canal viável para intenção comunicativa sob restrições de implantação, desde que o sistema utilize a autossistência para auditar sua própria confiabilidade em tempo real. Eles observam limitações quanto à dependência de pose 2D (perdendo informações de profundidade) e a necessidade de avaliações de larga escala adicionais em cenários reais de longo alcance.