A Machine Learning Framework for Real-Time Personalized Ergonomic Pose Analysis

Resumo Técnico: Um Framework de Aprendizado de Máquina para Análise Ergonômica de Postura Personalizada em Tempo Real

Definição do Problema
As técnicas atuais de avaliação ergonômica em ambientes industriais e de trabalho dependem fortemente de sistemas de pontuação observacional manuais. Esses métodos tradicionais são caracterizados por processos demorados, problemas de confiabilidade inter-avaliador e escalabilidade limitada para grandes forças de trabalho. Embora a Inteligência Artificial (IA) e a visão computacional ofereçam soluções potenciais, os métodos existentes de detecção de pose 3D enfrentam desafios significativos. Inferir poses diretamente de nuvens de pontos 3D é frequentemente menos robusto do que a detecção 2D de última geração devido à necessidade de dados claros e sem obstruções. Por outro lado, sistemas de câmera 2D padrão sofrem com pontos de vista fixos, o que restringe a disponibilidade de dados e leva a oclusões que dificultam uma avaliação postural completa. Há uma necessidade de um sistema que aproveite a riqueza espacial dos dados 3D, utilizando simultaneamente a precisão e a eficiência de algoritmos estabelecidos de detecção de pose 2D.

Metodologia
O artigo propõe um framework de aprendizado de máquina de duas partes que integra dados de vídeo volumétrico com a detecção de pose 2D tradicional para permitir a análise ergonômica em tempo real. A arquitetura do sistema consiste em um estágio de treinamento e uma fase de inferência:

1. Aquisição e Processamento de Dados: O sistema utiliza um arranjo de câmeras RGB-D (especificamente o Azure Kinect DK no estudo de caso) para capturar nuvens de pontos 3D. Essas nuvens de pontos são transmitidas via WebSockets para uma arquitetura baseada em microsserviços.
2. Interface 3D Interativa: Os usuários interagem com os dados da nuvem de pontos em um ambiente 3D, permitendo rotação, zoom e mudança de ponto de vista. Essa capacidade supera as limitações das câmeras fixas ao permitir a seleção de perspectivas ideais para evitar oclusões.
3. Projeção 2D e Detecção de Pose: Para aproveitar algoritmos 2D robustos, a nuvem de pontos 3D é projetada em um espaço 2D usando um buffer de profundidade adquirido pela GPU. Um detector de pose 2D (baseado no framework de código aberto MMPose) analisa essa projeção para detectar pontos-chave (keypoints) esqueléticos.
4. Treinamento Personalizado: Diferente de sistemas totalmente automatizados, este framework emprega uma abordagem semissupervisionada. Enquanto a detecção de esqueleto ocorre continuamente, apenas as poses selecionadas e rotuladas manualmente pelo usuário (por exemplo, "ergonômica" ou "não ergonômica") são retidas para criar um conjunto de dados rotulado.
5. Classificação: A informação esquelética esparsa rotulada (coordenadas x e y dos pontos-chave) é usada para treinar um classificador de Perceptron Multicamadas (MLP). O usuário define os parâmetros do MLP, incluindo tamanhos de camadas ocultas, contagens de iteração e funções de ativação (ex: ReLU).
6. Inferência em Tempo Real: Uma vez treinado, o modelo processa novos dados de streaming em tempo real. O sistema detecta esqueletos, projeta-os para 2D e prevê rótulos de risco ergonômico com latência mínima, exibindo os resultados ao lado da visualização 3D interativa.

Principais Contribuições

• Abordagem Híbrida 3D-2D: A metodologia une a lacuna entre a análise espacial 3D e a eficiência algorítmica 2D. Ela utiliza nuvens de pontos 3D para fornecer perspectivas virtuais infinitas para o gerenciamento de oclusões, enquanto projeta os dados para 2D para aplicar modelos de estimativa de pose altamente otimizados e de última geração.
• Aprendizado Personalizado e Interativo: O sistema permite a criação de classificadores personalizados baseados em dados rotulados pelo usuário. A interface interativa capacita os usuários a curar o conjunto de dados de treinamento selecionando pontos de vista e poses específicas, garantindo que o modelo seja adaptado a requisitos ergonômicos específicos.
• Escalabilidade em Tempo Real: O framework demonstra a capacidade de realizar inferência de pose contínua em dados de streaming, abordando a necessidade de feedback imediato no monitoramento da segurança no trabalho.

Resultos
Um caso de uso envolvendo tarefas de levantamento de carga foi conduzido utilizando duas câmeras Azure Kinect DK para capturar trabalhadores realizando exercícios de levantamento de caixas tanto ergonômicos quanto não ergonômicos.

• Desempenho: O sistema alcançou com sucesso o processamento em tempo real de nuvens de pontos. Os tempos de execução foram medidos em diferentes tamanhos de nuvem de pontos (de 1.000 a 750.000 pontos).
• Latência: O tempo de processamento correlacionou-se com o tamanho da nuvem de pontos, mas permaneceu dentro de limites toleráveis para execução em tempo real. Por exemplo, o processamento de 750.000 pontos levou 0,98 segundos em uma CPU e 0,75 segundos em uma NVIDIA GeForce RTX 3060 GPU.
• Taxa de Quadros (Frame Rate): O sistema manteve uma fluidez de 30 FPS para nuvens de pontos de até 50.000 pontos. À medida que o tamanho da nuvem de pontos aumentou para 331.000 pontos, a taxa de quadros caiu para 15 FPS, o que os autores observam ainda ser suficiente para um desempenho razoável em tempo real.
• Precisão: O classificador MLP treinado categorizou com sucesso novos dados de streaming em rótulos ergonômicos e não ergonômicos, validando a capacidade do pipeline de detectar fatores de risco ergonômico em ambientes dinâmicos.

Significância
O artigo afirma que esta pesquisa oferece uma abordagem escalável e pragmática para a avaliação ergonômica em tempo real. Ao combinar tecnologias de dados 3D com algoritmos 2D tradicionais, o sistema aborda a crescente necessidade de monitoramento de segurança e saúde em ambientes de trabalho. Ele fornece uma ferramenta para a identificação precoce e mitigação de riscos ergonômicos, potencialmente reduzendo lesões no trabalho e melhorando o bem-estar do trabalhador. Os autores posicionam este trabalho como uma contribuição relevante para o domínio da ergonomia auxiliada por IA, particularmente ao superar as limitações de câmeras de ponto de vista fixo e as ineficiências computacionais da inferência direta de pose 3D.