A Machine Learning Framework for Real-Time Personalized Ergonomic Pose Analysis

Resumen Técnico: Un Marco de Aprendizaje Automático para el Análisis Ergonómico de la Postura en Tiempo Real Personalizado

Planteamiento del Problema
Las técnicas actuales de evaluación ergonómica en entornos industriales y laborales dependen en gran medida de sistemas de puntuación observacionales manuales. Estos métodos tradicionales se caracterizan por procesos que consumen mucho tiempo, problemas de fiabilidad inter-evaluador y una escalabilidad limitada para grandes fuerzas de trabajo. Si bien la Inteligencia Artificial (IA) y la visión computarizada ofrecen soluciones potenciales, los métodos actuales de detección de pose 3D enfrentan desafíos significativos. La inferencia directa de poses a partir de nubes de puntos 3D suele ser menos robusta que la detección 2D de vanguardia debido a la necesidad de datos claros y sin obstrucciones. Por el contrario, los sistemas de cámara 2D estándar sufren de puntos de vista fijos, lo que restringe la disponibilidad de datos y provoca oclusiones que dificultan una evaluación postural exhaustiva. Existe la necesidad de un sistema que aproveche la riqueza espacial de los datos 3D mientras utiliza la precisión y eficiencia de los algoritmos de estimación de pose 2D establecidos.

Metodología
El artículo propone un marco de aprendizaje automático de dos partes que integra datos de video volumétrico con la detección de pose 2D tradicional para permitir el análisis ergonómico en tiempo real. La arquitectura del sistema consta de una etapa de entrenamiento y una fase de inferencia:

1. Adquisición y Procesamiento de Datos: El sistema utiliza un conjunto de cámaras RGB-D (específicamente Azure Kinect DK en el caso de estudio) para capturar nubes de puntos 3D. Estas nubes de puntos se transmiten vía WebSockets a una arquitectura basada en microservicios.
2. Interfaz 3D Interactiva: Los usuarios interactúan con los datos de la nube de puntos en un entorno 3D, lo que permite la rotación, el zoom y el cambio de perspectiva. Esta capacidad supera las limitaciones de las cámaras fijas al permitir la selección de perspectivas óptimas para evitar oclusiones.
3. Proyección 2D y Detección de Pose: Para aprovechar los algoritmos 2D robustos, la nube de puntos 3D se proyecta sobre un espacio 2D utilizando un búfer de profundidad adquirido por la GPU. Un detector de pose 2D (basado en el marco de código abierto MMPose) analiza esta proyección para detectar puntos clave esqueléticos.
4. Entrenamiento Personalizado: A diferencia de los sistemas totalmente automatizados, este marco emplea un enfoque semisupervisado. Mientras que la detección de esqueletos se ejecuta continuamente, solo las poses seleccionadas y etiquetadas manualmente por el usuario (por ejemplo, "ergonómica" o "no ergonómica") se conservan para crear un conjunto de datos etiquetado.
5. Clasificación: La información esquelética dispersa etiquetada (coordenadas x e y de los puntos clave) se utiliza para entrenar un clasificador de Perceptrón Multicapa (MLP). El usuario define los parámetros del MLP, incluyendo los tamaños de las capas ocultas, los conteos de iteración y las funciones de activación (por ejemplo, ReLU).
6. Inferencia en Tiempo Real: Una vez entrenado, el modelo procesa nuevos datos en streaming en tiempo real. El sistema detecta esqueletos, los proyecta a 2D y predice etiquetas de riesgo ergonómico con una latencia mínima, mostrando los resultados junto con la visualización 3D interactiva.

Contribuciones Clave

• Enfoque Híbrido 3D-2D: La metodología cierra la brecha entre el análisis espacial 3D y la eficiencia algorítmica 2D. Utiliza nubes de puntos 3D para proporcionar infinitas perspectivas virtuales para la gestión de oclusiones, mientras proyecta los datos a 2D para aplicar modelos de estimación de pose altamente optimizados y de vanguardia.
• Aprendizaje Personalizado e Interactivo: El sistema permite la creación de clasificadores personalizados basados en datos etiquetados por el usuario. La interfaz interactiva permite a los usuarios curar el conjunto de datos de entrenamiento mediante la selección de puntos de vista y poses específicas, asegurando que el modelo esté adaptado a requisitos ergonómicos particulares.
• Escalabilidad en Tiempo Real: El marco demuestra la capacidad de realizar la inferencia de pose continua en datos en streaming, abordando la necesidad de retroalimentación inmediata en el monitoreo de la seguridad en el lugar de trabajo.

Resultos
Se llevó a cabo un caso de uso que involucró tareas de levantamiento de carga utilizando dos cámaras Azure Kinect DK para capturar a trabajadores realizando ejercicios de levantamiento de cajas tanto ergonómicos como no ergonómicos.

• Desempeño: El sistema logró con éxito el procesamiento en tiempo real de las nubes de puntos. Los tiempos de ejecución se midieron a través de diversas de tamaños de nube de puntos (desde 1,000 hasta 750,000 puntos).
• Latencia: El tiempo de procesamiento se correlacionó con el tamaño de la nube de puntos, pero se mantuvo dentro de los límites tolerables para la ejecución en tiempo real. Por ejemplo, el procesamiento de 750,000 puntos tomó 0.98 segundos en una CPU y 0.75 segundos en una GPU NVIDIA GeForce RTX 3060.
• Tasa de Fotogramas (Frame Rate): El sistema mantuvo unos 30 FPS fluidos para nubes de puntos de hasta 50,000 puntos. A medida que el tamaño de la nube de puntos aumentó a 331,000 puntos, la tasa de fotogramas cayó a 15 FPS, lo que los autores señalan como suficiente para un rendimiento razonable en tiempo real.
• Precisión: El clasificador MLP entrenado categorizó con éxito los nuevos datos en streaming en etiquetas ergonómicas y no ergonómicas, validando la capacidad del flujo de trabajo para detectar factores de riesgo ergonómico en entornos dinámicos.

Significancia
El artículo afirma que esta investigación ofrece un enfoque escalable y pragmático para la evaluación ergonómica en tiempo real. Al combinar tecnologías de datos 3D con algoritmos 2D tradicionales, el sistema aborda la creciente necesidad de monitoreo de seguridad y salud en los entornos laborales. Proporciona una herramienta para la identificación temprana y mitigación de riesgos ergonómicos, con el potencial de reducir las lesiones laborales y mejorar el bienestar de los trabajadores. Los autores posicionan este trabajo como una contribución notable al dominio de la ergonomía asistida por IA, particularmente para superar las limitaciones de las cámaras de punto de vista fijo y las ineficiencias computacionales de la inferencia de pose 3D directa.