A Machine Learning Framework for Real-Time Personalized Ergonomic Pose Analysis

기술 요약: 실시간 개인 맞춤형 인체공학적 자세 분석을 위한 머신러인닝 프레임워크

문제 정의
산업 및 작업 환경에서의 현재 인체공학적 평가 기술은 수동 관찰 점수 산정 방식에 크게 의존하고 있습니다. 이러한 전통적인 방식은 시간이 많이 소요되는 과정, 평가자 간 신뢰도 문제, 그리고 대규모 인력에 대한 제한된 확장성이라는 특징을 가집니다. 인공지능(AI)과 컴퓨터 비전이 잠재적인 해결책을 제공할 수 있지만, 기존의 3D 포즈 검출 방식은 상당한 과제에 직면해 있습니다. 3D 포인트 클라우드로부터 직접 포즈를 추론하는 것은 명확하고 방해받지 않는 데이터가 필요하기 때문에 최첨단 2D 검출 방식보다 견고성이 떨어지는 경우가 많습니다. 반대로, 표준 2D 카메라 시스템은 고정된 시점에 의해 제약을 받으며, 이는 데이터 가용성을 제한하고 철저한 자세 평가를 방해하는 폐쇄(occlusion) 현상을 초래합니다. 따라서 3D 데이터의 공간적 풍부함을 활용하면서도, 확립된 2D 포즈 추정 알고리즘의 정확성과 효율성을 활용할 수 있는 시스템이 필요합니다.

방법론
본 논문은 실시간 인체공학적 분석을 가능하게 하기 위해 볼륨메트릭 비디오 데이터와 전통적인 2D 포즈 검출을 통합하는 2단계 머신러닝 프레임워크를 제안합니다. 시스템 아키텍처는 학습 단계와 추론 단계로 구성됩니다:

1. 데이터 획득 및 처리: 시스템은 RGB-D 카메라(사례 연구의 경우 Azure Kinect DK) 어레이를 사용하여 3D 포인트 클라우드를 캡처합니다. 이 포인트 클라우드는 웹소켓(WebSockets)을 통해 마이크로서비스 기반 아키텍처로 스트리밍됩니다.
2. 대화형 3D 인터페이스: 사용자는 3D 환경에서 포인트 클라우드 데이터와 상호작용하며 회전, 확대/축소, 시점 변경을 수행할 수 있습니다. 이러한 기능은 고정된 카메라의 한계를 극복하여 폐쇄 현상을 피할 수 있는 최적의 관점을 선택할 수 있게 합니다.
3. 2D 투영 및 포즈 검출: 강력한 2D 알고리즘을 활용하기 위해, GPU에서 획득한 깊이 버퍼(depth buffer)를 사용하여 3D 포인트 클라우드를 2D 공간으로 투영합니다. 그 후 2D 포즈 검출기(오픈 소스인 MMPose 프레임워크 기반)가 이 투영된 데이터를 분석하여 골격 키포인트를 검출합니다.
4. 개인 맞춤형 학습: 완전 자동화된 시스템과 달리, 본 프레임워크는 준지도 학습(semi-supervised approach) 방식을 채택합니다. 골격 검출은 지속적으로 실행되지만, 사용자가 수동으로 선택하고 라벨을 지정한 포즈(예: "인체공학적" 또는 "비인체공학적")만을 유지하여 라벨링된 데이터셋을 생성합니다.
5. 분류: 라벨링된 희소 골격 정보(키포인트의 x 및 y 좌표)는 다층 퍼셉트론(MLP) 분류기를 학습시키는 데 사용됩니다. 사용자는 은닉층 크기, 반복 횟수, 활성화 함수(예: ReLU)를 포함한 MLP 파라미터를 정의합니다.
6. 실시간 추론: 학습이 완료되면 모델은 새로운 스트리밍 데이터를 실시간으로 처리합니다. 시스템은 골격을 검출하고, 이를 2D로 투영하며, 인체공학적 위험 라벨을 예측하고, 그 결과를 대화형 3D 시각화와 함께 표시하며 최소한의 지연 시간으로 수행됩니다.

주요 기여

• 하이브리드 3D-2D 접근 방식: 본 방법론은 3D 공간 분석과 2D 알고리즘 효율성 사이의 간극을 메웁니다. 폐쇄 관리를 위해 무한한 가상 관점을 제공하는 3D 포인트 클라우드를 활용하는 동시에, 데이터를 2D로 투영하여 고도로 최적화된 최첨단 포즈 추정 모델을 적용합니다.
• 개인 맞춤형 및 대화형 학습: 본 시스템은 사용자 라벨링된 데이터를 기반으로 개인화된 분류기를 생성할 수 있게 합니다. 대화형 인터페이스를 통해 사용자는 특정 시점과 포즈를 선택하여 학습 데이터셋을 큐레이션할 수 있으며, 이를 통해 모델이 특정 인체공학적 요구 사항에 맞게 조정되도록 보장합니다.
• 실시간 확장성: 본 프레임워크는 스트리밍 데이터에 대해 지속적인 포즈 추론을 수행할 수 있음을 입증하여, 작업장 안전 모니터링을 위한 즉각적인 피드백의 필요성을 해결합니다.

결과
두 대의 Azure Kinect DK 카메라를 사용하여 작업자가 인체공학적 및 비인체공학적 상자 들기 동작을 수행하는 과정을 캡처하는 부하 들기(load-lifting) 과업 사례 연구를 실시했습니다.

• 성능: 시스템은 포인트 클라우드의 실시간 처리를 성공적으로 달성했습니다. 실행 시간은 다양한 포인트 클라우드 크기(1,000개에서 750,000개 사이)에 따라 측정되었습니다.
• 지연 시간: 처리 시간은 포인트 클라우드 크기와 상관관계가 있었으나 실시간 실행을 위한 허용 범위 내에 있었습니다. 예를 들어, 750,000개의 포인트를 처리하는 데 CPU에서는 0.98초, NVIDIA GeForce RTX 3060 GPU에서는 0.75초가 소요되었습니다.
• 프레임 레이트: 시스템은 50,000개까지의 포인트 클라우드에 대해 매끄러운 30 FPS를 유지했습니다. 포인트 클라우드 크기가 331,000개로 증가함에 따라 프레임 레이트는 15 FPS로 떨어졌으나, 저자들은 이것이 여전히 합리적인 실시간 성능을 위한 충분한 수준이라고 언급했습니다.
• 정확도: 학습된 MLP 분류기는 새로운 스트리밍 데이터를 인체공학적 및 비인체공학적 라벨로 성공적으로 분류하여, 동적인 환경에서 인체공학적 위험 요인을 탐지하는 파이프라인의 능력을 검증했습니다.

의의
본 논문은 이 연구가 실시간 인체공학적 평가를 위한 확장 가능하고 실용적인 접근 방식을 제공한다고 주장합니다. 3D 데이터 기술과 전통적인 2D 알고리즘을 결합함으로써, 본 시스템은 작업 환경에서 안전 및 건강 모니터링에 대한 증가하는 수요를 해결합니다. 이는 인체공학적 위험을 조기에 식별하고 완화할 수 있는 도구를 제공하여, 잠재적으로 작업장 부상을 줄이고 근로자의 웰빙을 향상시킬 수 있습니다. 저자들은 본 연구가 고정된 시점 카메라의 한계를 극복하는 데 있어 AI 기반 인체공학 분야에 주목할 만한 기여를 했다고 평가합니다.