Vision-Language Models for Ergonomic Assessment of Manual Lifting Tasks: Estimating Horizontal and Vertical Hand Distances from RGB Video

이 논문은 RGB 비디오 스트림을 기반으로 텍스트 가이드 탐지 및 분할을 활용한 비전 - 언어 모델 (VLM) 파이프라인을 개발하여 수동 리프팅 작업의 인간공학적 위험 평가에 필수적인 수평 및 수직 손 거리 (H 및 V) 를 비침습적으로 추정할 수 있음을 입증했습니다.

핵심

📦 1. 문제: "물건 들기"는 왜 위험할까?

직장에서 무거운 상자를 들거나 내리는 작업은 허리와 어깨에 큰 부담을 줍니다. 이를 '근골격계 질환'이라고 하는데, 한국말로 하면 **"무거운 것 들다가 허리가 삐끗하는 일"**이죠.

안전 관리자들은 "이 작업이 위험한가?"를 판단하기 위해 RNLE라는 공식 (일종의 안전 계산기) 을 사용합니다. 이 공식은 물건을 들 때 **손이 몸에서 얼마나 멀리 떨어져 있는지 (가로 거리)**와 **손이 바닥에서 얼마나 높은지 (세로 거리)**를 정확히 알아야만 작동합니다.

하지만 현실은?

• 수동 측정: 사람이 자를 들고 재면 시간이 너무 걸리고, 눈으로 재다 보면 오차가 생깁니다.
• 센서 부착: 몸에 센서를 붙이면 불편하고 비쌉니다.
• 기존 카메라 기술: 기존 컴퓨터 비전 기술은 사람의 뼈만 쫓다가, 물건이나 옷에 가려지면 (가려진 상태) 위치를 헷갈려서 엉뚱한 숫자를 내뱉기도 합니다.

🤖 2. 해결책: "AI 언어학자"를 고용하자!

연구진은 최신 AI 기술인 **시각 - 언어 모델 (VLM)**을 도입했습니다. 이걸 쉽게 비유하자면 **"영어를 잘하는 AI 감시카메라"**입니다.

• 기존 AI: "저기 사람 뼈가 보인다!" (뼈만 보고 추측)
• 새로운 AI (VLM): "저기 '상자를 들고 있는 사람'이 있고, 그 사람의 '손'과 '신발'이 보인다!" (영어로 명령을 내리면, AI 가 그 의미를 이해하고 정확한 사물을 찾아냅니다.)

이 연구는 이 AI 가 **CCTV 영상 (RGB)**만 보고도 사람의 손과 발의 거리를 얼마나 정확히 재는지 테스트했습니다.

🛠️ 3. 두 가지 방법: "박스" vs "정밀 컷"

연구진은 두 가지 다른 방식으로 AI 를 훈련시켰습니다.

1. 방법 A (검출만 하기): AI 가 "사람이 있네!"라고 하면, 사람 주변에 네모 박스를 그립니다. (예: "이 박스 안에 사람이 있어.")
   • 단점: 박스 안에는 사람뿐만 아니라 배경이나 다른 물건도 섞여 있을 수 있어 정확도가 떨어질 수 있습니다.
2. 방법 B (검출 + 분할): AI 가 사람을 찾은 후, 사람의 윤곽선을 따라 정교하게 잘라냅니다. (예: "이 사람만 딱 잘라내서 배경은 다 버려.")
   • 장점: 배경 잡음 없이 사람과 물건만 정확히 분석할 수 있습니다.

📸 4. 카메라 위치의 중요성: "한 눈" vs "세 눈"

카메라가 몇 개나 있고, 어디에 있느냐에 따라 결과가 달랐습니다.

• 한 대만 있을 때 (단일 뷰): 카메라가 한쪽에서만 보면, 사람이 물건을 들 때 몸이 가려져서 (예: 상자가 손에 가림) 거리를 재기 어렵습니다. 특히 **세로 높이 (V)**를 재는 데 큰 오차가 났습니다.
• 세 대가 있을 때 (다중 뷰): 앞쪽, 왼쪽, 오른쪽에서 동시에 찍으면 어떨까요? 한쪽에서 가려져도 다른 각도에서 보입니다. 마치 3D 입체 안경을 쓴 것처럼 거리를 훨씬 정확히 재었습니다.

📊 5. 연구 결과: "정밀 컷"이 승리했다!

• 정확도: 세 대의 카메라를 쓰고, **정교하게 잘라내는 방법 (방법 B)**을 썼을 때 가장 정확했습니다.
  • 가로 거리 (H): 약 6~8cm 오차 (약 3~4cm 정도만 틀림)
  • 세로 거리 (V): 약 5~8cm 오차
• 비교: 단순히 박스만 그리는 방법보다 오차가 20~40% 줄어든 것입니다.
  • 비유: "대충 박스 치면 10cm 정도 틀리는데, 정밀하게 자르면 3cm 만 틀린다"는 뜻입니다.

💡 6. 결론: 앞으로 어떻게 될까?

이 연구는 **"복잡한 센서 없이, 그냥 CCTV 영상만으로도 작업장의 안전을 정밀하게 분석할 수 있다"**는 것을 증명했습니다.

• 미래의 모습: 공장에 센서를 붙일 필요 없이, 이미 설치된 CCTV 가 AI 를 통해 "지금 그 작업자는 허리가 위험할 정도로 물건을 멀리 들고 있네!"라고 자동으로 경고해 줄 수 있습니다.
• 주의점: 아직은 실험실처럼 깨끗한 환경에서 테스트했고, 실제 복잡한 공장 (빛이 어둡거나, 물건이 많이 쌓인 곳) 에서는 더 연구가 필요합니다.

한 줄 요약:

"AI 가 CCTV 영상을 보고, **'상자를 들고 있는 사람'**을 정확히 찾아내어, 여러 각도에서 찍은 영상을 합치면 허리 위험 정도를 센서 없이도 아주 정확하게 계산할 수 있다!"

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 근골격계 질환 (WMSDs) 의 심각성: 수동 물품 취급 (MMH) 작업, 특히 들기 (lifting) 작업은 작업 관련 근골격계 질환의 주요 원인으로, RNLE(Revised NIOSH Lifting Equation) 와 같은 도구로 위험을 평가해야 합니다.
• 기존 방법의 한계:
  • RNLE 를 적용하기 위해서는 손의 수평 거리 (H) 와 수직 거리 (V) 를 정확히 측정해야 합니다.
  • 기존에는 수동 측정 (시간 소모, 관찰자 편향), 웨어러블 센서, 마커 기반 모션 캡처 시스템 등을 사용했으나, 비용, 번거로움, 비실용성 등으로 실제 작업장 적용에 제약이 있었습니다.
  • 기존 컴퓨터 비전 기반 방법 (OpenPose 등) 은 주로 골격 (skeletal) 에 기반하여 객체와 환경 간의 공간적 관계를 명시적으로 모델링하지 못하며, 가림 (occlusion) 과 카메라 시점에 민감하여 거리 추정 오차가 발생할 수 있습니다.
• 연구 목표: RGB 비디오 스트림으로부터 비침습적으로 RNLE 의 핵심 파라미터인 수평 (H) 및 수직 (V) 거리를 추정할 수 있는 비전 - 언어 모델 (Vision-Language Models, VLMs) 기반 파이프라인의 타당성을 검증하는 것.

2. 방법론 (Methodology)

2.1 데이터셋

• 참여자: 32 명의 건강한 젊은 성인 (남성 19 명, 여성 13 명).
• 작업 조건: 바닥과 무릎 높이에서 시작하여 엉덩이 높이까지 들어 올리는 대칭적 들기 작업. 박스 무게 (6, 9, 12 kg) 와 손 잡이 간격 (넓음, 좁음) 을 변수로 설정.
• 측정 장비: 3 개의 동기화된 Azure Kinect 카메라 (V1, V2, V3: 각각 다른 각도) 와 IMU(관성 측정 장치) 기반 모션 캡처 시스템.
• Ground Truth: IMU 데이터로 계산된 정밀한 H 및 V 값을 기준 (Ground Truth) 으로 사용.

2.2 제안된 VLM 기반 파이프라인

RGB 비디오에서 H 와 V 를 추정하기 위해 두 가지 다단계 파이프라인을 개발 및 비교했습니다.

1. GD–Dv2 (검출 전용):
   • 검출: 텍스트 프롬프트 ("person lifting", "hand", "shoe" 등) 를 사용하여 Grounding DINO로 작업 관련 영역 (ROI) 을 검출.
   • 특징 추출: 검출된 바운딩 박스 영역을 DINOv2(Vision Transformer) 로 특징 추출.
   • 회귀: Transformer 기반 시계열 회귀 모델로 H, V 추정.
2. GD–SAM–Dv2 (검출 + 분할):
   • 검출: Grounding DINO 로 초기 ROI 검출.
   • 분할: 검출된 바운딩 박스를 프롬프트로 사용하여 SAM(Segment Anything Model) 을 통해 픽셀 단위 분할 마스크 생성 (배경 제거 및 정밀한 객체 경계 추출).
   • 특징 추출: 분할된 영역을 DINOv2 로 특징 추출.
   • 회귀: GD–Dv2 와 동일한 Transformer 회귀 모델 사용.

2.3 추가 기하학적 특징

• DINOv2 의 시각적 특징 (768 차원) 에 객체 (박스) 의 이미지 평면 상 크기 (정규화) 와 실제 물리적 치수 (너비, 깊이, 높이) 를 결합하여 총 773 차원의 특징 벡터를 구성. 이는 단안 (monocular) 카메라의 절대적 스케일 부족 문제를 해결하기 위함.

2.4 평가 전략

• 교차 검증: Leave-One-Subject-Out (LOSO) 방식 (32 명 중 31 명으로 학습, 1 명으로 검증).
• 카메라 조건: 단일 뷰 (V1, V2, V3) 와 다중 뷰 (V1+V2, V1+V3, V2+V3, V1+V2+V3) 총 7 가지 조건.
• 평가 지표: 평균 절대 오차 (MAE), 제곱근 평균 제곱 오차 (RMSE), 최대 절대 오차 (MaxAE).

3. 주요 결과 (Key Results)

3.1 파이프라인 성능 비교 (분할 vs 검출)

• 분할 기반 (GD–SAM–Dv2) 이 검출 전용 (GD–Dv2) 보다 일관되게 우수함.
• 오차 감소율:
  • 수평 거리 (H): 약 20~30% 오차 감소.
  • 수직 거리 (V): 약 35~40% 오차 감소.
• 이유: 픽셀 단위 분할은 배경 노이즈를 제거하고 불규칙한 객체 형태를 더 정밀하게 포착하여 특징 추출의 정확도를 높임. 특히 단일 뷰 조건에서 분할의 이점이 더 큼.

3.2 카메라 뷰 조건의 영향

• 다중 뷰 (Multi-view) 가 단일 뷰 (Single-view) 보다 성능이 우수함.
• 최고 성능 조건: 3 카메라 뷰 (V1+V2+V3) 조합이 가장 낮은 오차를 보임.
  • H 추정 (들기 시작 시): MAE 약 6.2 cm.
  • V 추정 (들기 시작 시): MAE 약 7.8 cm.
• 단일 뷰의 한계: 특정 각도 (예: V1, V2) 에서 가림 현상이나 원근법 왜곡으로 인해 오차가 크게 증가 (V 추정 시 MAE 27 cm 이상 발생).

3.3 들기 단계별 성능 차이 (시작 vs 종료)

• 수직 거리 (V): 들기 시작 시 (바닥) 에 오차가 크고 (MAE ~14.5 cm), 끝날 때 (엉덩이 높이) 에 오차가 감소 (MAE ~7.5 cm).
  • 이유: 시작 시에는 몸통과 하체가 가려져 손과 발의 위치 파악이 어려움.
• 수평 거리 (H): 들기 시작 시 오차가 작고 (MAE ~7.2 cm), 끝날 때 오차가 증가 (MAE ~9.3 cm).
  • 이유: 들기 종료 시 하체 (발목) 가 하중이나 자세에 의해 가려져 발목 위치 파악이 어려워짐.

4. 주요 기여 및 의의 (Contributions & Significance)

1. VLM 기반 ergonomic assessment 의 타당성 입증: 기존에 시도되지 않았던 VLM(텍스트 기반 객체 인식 + 분할) 을 사용하여 RNLE 파라미터를 비디오만으로 비침습적으로 추정할 수 있음을 증명.
2. 분할 (Segmentation) 의 중요성 강조: 단순 검출 (Bounding Box) 보다 픽셀 단위 분할 (SAM) 을 결합할 때 거리 추정 정확도가 획기적으로 향상됨을 확인. 이는 배경 노이즈 제거와 객체 경계 정밀화에 기인.
3. 다중 뷰의 필요성 제시: 단일 카메라의 한계를 보완하기 위해 여러 각도의 카메라 동기화가 필수적이며, 특히 수직 거리 추정에 있어 가림 현상을 줄이는 데 결정적 역할을 함.
4. 실용적 적용 가능성: 웨어러블 센서나 마커 없이도 RGB 카메라만으로 작업장에서의 ergonomic 위험을 실시간 또는 사후 분석할 수 있는 잠재력을 보여줌. 이는 대규모 작업장 모니터링에 비용 효율적인 솔루션이 될 수 있음.

5. 결론 및 한계

• 결론: 분할 기반의 다중 뷰 VLM 파이프라인은 H 와 V 거리를 각각 약 68 cm 와 58 cm 의 평균 절대 오차 (MAE) 로 추정할 수 있어, 실제 작업장 적용에 유망한 기술임.
• 한계: 실험 환경이 통제된 실험실 (균일한 조명, 배경, 젊은 건강한 참여자) 에 국한됨. 실제 작업장의 복잡한 환경 (다양한 조명, 가림, 다양한 체형) 에서의 성능 검증 필요.
• 향후 연구: RNLE 의 다른 파라미터 (비대칭 각도, 커플링 등) 로의 확장, 실제 작업장 환경에서의 검증, 들기 단계별 (시작/종료) 모델 최적화 연구가 필요함.

이 연구는 컴퓨터 비전과 대규모 언어 모델의 융합을 통해 전통적인 인간 공학 평가 방법의 한계를 극복하고, 보다 자동화되고 정밀한 작업장 안전 관리 시스템 구축의 새로운 방향을 제시합니다.