Enhancing Box and Block Test with Computer Vision for Post-Stroke Upper Extremity Motor Evaluation
이 논문은 별도의 깊이 센서나 보정 물체 없이 스마트폰 카메라로 촬영된 단안 영상만으로도 뇌졸중 환자의 상지 운동 기능을 평가하는 기존 박스 앤 블록 테스트를 보완하여, 관절 각도 기반의 컴퓨터 비전 프레임워크가 운동의 질을 정량화하고 환자 간 세부적인 운동 패턴 차이를 식별할 수 있음을 입증했습니다.
원저자:David Robinson, Animesh Gupta, Elizabeth Clark, Olga Melnik, Qiushi Fu, Mubarak Shah
지금까지 뇌졸중 환자의 손 기능을 평가할 때, 치료사들은 주로 **'박스 앤 블록 테스트 (BBT)'**를 사용했습니다.
기존 방식: 1 분 동안 상자에 있는 나무 블록을 다른 상자로 옮기는 개수를 세는 것입니다.
한계: "1 분에 20 개를 옮겼다"라는 **숫자 (시간)**만 알 수 있을 뿐, 환자가 어떻게 옮겼는지는 모릅니다.
비유: 두 사람이 같은 거리를 10 분에 달렸다고 해서, 한 사람은 건강하게 달리고 다른 한 사람은 다리를 절뚝거리며 비틀거렸는지는 알 수 없는 것과 같습니다. 치료사는 환자가 몸의 다른 부위를 어떻게 비틀어 compensatory(보상) 운동을 하는지 눈으로 봐야 하지만, 이는 매우 주관적이고 피곤한 일입니다.
2. 해결책: "카메라가 보는 눈"
이 연구팀은 **컴퓨터 비전 (AI 가 영상을 보는 기술)**을 이용해, 단순히 블록 개수만 세는 게 아니라 환자의 손가락, 팔, 몸통의 각도까지 3 차원 (3D) 으로 분석했습니다.
핵심 아이디어: 깊이 측정 카메라 (Kinect 같은 비싼 장비) 나 특수한 표지판 없이, 일반 스마트폰으로 찍은 평면 영상만으로도 3D 움직임을 재구성합니다.
비유: 마치 마술사가 평면 그림을 보고 그 그림 속 사물이 얼마나 멀리 있고, 어떻게 기울어져 있는지 완벽하게 추측해 내는 것과 같습니다.
3. 기술의 마법: "중력을 기준으로 바로 세우기"
가장 중요한 기술은 **'중력 정렬 (World-aligned)'**입니다.
문제: 환자가 카메라를 향해 앉아 있거나, 카메라가 약간 기울어져 있으면, AI 가 환자의 팔 각도를 잘못 계산할 수 있습니다. (예: 카메라가 기울어져 있으면 환자가 똑바로 서 있어도 AI 는 기울었다고 착각함)
해결: 연구팀은 영상 속 '상자 (테스트 도구)'를 AI 가 찾아내고, 상자의 표면을 분석하여 카메라가 얼마나 기울어져 있는지를 계산해냅니다. 그 후, AI 는 마치 중력 방향을 기준으로 영상을 다시 세운 것처럼 손과 팔의 각도를 계산합니다.
비유: 비스듬하게 찍힌 사진을 보정해서, 마치 정면에서 똑바로 찍은 사진처럼 만들어주는 자동 보정 앱과 같습니다. 이렇게 하면 카메라 각도와 상관없이 환자의 실제 자세를 정확히 잴 수 있습니다.
4. 결과: "숫자는 같아도, 몸짓은 다르다"
이 기술로 48 명의 건강한 사람과 7 명의 뇌졸중 환자를 분석한 결과 놀라운 사실이 드러났습니다.
기존 점수로는 구별 못 했던 환자: 두 환자가 모두 "1 분에 15 개"라는 동일한 점수를 받았다고 가정해 봅시다.
환자 A: 팔을 자연스럽게 들어 블록을 옮김.
환자 B: 팔을 비틀고 어깨를 으쓱이며 블록을 옮김 (보상 운동).
새로운 분석: 기존 방식은 둘 다 '15 점'으로 처리하지만, 이 AI 는 환자 B 의 비틀어진 자세를 감지하여 "이 환자는 A 와 다른 운동 패턴을 보인다"라고 알려줍니다.
비유: 두 학생이 시험에서 같은 점수를 받았을 때, 한 학생은 정석적인 풀이로 풀었고 다른 학생은 어색한 방법으로 풀었다면, 이 기술은 그 **풀이 과정 (운동 패턴)**까지 분석해 내는 것입니다.
5. 왜 이것이 중요한가요?
치료사의 부담 감소: 치료사는 환자를 볼 때만으로도 (카메라로 찍기만 하면) AI 가 자세의 미세한 차이를 분석해 줍니다.
맞춤형 재활: 같은 점수를 받은 환자라도, 어떤 환자는 '어깨'를 많이 쓰고 어떤 환자는 '손목'을 많이 쓰는지 알 수 있어, 각 환자에게 딱 맞는 재활 훈련을 설계할 수 있습니다.
간편함: 비싼 장비가 필요 없고, 병원에서 흔히 쓰는 스마트폰 카메라만 있으면 됩니다.
요약
이 연구는 **"단순한 점수 (블록 개수)"**를 넘어, **"환자의 몸이 어떻게 움직이는지 (자세와 각도)"**를 스마트폰 카메라로 정밀하게 분석하는 기술을 개발했습니다. 마치 운동 선수의 동작을 분석하는 코치처럼, AI 가 환자의 미세한 움직임까지 잡아내어 더 나은 재활 치료를 돕는 것입니다.
1. 연구 배경 및 문제 정의 (Problem)
현황: 뇌졸중 후 상지 (Upper Extremity, UE) 기능 장애는 매우 흔하며, 임상 평가는 주로 서열 척도 (Ordinal scoring, 예: FMA-UE) 또는 시간 기반 작업 지표 (Time-based metrics, 예: BBT, NHPT) 에 의존합니다.
한계점:
서열 척도: 주관적이며 민감도가 낮아 미세한 운동 변화 포착이 어렵고, 평가에 시간이 많이 소요됩니다.
시간 기반 지표 (BBT 등): 작업 완료 시간만 기록할 뿐, 운동의 질 (Movement Quality) 이나 보상 동작 (Compensatory movements) 에 대한 정보는 제공하지 못합니다.
목표: 기존 임상 프로토콜을 변경하지 않으면서도, 표준 카메라 (단안 RGB) 만을 사용하여 운동의 질을 정량화하고, 뇌졸중 환자의 고유한 자세 패턴을 식별할 수 있는 객관적인 평가 프레임워크를 개발하는 것입니다.
2. 방법론 (Methodology)
연구진은 Box and Block Test (BBT) 비디오를 분석하여 세계 좌표계 정렬 (World-aligned) 된 3D 관절 각도를 추출하는 파이프라인을 구축했습니다.
A. 데이터 수집
대상: 건강한 성인 48 명 (총 136 회 기록) 과 뇌졸중 환자 7 명 (총 20 회 기록, 3 번 방문).
장비: 표준 1080p 단안 카메라 (Monocular RGB). 깊이 센서 (Depth sensor) 나 보정용 물체 사용 없음.
프로토콜: 1 분 동안 상자를 오가며 블록을 옮기는 BBT 수행.
B. 기술적 파이프라인
카메라 피치 (Pitch) 추정 및 보정:
세그멘테이션: 미세 조정된 SegMAN 모델을 사용하여 비디오 프레임에서 BBT 상자를 세그먼트하고, 시간적으로 안정화된 마스크를 생성합니다.
3D 재구성:SAM 3D Objects를 활용하여 상자 표면의 3D 포인트 클라우드를 생성하고, 표면 법선 벡터 (Surface Normals) 를 추정합니다.
중력 정렬: 추정된 표면 법선을 통해 카메라의 피치 각도를 계산하여, 카메라 기울기에 관계없이 중력 방향과 정렬된 (Gravity-aligned) 관절 각도를 측정할 수 있도록 합니다.
3D 포즈 추정 (Pose Estimation):
모델 선정: 여러 3D 포즈 추정 모델 (PromptHMR, SMPLer-X, SAM 3D Body 등) 을 비교 평가한 결과, SAM 3D Body가 가려짐 (Occlusion) 상황에서도 가장 일관된 신체 및 손 포즈를 제공하여 최종 선택되었습니다.
관절 각도 계산: 카메라 좌표계에서 추출된 3D 키포인트를 중력 정렬된 좌표계로 변환한 후, 손가락, 손목, 팔꿈치, 어깨, 몸통 (Trunk) 의 3D 각도를 계산합니다.
특징 추출 및 분석:
특징 벡터: 손가락 14 개 관절 각도, 어깨, 팔꿈치, 손목, 몸통 각도 등 총 18 개의 요소를 추출합니다.
차원 축소: 건강한 그룹의 데이터를 기반으로 PCA 를 수행하여 손가락 각도의 차원을 축소하고, 이를 UMAP 을 통해 2 차원 임베딩으로 시각화합니다.
비지도 학습 (Unsupervised): 임상 전문가의 라벨 없이 운동 패턴의 군집화를 수행합니다.
3. 주요 기여 (Key Contributions)
카메라 불변성 (Camera-invariant) 프레임워크: 깊이 센서나 보정 물체 없이 단안 RGB 비디오만으로, 카메라 각도와 무관하게 중력 정렬된 3D 관절 각도를 추정하는 방법을 제안했습니다.
최신 3D 포즈 추정 방법론의 검증: BBT 와 같은 복잡한 동작 (그립 및 운반) 에서 가려짐과 깊이 모호성을 처리할 수 있는 최적의 모노큘러 3D 포즈 추정 모델 (SAM 3D Body) 을 선정하고 검증했습니다.
임상적 통찰력 제공: 기존 BBT 점수만으로는 구별되지 않던 환자들을, 자세 패턴 (Postural Patterns) 을 기반으로 세분화할 수 있음을 증명했습니다.
4. 결과 (Results)
모델 성능: SAM 3D Body 는 다른 모델들 (PromptHMR, SMPLer-X) 에 비해 깊이 일관성 (Depth consistency) 과 관절 가동성 (Joint articulation) 측면에서 더 정확한 3D 포즈를 추정했습니다. 특히 손가락의 구부러짐과 같은 미세한 동작에서도 더 나은 성능을 보였습니다.
건강군 vs 뇌졸중군 분리: UMAP 임베딩 분석 결과, 건강한 사람의 운동 패턴과 뇌졸중 환자의 운동 편차는 명확하게 분리되었습니다.
동일 BBT 점수 내에서의 차이 발견:
동일한 BBT 점수 (예: 환자 2 번과 7 번, 혹은 1 번과 6 번) 를 가진 환자들조차 서로 다른 관절 각도 군집을 형성하여, 서로 다른 보상 전략을 사용하고 있음을 발견했습니다.
이는 기존 시간 기반 점수만으로는 놓칠 수 있는 운동의 질 (Quality of movement) 정보를 포착했음을 의미합니다.
편차 점수 (Deviation Score): 환자 데이터는 건강한 기준선 (Score > 1) 보다 높은 편차 점수를 보였으며, 더 심한 마비 측이 더 큰 편차를 나타냈습니다.
5. 의의 및 결론 (Significance & Conclusion)
임상적 가치: 물리치료사가 환자의 운동 품질을 객관적으로 평가하고, 동일한 점수를 가진 환자들 사이에서도 개인 맞춤형 재활 전략을 수립하는 데 도움을 줄 수 있습니다.
실용성: 별도의 장비나 복잡한 보정 없이 스마트폰이나 일반 카메라로만 데이터를 수집할 수 있어, 기존 임상 루틴을 방해하지 않고 쉽게 도입 가능합니다.
확장성: 이 프레임워크는 뇌졸중 환자뿐만 아니라 뇌성마비 (Cerebral Palsy) 등 다른 상지 장애 환자군이나, NHPT 와 같은 다른 시간 기반 평가 도구에도 적용 가능합니다.
요약하자면, 이 연구는 컴퓨터 비전 기술을 활용하여 BBT 테스트의 한계 (운동 질 정보 부재) 를 극복하고, 단순한 '시간' 측정을 넘어 환자의 '운동 패턴'과 '보상 행동'을 정량화할 수 있는 새로운 임상 평가 도구를 제시했습니다.