Multimodal Fusion of Skeleton Dynamics and Clinical Gait Features for Video-Based Cerebral Palsy Severity Assessment

이 논문은 사전 훈련된 ST-GCN 을 기반으로 한 Grad-CAM 분석을 통해 식별된 핵심 관절점을 활용하여 스키레톤 동역학과 임상적 보행 특징을 융합하는 멀티모달 프레임워크를 제안함으로써, 뇌성마비 환자의 운동 장애 심각도 분류 정확도를 기존 대비 5.6% 향상시킨 70.86% 로 달성했다고 요약할 수 있습니다.

핵심

🎬 제목: "아이의 걸음걸이 영상을 보고 뇌성마비 정도를 정확히 진단하는 새로운 방법"

1. 왜 이 연구가 필요할까요? (기존의 문제점)

지금까지 뇌성마비 환자의 걸음걸이를 분석할 때 두 가지 방식이 주로 쓰였는데, 둘 다 아쉬운 점이 있었습니다.

• **방식 A **(컴퓨터가 보는 눈) 카메라로 아이의 뼈대 (스켈레톤) 움직임을 쫓아갑니다. 마치 무용수의 춤 동작을 분석하는 것처럼 빠르고 정확하지만, "왜 이렇게 움직이는지"에 대한 의학적 이유는 모릅니다. (예: "팔이 흔들린다"는 건 알지만, "어깨 힘이 약해서다"는 건 모름)
• **방식 B **(의사의 눈) 의사가 직접 관절 각도나 보폭 같은 임상 데이터를 측정합니다. 이는 의학적으로 매우 의미 있지만, 사람이 일일이 측정해야 하거나 특수 장비가 필요해 비싸고 번거롭습니다.

핵심 문제: 컴퓨터는 '움직임'만 보고, 의사는 '데이터'만 봅니다. 이 두 가지를 함께 쓰면 더 똑똑해질 텐데, 기존에는 따로따로만 썼습니다.

2. 이 연구가 제안한 해결책: "두 명의 전문가가 팀을 이루다"

저자들은 **두 가지 정보를 하나로 합치는 **(멀티모달 퓨전)을 만들었습니다. 이를 두 단계로 나누어 설명해 드릴게요.

**🔍 1 단계: "어디를 봐야 할지 알려주는 나침반 **(Grad-CAM)

• 먼저, 컴퓨터가 뇌성마비 정도를 판단할 때 어디를 가장 집중해서 보는지 분석했습니다.
• 결과는 놀라웠습니다. 컴퓨터는 **머리 **(눈, 코)와 어깨, 팔의 움직임을 가장 중요하게 여겼습니다. 반면, 발목은 별로 중요하지 않았습니다. (발목 위치만으로는 정보가 부족해서죠.)
• 비유: 마치 수사관이 사건 현장의 '가장 중요한 단서'만 골라내는 것과 같습니다. "발목보다는 어깨와 고관절의 움직임이 핵심이야!"라고 알려주는 거죠.

**🤝 2 단계: "두 전문가의 협업 **(듀얼 스트림)
이제 이 정보를 바탕으로 두 개의 전문가 팀을 꾸렸습니다.

1. **동작 분석 팀 **(스켈레톤 스트림) 아이의 전체적인 춤추듯 움직임을 분석합니다. (전체적인 흐름 파악)
2. **임상 데이터 팀 **(클리니컬 스트림) 1 단계에서 '중요하다'고 판단된 부위 (머리, 어깨, 고관절 등) 에서 의사들이 실제로 쓰는 지표 (관절 각도, 보폭, 대칭성 등) 를 추출합니다. (구체적인 의학적 근거)

이 두 팀이 **서로의 의견을 주고받으며 **(크로스 어텐션) 최종 판단을 내립니다.

3. 결과는 어땠나요? (성공적인 협업)

이 새로운 방법을 테스트한 결과, 기존 방식보다 정확도가 5.6% 포인트나 향상되었습니다. (기존 65% → 새로운 방법 70.86%)

• 가장 큰 성과: 중증도 Level 3(보행에 상당한 어려움이 있는 단계) 에서 정확도가 11.9%나 급격히 올랐습니다.
• 이유: 이 단계의 아이들은 걷는 방식이 매우 독특하고 대칭성이 깨지는데, '의학적 데이터'를 함께 분석했기 때문에 이런 미세한 차이를 놓치지 않고 잡아낸 것입니다.

4. 왜 이 연구가 중요한가요? (해석 가능성)

기존의 AI 는 "정답은 A 입니다"라고만 말했지만, 이 연구는 **"A 라고 판단한 이유는 어깨가 너무 많이 흔들리고, 보폭이 한쪽이 짧기 때문입니다"**라고 설명할 수 있습니다.

• 비유: 단순히 "이 사람은 병이 심해요"라고 말하는 대신, "어깨가 30 도 더 흔들리고, 보폭이 10cm 짧아서 심합니다"라고 구체적인 근거를 제시하는 것입니다.
• 이는 의사들이 AI 의 판단을 신뢰하고, 실제 치료 계획에 활용할 수 있게 해줍니다.

📝 한 줄 요약

"컴퓨터가 아이의 걸음걸이 영상을 볼 때, '어디를 봐야 할지' 알려주고, 그 부분의 '의학적 의미'까지 함께 분석하게 하여 뇌성마비 진단의 정확도와 신뢰도를 높인 연구입니다.

이처럼 **기술 **(컴퓨터 비전)을 결합함으로써, 더 정확하고 설명 가능한 의료 AI 를 만들 수 있다는 것을 보여준 멋진 연구입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 뇌성마비 (CP) 는 아동기 운동 장애의 주요 원인이며, 보행 기능 장애는 그 핵심 증상입니다. 기존 임상 평가는 주관적일 수 있고, 정밀한 보행 분석 (Instrumented Gait Analysis) 은 고가의 장비와 전문 공간이 필요하여 접근성이 낮습니다.
• 기존 방법의 한계:
  • 골격 기반 모델 (Pose Sequences): ST-GCN 등 시공간 그래프 합성곱 네트워크는 보행의 시공간적 패턴을 잘 포착하지만, 원시 좌표 (raw keypoint trajectories) 만을 사용하여 임상적 해석 가능성 (Interpretability) 이 부족합니다.
  • 임상 보행 특징 (Clinical Gait Features): 관절 각도, 보폭, 대칭성 지수 등은 임상적으로 의미 있지만, 저차원의 요약 정보로 인해 풍부한 시간적 (temporal) 정보를 놓칠 수 있습니다.
• 문제: 기존 연구들은 이 두 가지 정보원 (골격 역학 vs 임상 특징) 을 별도로 다루거나, 임상적으로 의미 있는 생체역학적 지표를 명시적으로 통합하지 못했습니다.

2. 제안된 방법론 (Methodology)

저자들은 Grad-CAM 기반의 특징 선택과 이중 스트림 (Dual-Stream) 융합 아키텍처를 포함하는 2 단계 프레임워크를 제안합니다.

1 단계: Grad-CAM 을 통한 핵심 관절점 (Keypoint) 식별 및 특징 추출 가이드

• ST-GCN 백본: 사전 학습된 ST-GCN 을 사용하여 GMFCS (Gross Motor Function Classification System) 등급을 분류합니다.
• Grad-CAM 분석: 분류 결정에 가장 크게 기여하는 신체 부위를 식별하기 위해 Grad-CAM 을 적용합니다.
  • 결과: 머리 (눈, 코) 와 상체 (어깨, 팔꿈치) 가 가장 높은 기여도를 보였으며, 발목은 기여도가 낮았습니다.
• 의미: 이 분석 결과를 바탕으로 임상적으로 의미 있는 보행 특징을 추출할 신체 영역 (머리, 팔, 몸통, 무릎, 엉덩이) 을 선정합니다.

2 단계: 이중 스트림 융합 아키텍처 (Dual-Stream Fusion)

입력된 2D 포즈 시퀀스를 두 개의 병렬 스트림으로 처리합니다.

1. 골격 스트림 (Skeleton Stream): ST-GCN 백본을 통해 시공간적 역학 (Spatiotemporal Dynamics) 을 모델링하여 임베딩 ($f_s$) 을 생성합니다.
2. 임상 보행 특징 스트림 (Clinical Gait Feature Stream): 1 단계에서 선정된 관절점을 기반으로 생체역학적 특징을 추출합니다.
   • 추출 특징: 관절 각도 (Law of Cosines), 관절 가동 범위 (ROM), 대칭성 지수 (Symmetry Indices), 시간적 특징 (보행 주기, 카덴스), 공간적 특징 (보폭, 보행 속도) 등 총 24 개 중 임상적으로 타당하고 Grad-CAM 지시에 따라 선별된 14 개의 특징을 사용합니다.
   • MLP 를 통해 특징을 임베딩 ($\hat{f}_c$) 합니다.
3. 융합 전략 (Feature Fusion):
   • Concatenation: 두 임베딩을 직접 연결.
   • Cross-Attention: 시그모이드 게이트 메커니즘을 통한 동적 가중치 부여.
   • 최종 융합된 특징은 분류 헤드를 통해 4 단계 GMFCS 등급으로 분류됩니다.

3. 주요 기여 (Key Contributions)

1. Grad-CAM 가이드 특징 선택: 신경망의 해석 가능성 (Interpretability) 과 임상적으로 정보 있는 보행 특징 공학을 연결하는 전략을 도입했습니다.
2. 다중 모드 융합 프레임워크: 골격 역학과 임상 보행 특징을 통합하는 이중 스트림 아키텍처를 제안하여, 기존 베이스라인 대비 5.6% 포인트의 정확도 향상을 달성했습니다.
3. 체계적 비교: 모든 특징을 사용하는 것보다 임상 전문가의 지식과 Grad-CAM 을 통해 선별된 특징 서브셋이 더 효과적임을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: Kidziński et al. 의 공개 CP 보행 데이터셋 (1,026 명, GMFCS I~IV 등급) 을 사용했습니다.
• 성능:
  • 최고 정확도: 선별된 특징 (Selected Features) 과 연결 (Concatenation) 융합을 사용한 모델이 **70.86%**의 정확도를 기록했습니다.
  • 비교: ST-GCN 단일 베이스라인 (65.29%) 보다 5.6% 포인트 향상.
  • 기타 지표: 가중 F1 점수 (0.706), 선형 가중 코헨의 카파 (0.665) 에서도 모두 개선되었습니다.
• 세부 분석:
  • GMFCS Level III: 임상 보행 특징 스트림이 보행 이상 (비대칭, 관절 각도 편차 등) 을 잘 포착하여 재현율 (Recall) 이 11.9% 크게 향상되었습니다.
  • 혼동 행렬 (Confusion Matrix): 인접 등급 (Level I 와 II) 간의 오분류가 감소했습니다.
  • 특징 선택의 효과: 24 개 전체 특징보다 14 개 선별 특징이 더 높은 성능을 보였으며, 이는 노이즈 감소와 과적합 방지에 기여했음을 시사합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 임상적 해석 가능성: 단순히 예측만 하는 것이 아니라, 모델이 어떤 임상적 지표 (관절 각도, 대칭성 등) 에 기반하여 판단했는지 설명할 수 있어 임상医生的 신뢰도를 높였습니다.
• 효율성: 복잡한 특징 추출 없이도, 데이터 기반 (Grad-CAM) 과 임상 지식을 결합한 특징 선택이 소규모 임상 데이터셋에서 더 효과적임을 보였습니다.
• 한계 및 향후 과제: GMFCS Level IV(심각한 장애) 데이터의 부족, 2D 포즈의 한계 (3D 리프팅 필요), 단일 백본 사용 등의 한계가 있으며, 향후 3D 보행 분석 및 다양한 아키텍처 확장 연구가 필요하다고 언급했습니다.

요약: 본 연구는 비디오 기반 뇌성마비 중증도 평가에서 골격의 시공간적 움직임과 임상적으로 검증된 보행 특징을 효과적으로 융합함으로써, 정확도와 해석 가능성을 동시에 개선한 새로운 패러다임을 제시했습니다.