기술 요약: 보행 기반 척추측만증 선별을 위한 임상 우선순위 가이드형 멀티모달 학습

문제 정의

청소년기 특발성 척추측만증(AIS)은 진행을 완화하기 위해 조기 발견이 필수적인 흔한 척추 변형 질환입니다. 아담스 전굴 검사(Adam's Forward Bending Test)와 같은 현재의 선별 방법은 주관성, 일관성 부족, 전문적인 임상 지식에 대한 의존성이라는 문제를 안고 있어 확장이 어렵습니다. 컴퓨터 비전이 대안으로 제시되고 있으나, 기존의 비디오 기반 접근 방식은 세 가지 결정적인 한계에 직면해 있습니다:

1. 데이터 누수(Data Leakage): 많은 벤치마크 데이터셋이 훈련 및 테스트 세트 모두에 동일 인물의 반복된 클립을 포함하고 있어, 모델이 일반적인 병리적 패턴을 학습하는 대신 피험자 고유의 특성을 암기하게 함으로써 성능 지표를 부풀리는 결과를 초-과대하게 만듭니다.
2. 해석 가능성 결여(Lack of Interpretability): 보행 분석을 위한 딥러닝 모델은 대개 "블랙박스"로 작동하여, 의료진의 채택에 필요한 임상적 투명성을 제공하지 못합니다.
3. 단순화된 융합(Oversimplified Fusion): 현재의 멀티모달 방식은 운동학적 패턴과 임상적 사전 정보(clinical priors) 사이의 미묘한 관계를 포착하지 못하는 단순한 융합 메커니즘을 사용하는 경우가 많습니다.

또한, 기존 데이터셋은 오류가 발생하기 쉬운 물리적 선별 라벨에 의존하는 경우가 많으며, 방사선학적 골드 스탠다드인 코브 각도(Cobb Angle)를 활용하지 못합니다.

방법론

1. ScoliGait 데이터셋

데이터 품질 및 누수 문제를 해결하기 위해, 저자들은 엄격한 프로토콜을 통해 구축된 새로운 벤치마크 데이터셋인 ScoliGait를 도입합니다:

• 구성: 550명의 고유한 청소년으로부터 추출된 1,572개의 훈련 클립과, 훈련 과정에서 본 적 없는 300명의 서로 다른 개인으로부터 추출된 300개의 홀드아웃(held-out) 테스트 세트로 구성됩니다.
• 정답(Ground Truth): 라벨은 방사선학적 코브 각도 측정값(임상적 골드 스탠다드)을 기준으로 하며, 양성 진단 기준은 10도입니다.
• 멀티모달 주석(Multi-Modal Annotations): 각 클립에는 다음이 포함됩니다:
  • 비디오: 1080p, 30Hz, 완전한 보행 주기를 캡처합니다.
  • 운동학적 지식 맵(Kinematic Knowledge Map): 운동 공간, 자기 골격 공간 및 신호 상호 상관관계에 걸친 238개 특징으로 구성된 구조화된 표현입니다.
  • 임상 텍스트: 그룹 수준의 통계 분석 및 임상적 사전 정보(예: "흉추 곡형에서의 비대칭적 팔 흔들림")를 바탕으로 자동 생성된 보행 패턴의 텍스트 설명입니다.

2. 운동학적 지식 맵

저자들은 총체적인 보행 역학을 인코딩하기 위해 임상 우선순위 가이드형 운동학적 지식 맵을 제안합니다.

• 특징 추출: 쌍을 이룬 관절 거리(유클리드 거리), 분절 간 각도(삼각함수), 시간적 협응(신호 상호 상관관계)을 포함한 238개의 특징을 계산합니다.
• 해석 가능성: 이 맵은 "인간이 읽을 수 있는 사전(dictionary)" 역할을 합니다. 추론 시 모델의 어텐션 점수는 이 구조로 다시 매핑되어, 임상의가 단순히 원시 픽셀 어텐션에 의존하는 대신 특정 운동학적 특징(예: 비대칭성 또는 관절 역학)이 진단을 유도하는 과정을 식별할 수 있게 합니다.

3. 모델 아키텍처: 잠재 어텐션 풀링(Latent Attention Pooling)

제안된 프레임워크는 세 가지 모달리티(비디오, 지식 맵, 텍스트)를 특화된 융합 메커니즘을 통해 통합합니다:

• 인코더:
  • 텍스트: Sentence-Transformers (all-MiniLM-L6-v2).
  • 비디오 및 지식 맵: 서로 다른 패치 임베딩 방법을 사용하는 Vision Transformer (ViT) 백본.
• 잠재 어텐션 풀링: 고급 언어 모델 임베딩(예: NV-Embed)에서 영감을 받아, 저자들은 표준 평균 풀링을 대신하여 교차 어텐션을 통해 입력 시퀀스를 쿼리하는 잠재 어텐션 풀링 레이어를 도입합니다. 이는 학습 가능한 잠재 사전(latent dictionary)을 활용합니다.
• 융합: 이 메커니즘은 표준 풀링보다 더 표현력이 높고 총체적인 임베딩을 생성하여, 임상적으로 유의미한 표현을 더 잘 포착하고 우수한 멀티모달 융합을 용이하게 합니다.
• 정렬: 지식 맵과 비디오 모달리티 간의 위치 임베딩(Positional embeddings)을 명시적으로 정렬하여 시간적 대응을 보장합니다.

주요 결과

이진 선별 성능

피험자 독립적 테스트 세트에서 평가된 제안된 멀티모달 접근 방식은 새로운 SOTA(State-of-the-Art)를 달성했습니다:

• 최적의 구성 (지식 맵 + 비디오 + 텍스트): 정확도 70.0% 및 **F1-score 61.9%**를 달성했습니다.
• 모달리티 비교: 지식 맵 단독 모델이 원시 비디오 모델(정확도 58.0% vs 56.3%)보다 높은 성능을 보였으며, 이는 구조화된 운동학적 표현이 원시 시각적 특징보다 이 작업에 더 변별력이 있음을 입증합니다.
• 융합 효과: 지식 맵을 비디오와 통합함으로써 단일 모달리티 대비 성능이 크게 향상되었습니다. 임상 텍스트를 추가하면 양성 클래스에 대한 F1-score가 더욱 높아졌습니다.
• 베이스라인 비교: ScoNet-MT와 같은 기존 모델은 전반적인 정확도는 유사했으나, 양성 클래스에 대한 민감도(Recall)가 현저히 낮았습니다(예: 한 구성에서 리콜 5.4%). 이는 척추측만증 사례를 올바르게 식별하는 데 실패했음을 나타냅니다.

설명 가능성

시스템은 세밀하고 임상적으로 해석 가능한 통찰력을 제공합니다:

• 기존의 골격 기반 어텐션 히트맵과 달리, 지식 맵은 높은 시간 해상도로 특정 운동학적 특징을 추출할 수 있게 합니다.
• 모델은 진단에 기여하는 특정 시간대와 임상 변수(예: 하지 동기화)를 강조할 수 있어, 알고리즘의 추론과 임상적 판단 사이의 간극을 메워줍니다.

의의 및 주장

본 논문은 확장 가능하고 비침습적인 AIS 평가를 위한 강건하고, 해석 가능하며, 임상적으로 근거 있는 토대를 제공한다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 신뢰할 수 있는 평가: 엄격한 피험자 독립적 테스트 세트와 방사선학적 골드 스탠더드 라벨을 통해 데이터 누수를 제거함으로써, 일반화 능력을 평가하기 위한 현실적인 벤치마크를 제공합니다.
2. 해석 가능성: 임상 우선순위 가이드형 지식 맵은 "블랙박스" 특징을 넘어, 모델의 결정을 실행 가능하고 임상의가 이해할 수 있는 동작 분석으로 변환하는 구조화된 프레임워크를 제공합니다.
3. 고급 융합: 잠재 어텐션 풀링 메커니즘은 언어 모델에서 사용되는 고급 임베딩 기술이 복잡한 움직임 분석을 위한 이질적인 의료 데이터(비디오, 구조화된 운동학, 텍text)의 융합을 어떻게 크게 향상시킬 수 있는지 보여줍니다.

저자들은 본 연구가 데이터 신뢰성, 모델 불투명성, 통합 복잡성이라는 현재의 비디오 기반 선별의 핵심 한계를 해결하여, 보다 효과적인 임상 배치를 위한 길을 열었다고 결론짓습니다. 코드는 출판 시점에 공개될 예정입니다.