TokenSTFormer: A Tokenized Spatial-temporal Attention Model for Holistic Motion Analysis in Adolescent Idiopathic Scoliosis Screening

기술 요약: 청소년기 특발성 척추 측만증 선별을 위한 TokenSTFormer

문제 정의
청소년기 특발성 척추 측만증(AIS)은 전 세계 어린이의 약 5%에게 영향을 미치는 흔한 척추 변형 질환입니다. 치료하지 않고 방치할 경우 만성 요통 및 심리적 고통을 포함한 심각한 건강 결과로 이어질 수 있습니다. 현재의 진단 표준 방식은 방사선 영상을 통해 관상면 코브 각도(Cobb Angle, CA) >10°를 측정하는 것에 의존하지만, 반복적인 X선 노출은 누적되는 방사선 위험에 대한 우려를 높입니다. 아담스 전굴 검사(Adams' Forward Bending Test)나 스콜리오미터 측정과 같은 기존의 비침습적 선별 방법은 주관적인 해석, 전문 지식에 대한 의존도, 대규모 프로그램에서의 낮은 확장성이라는 한계가 있습니다. 또한, 기존의 컴퓨터 비전 접근 방식은 정적인 정보에 의존하거나 복잡한 전처리 파이프라인(예: 합성 실루엣 또는 골격 맵)을 필요로 하며, 생체 역학적 통찰력을 제공하는 운동학적 특징을 충분히 통합하지 못하는 경우가 많습니다.

방법론
이러한 한계를 해결하기 위해 저자들은 보행 영상 분석에 기반한 AIS 선별 시스템인 **ScoliDetect™**를 제안합니다. 이 방법론은 세 가지 핵심 구성 요소로 구축됩니다:

1. ScoliGait 데이터셋: 저자들은 758명의 참가자로부터 모바일 휴대폰 카메라를 사용하여 30Hz(1080p 해상도)로 수집된 1,516개의 보행 영상 클립과 그에 대응하는 척추 X선 기록 및 CA 측정값이 쌍을 이루는 새로운 데이터셋을 소개합니다. 전통적인 선별 레이블과 달리, 이 데이터의 정답(ground truth)은 숙련된 전문의에 의해 검증된 방사선 측정값으로부터 도출되었습니다.
2. 운동학적 지식 맵(Kinematic Knowledge Map): 본 시스템은 원시 영상이나 복잡한 합성 맵을 사용하는 대신, 포즈 추정(YOLOv8 사용) 데이터를 통해 "비식별화된 운동학적 지식 맵"을 구축합니다. 이 맵은 세 가지 영역으로 분류된 238개의 정규화된 특징을 통해 총체적인 움직임 특징을 나타냅니다:
   • 운동 공간 (140개 특징): 전반적인 보행 패턴을 나타냄.
   • 자기 골격 공간 (32개 특징): 피험자의 골격 구조를 포착함.
   • 신호 상관관계 (66개 특징): 교차 상관관계를 이용한 움직임 지연 및 신호 관계로부터 도출됨.
3. TokenSTFormer 아키텍처: 핵심 모델은 공간 및 시간적 의미론을 토큰화하도록 설계된 새로운 트랜스포머 기반 아키텍처입니다.
   • 시공간 토큰화 (Spatial-Temporal Tokenization, STT): 운동학적 지식 맵은 특정 열 및 행 커널을 가진 2D 컨볼루션 레이어를 통해 공간적 토큰과 시간적 토큰으로 분리되어 처리됩니다.
   • 특징 강화: 이 토큰들은 Dense 레이어 변환, LayerNorm을 거치며 결합됩니다. 아키텍처는 다중 헤드 셀프 어텐션(Multiheaded Self-Attention, MSA)과 다층 퍼셉트론(MLP) 잔차 블록을 포함하며, LayerScale 및 Stochastic Depth 모듈을 활용합니다.
   • 학습 목표: 모델은 주요 분류 작업을 위한 이진 크로스 엔트로피 손실(binary cross-entropy loss)을 사용하며, 수렴을 높이기 위해 시간적 및 공간적 임베딩의 CLS 토큰 모두에서 계산된 보조 평균 제곱 오차(Mean Squared Error) 손실을 병행하여 사용합니다.

주요 기여

• ScoliGait 데이터셋: 방사선 정답 레이블과 쌍을 이루는 보행 영상을 포함하는 최초의 데이터셋을 구축하여, 방사선 측정값에 기반한 지도 학습을 가능하게 했습니다.
• TokenSTFormer 모델: 총체적인 움직임 분석에 특화되어, 시공간 토큰화를 통해 특징 표현과 모델 수렴을 향상시키는 모델을 도입했습니다.
• 개인정보 보호 워크플로우: 시스템은 데이터를 비식별화된 운동학적 지식 맵으로 처리하여, 원시 영상이나 민감한 환자 데이터를 노출하지 않고도 모바일 기기에서 확장 가능한 선별을 용이하게 합니다.

실험 결과
TokenSTFormer 모델은 층화된 데이터셋(훈련 1,216개, 검증 150개, 테스트 150개 샘플)을 사용하여 바닐라 비전 트랜스포머 인코더 및 전통적인 선별 방법과 비교 평가되었습니다.

• 성능: TokenSTFormer는 0.787의 최첨단 정확도를 달성하여, 바닐라 비전 트랜스포머 인코더(0.740)와 전통적인 방법(평균 정확도 ~0.447)을 능가했습니다.
• 지표: 모델은 0.845의 민감도(sensitivity)와 0.660의 특이도(specificity)를 보여주었습니다. 또한 0.845의 양성 예측도(PV+)와 0.660의 음성 예측도(PV−)를 달성했습니다.
• 절제 연구(Ablation Studies): 실험을 통해 시공간 토큰화 모듈, 특히 LayerNorm과 독립적인 위치 인코딩의 포함이 모델의 정확도와 견고성에 결정적임을 확인했습니다. 연구 결과, 5개의 어텐션 블록이 복잡도와 성능 사이의 최적의 균형을 제공하는 것으로 나타났습니다.

의의 및 주장
본 논문은 보행 영상에서 도출된 총체적인 움직임 특징을 어텐션 기반 모델인 TokenSTFormer와 결der 결합하는 것이 확장 가능하고 비용 효율적인 AIS 선별을 위한 실행 가능한 경로를 제공한다고 주장합니다. 주관적인 신체 검사와 방사선 노출이 많은 X선에서 벗어남으로써, 이 접근 방식은 조기 발견과 적기 개입을 목표로 합니다. 저자들은 이 연구가 전문 지식과 특수 장비가 제한된 환경에서도 접근 가능하고 정확하며 효율적인 척추 측만증 선별 및 모니터링 도구를 배포하기 위한 유망한 단계라고 위치시킵니다.