Inverse Reinforcement Learning for Interpretable Keystroke Biomarkers in Parkinson's Disease

기술 요약: 파킨슨병의 해석 가능한 키스트로크 바이오마커를 위한 역강화학습(Inverse Reinforcement Learning)

문제 정의
파킨슨병(PD)은 일반적으로 상당한 운동 신경 세포 손실이 발생한 후에 진단되므로, 조기 발견 및 종단적 모니터링을 지원하기 위한 수동적 디지털 바이오마커가 필요하다. 키스트로크 역학(키 누름과 떼기 사이의 타이밍)이 유망한 후보로 탐색되어 왔으나, 기존 문헌은 거의 전적으로 지도 학습 기반의 분류(supervised classification)에 의존하고 있다. 이러한 방식은 타이핑 신호로부터 고정된 요약 통계량(평균, 분산, 고차 모멘트 등)을 추출하여 PD 환자와 건강한 대조군을 구별한다. 이러한 접근법은 사용자의 타이핑이 PD 환자와 유사한지 여부(whether)를 판단하는 데는 효과적이지만, 왜(why) 그러한지 또는 구체적으로 어떤 행동 변화가 발생했는지는 설명하지 못한다. 또한, 보고된 정확도는 매우 다양하게 나타나는데, 2022년 메타 분석에 따르면 높은 이질성($I^2 = 94\%$)을 보였으며, 이는 기존 연구들의 과적합(overfitting) 또는 방법론적 불일치 가능성을 시사한다.

방법론
본 논문은 키스트로크 역학을 모델링하기 위해 지도 학습 기반의 분류에서 **역강화학습(Inverse Reinforcement Learning, IRL)**으로의 패러다임 전환을 제안한다. 저자들은 각 키스트로크 전이를 타이핑 속도에 대한 이산적 선택(discrete choice)으로 취급하고, 관찰된 에이전트의 순차적 결정을 가장 잘 설명하는 잠재적 보상 함수(latent reward function)를 추론한다.

• 데이터 소스: 본 연구는 공공 데이터셋인 neuroQWERTY MIT-CSXPD 데이터셋(85명 대상: PD 환자 42명, 대조군 43명)을 활용하며, 임상 환경에서 자유 텍스트 타이핑을 통해 수집되었다. 저자들은 사전 분석 단계에서 Tappy 데이터셋을 명시적으로 거부했는데, 해당 데이터셋에서는 표준 통계적 특징들이 유의미한 집단 간 차이를 보여주지 못했기 때문이다(AUC $\approx$ 0.377). 이는 통제되지 않은 홈 컬렉션 프로토콜로 인한 어려움을 기록한 기존 문헌의 내용과 일치한다.
• 특징 공학(Feature Engineering): 모델은 결합 분위수(pooled quintiles)를 기준으로 비행 시간(flight times)을 $K=5$개의 빈(bin)으로 이산화한다. 보상 함수 $R(s, a)$는 다음과 같은 특징 함수 $\phi(s, a)$의 가중 합으로 정의된다:
  1. 속도(Speed): $\phi_{speed}(a) = -v_a$ (빠른 타이핑 선호).
  2. 일관성(Consistency): $\phi_{consistency}(t, a) = -|v_a - c_t|$, 여기서 $c_t$는 이동 평균 컨텍스트이다.
  3. 손 교차(Hand-Alternation): $\phi_{hand}(t, a) = -\mathbb{I}[\text{cross-hand}] \cdot v_a$.
• 최적화: 관찰된 빈 선택을 선택되지 않은 대안들과 비교하여 로그 가능도(log-likelihood)를 최대화하는 Maximum-Entropy IRL을 통해 피험자별 가중치 $w$를 복구한다. 이때 L-BFGS-B 알고리즘을 사용한다.
• 식별 가능성 교정(Identifiability Correction): 초기 4-파라미터 모델(노력과 매끄러움을 분리)은 일반적인 맥락에서 두 항 사이의 완벽한 특징 공선성($r=1.000$)으로 인해 실패하였다. 저자들은 이를 하나의 "일관성" 항으로 통합함으로써 안정적인 3-파라미터 모델로 교정하였다.
• 검증 엄밀성: 파이프라인은 **적대적 코드 리뷰(adversarial code review)**를 거쳤으며, 이를 통해 두 가지 구현 버그를 식별하고 수정하였다: (1) 다중 세션 피험자의 경우 세션 경계에서 이동 창(rolling window)을 초기화하지 못한 문제, (2) 이동 평균에 현재 관측값이 포함되는 데이터 누수(data leakage) 문제. 이 수정 사항들은 주요 상관 계수에는 미미한 변화만을 주었다.

주요 결과
핵심 발견은 복구된 속도 선호 가중치($w_{speed}$)가 임상적 PD 중증도(UPDRS-III 점수)와 강력하게 상관관계가 있다는 것이다:

• 상관관계: $r = -0.607$ ($p < 0.001$, $n=42$). 더 음수의 가중치(다른 조건이 동일할 때 빠른 타이핑에 대한 암묵적 보상이 강함을 의미)는 더 큰 운동 장애와 연관된다.
• 증분 가치(Incremental Value): 원시 타이핑 속도 자체는 UPDRS 분산의 19.4%($R^2 = 0.194$)만을 설명하지만, IRL로 복구된 속도 선호도를 추가하면 이를 33.8%($R^2 = 0.338$, $p = 0.006$)까지 높인다.
• 강건성(Robustness): 결과는 다음 항목들에 대해 유효하다:
  • 두 개의 독립적인 하위 코호트 (CS1 및 CS2).
  • 다양한 민감도 설정 (빈 개수 및 윈도우 크기 변화).
  • 부트스트랩 신뢰 구간 (95% CI: $[-0.767, -0.369]$).
  • 순열 검정 (Permutation tests, $p < 0.0001$).
• 부정적 결과(Negative Results): 복구된 "일관성" 및 "손 교차" 가중치는 혼란 변수 체크(특히 원시 타이핑 속도를 통제했을 때)를 통과하지 못했으며, 비유의적인 것으로 보고되었다.

의의 및 주장
저자들은 본 연구를 키스트로크 역학에 IRL을 적용한 첫 번째 사례로 규정한다. 본 논문의 의의는 단순히 상관 계수에 있는 것이 아니라, 검증 과정 자체에 있다. 저자들은 이 분야가 설명되지 않는 이질성으로 고통받고 있으며, 식별 실패의 확인, 구현 버그의 수정, 그리고 부정적 결과의 보고를 포함한 엄격한 검증이 중요한 기여라고 주장한다.

본 연구는 IRL이 속도와 일관성 항 사이의 잔여 공선성으로 인해 모델이 완벽하게 식별되지는 않았음을 인정하면서도, IRL이 속도라는 해석 가능한 피험자별 행동 선호도를 복구할 수 있으며, 이것이 임상적 중증도와 상관관계가 있고 단순 요약 통계 이상의 설명력을 제공한다는 것을 입증한다. 그러나 저자들은 외부 코호트에 대한 독립적인 재현이 다음 단계의 필수 과제임을 언급하며 신중한 태도를 유지하고 있다.