Multicohort development and validation of a machine learning model to predict six-month functional traumatic brain injury outcomes in a large national registry

본 연구는 중등도에서 중증 외상성 뇌손상 환자의 6 개월 기능적 결과를 정확하게 예측하기 위해 두 가지 임상 시험 데이터를 활용한 랜덤 포레스트 머신러닝 모델을 개발하고 검증한 후, 체계적인 추적이 부재한 대규모 국가 등록 데이터를 적용하여 인구 수준의 회복 양상을 추정하였다.

핵심

환자가 심각한 두부 외상을 입었을 때, 그 환자의 미래를 예측해 보려는 의사가 되어 상상해 보세요. 당신은 지금 환자의 부상이 얼마나 심각한지 알 수 있고, 향후 며칠간 생존할지 여부도 파악할 수 있습니다. 하지만 가족들을 밤새 잠 못 이루게 하는 큰 질문은 바로 이것입니다: "이 사람은 6 개월 후 정상적이고 독립적인 삶을 살 수 있을까?"

보통 의사들은 추측할 수밖에 없습니다. 환자의 나이와 현재의 혼란 정도를 보지만, 수정구슬은 없기 때문입니다. 이는 특히 병원이 외상 환자를 추적하는 데 사용하는 방대한 데이터베이스 (상처에 대한 거대한 전국 로데록스 같은 것) 가 병원 내에서 발생한 일은 잘 기록하지만, 환자가 퇴원하면 기록이 중단되기 때문에 더욱 어렵습니다. 누가 행복하게 퇴원했고 누가 요양원이 필요했는지는 알 수 없습니다.

이 논문은 바로 그 누락된 부분을 채우기 위한 디지털 수정구슬을 구축하는 것에 관한 것입니다.

레시피: AI 훈련

연구자들은 6 개월 후의 결과를 예측하기 위해 패턴을 학습하는 컴퓨터 프로그램인 기계 학습 모델을 구축하기로 결정했습니다.

1. 선생님들 (훈련 데이터): 단순히 추측할 수는 없었기에, 정답이 이미 알려진 데이터가 필요했습니다. 그들은 과거의 의학 시험 (CRASH 및 ROC-TBI) 에서 나온 두 가지 고품질 "교과서"를 사용했습니다. 이러한 시험들은 환자를 6 개월 동안 추적하여 누가 회복이 잘 되고 그렇지 않은지를 정확히 알고 있었습니다.
2. 재료 (예측 변수): 예측을 하기 위해 컴퓨터는 모든 데이터세트에 존재하는 7 가지 구체적인 단서를 입력받았습니다.
   • 환자의 나이
   • 성별
   • 도착 당시의 혼란 정도 (GCS 점수)
   • 다른 주요 외상 (예: 골절) 의 유무
   • 동공의 빛 반응
   • 뇌 수술 필요 여부
   • 퇴원 시 이동 장소 (가정, 재활 시설, 또는 안타깝게도 사망)
3. 시식 테스트: 그들은 어떤 알고리즘이 가장 잘 학습할지 보기 위해 5 가지 다른 "조리법" (알고리즘) 을 시도했습니다. 그 결과 랜덤 포레스트 (결정 트리의 위원회가 답변에 투표하는 방식이라고 생각하세요) 라는 방법이 최고의 요리사임을 발견했습니다.

맛보기: 검증

이 새로운 도구를 전국적으로 사용하기 전에, 단순히 교과서 답을 외운 것이 아닌지 확인해야 했습니다. 그들은 다른 시험 (ROC-TBI) 의 별도 환자 그룹으로 이를 테스트했습니다.

• 결과: 이 모델은 회복이 잘 될 환자와 그렇지 않을 환자를 구분하는 데 매우 뛰어났습니다. 특히 "좋은 회복" 사례를 찾아내는 데 탁월하여, 이를 놓치는 경우가 거의 없었습니다 (높은 민감도).
• 보정: 그들은 모델이 가장 심각한 사례에 대해 약간 지나치게 낙관적임을 깨달았으므로, 예측이 현실과 더 잘 맞도록 "다이얼" (재보정) 을 조정했습니다.

대규모 적용: 전국 로데록스

모델이 훈련되고 테스트된 후, 그들은 TQIP 등록부에 이를 적용했습니다. 이는 미국과 캐나다의 병원들에서 온 경증에서 중증의 뇌손상을 입은 63,000 명 이상의 환자를 포함하는 방대한 데이터베이스입니다.

여기가 마술입니다: TQIP 데이터베이스에는 6 개월 후 추적 데이터가 없었습니다. 연구자들은 새로운 AI 모델을 사용하여 추적되었다면 어떤 결과가 나왔을지 추정 (impute) 했습니다.

• 예측: 이 모델은 이 환자들 중 약 **45%**가 6 개월 후 독립적으로 생활할 수 있는 유리한 회복을 보일 것으로 추정했습니다. 회복 가능성이 있는 거의 모든 사람을 포착하기 위해 "안전 최우선" 설정을 사용했다면 그 수치는 **57%**까지 올라갔습니다.
• 논리적인가? 네. 이 모델은 뇌간 손상이 없고 부상이 덜 심각한 젊은 환자들이 회복할 가능성이 가장 높다고 예측했습니다. 이는 의사들이 경험상 알고 있는 내용과 일치하여, 이 모델이 무작위 추측을 하고 있는 것이 아님을 입증했습니다.

이것이 중요한 이유 (논문에 따르면)

이 논문은 이 접근 방식이 가교 역할을 한다고 주장합니다. 소규모 임상 시험에서 나온 고품질의 상세한 데이터와 전국 등록부에서 나오는 거대한 현실 세계의 데이터를 연결해 줍니다.

• 공백 채우기: 이 방법은 연구자들이 후속 전화 조사가 이루어지지 않은 그룹에서도 대규모 인구의 장기 회복을 연구할 수 있게 합니다.
• 벤치마킹: 이는 병원들이 생존율뿐만 아니라 장기 성공률을 다른 병원들과 비교할 수 있는 방법을 제공합니다.
• 미래의 기초: 저자들은 이것이 결국 뇌 촬영이나 혈액 검사 등을 포함할 수 있는 미래 모델의 기반을 마련한다고 말합니다. 하지만 현재는 그들이 사용한 기본적인 임상 데이터에 머무르고 있습니다.

주의사항 (모델이 할 수 없는 것)

저자들은 한계에 대해 솔직합니다:

• "번역" 문제: "다발성 외상"과 같은 용어에 대해 서로 다른 데이터베이스가 약간 다른 정의를 사용했기 때문에, 모델은 그들 사이를 번역해야 했는데 이는 완벽하지 않습니다.
• 누락된 세부 사항: 이 모델은 7 가지 기본 단서만 사용했습니다. 모든 데이터세트에 뇌 촬영이나 시간별 생체 징후가 포함되어 있지 않았기 때문에 이에 접근할 수 없었습니다.
• "블랙박스": 최고의 모델인 랜덤 포레스트는 복잡합니다. 예측에는 탁월하지만, 단순한 수학 공식에 비해 특정 결정을 내린 정확한 이유를 설명하기는 더 어렵습니다.

요약하자면, 이 논문은 고품질 시험 데이터로 컴퓨터를 가르침으로써, 이제까지 그 질문에 답할 방법이 없었던 국가 데이터베이스의 수만 명 환자에 대한 장기 회복에 대해 교육적이고 통계적으로 타당한 추측을 할 수 있게 되었음을 보여줍니다.

기술 요약

"대규모 국가 등록부를 활용한 6 개월 기능적 외상성 뇌손상 예후 예측을 위한 머신러닝 모델의 다코호트 개발 및 검증"에 대한 상세한 기술적 요약입니다.

1. 문제 제기

외상성 뇌손상 (TBI) 은 사망 및 이환의 주요 원인임에도 불구하고, 예후 예측은 종종 장기적인 기능 회복을 포착하지 못하고 단기 사망률에 초점을 맞추는 경향이 있습니다.

• 격차: 대규모 국가 외상 등록부 (예: 외상 품질 개선 프로그램, TQIP) 는 인구통계학적, 손상, 치료 데이터의 방대한 양을 보유하고 있지만 체계적인 장기 추적 데이터 (예: 6 개월 기능 상태) 가 부족합니다. 반면, 고품질 임상 시험 데이터 (예: CRASH, ROC-TBI) 는 상세한 장기 기능적 결과 (글래스고 결과 척도 - 확장, GOSE) 를 포함하지만, 일반화 가능성이 제한된 고도로 선별된 환자 집단을 대표합니다.
• 과제: 전통적인 예후 모델은 TBI 경과의 이질성으로 인해 어려움을 겪으며, 서로 다른 데이터셋 간에 일반화하는 능력이 부족합니다. 대규모 등록부에서 장기 기능적 결과를 추정 (impute) 하여 전국적 벤치마킹과 품질 개선을 가능하게 하는 견고한 방법이 필요합니다.

2. 방법론

이 연구는 모델 개발, 외부 검증, 대규모 적용을 포함하는 다코호트 후향적 설계를 사용했습니다.

• 데이터셋:
  • 훈련 세트: 중등도 - 중증 TBI(GCS ≤ 12) 환자에 초점을 맞춘 CRASH 임상 시험 (심한 두부 손상 후 코르티코스테로이드 무작위 배정) 데이터.
  • 검증 세트: 고삼투액에 대한 무작위 대조 시험인 ROC-TBI 임상 시험 데이터.
  • 적용 세트: 미국과 캐나다의 수백 개 외상 센터의 환자를 포괄하는 TQIP 등록부 (2017–2022 년).
• 포함 기준: 중등도 - 중증 TBI(GCS ≤ 12) 환자. 공유 예측 변수 또는 6 개월 결과에 대한 데이터가 누락된 환자는 제외되었습니다.
• 예측 변수: 세 코호트 전반에 걸쳐 임상적 관련성과 데이터 가용성에 기반하여 7 가지 조화화된 변수가 선정되었습니다:
  1. 나이
  2. 성별
  3. 내원 시 글래스고 혼수 척도 (GCS)
  4. 다발성 외상 유무 (주요 두개외 손상 또는 ISS ≥ 16 으로 정의)
  5. 동공 반응성 (양쪽, 한쪽, 또는 없음)
  6. 두개내 수술 시술 여부
  7. 병원 퇴원 처분 (가정, 재활, 기타 입원, 사망)
• 결과 정의: 6 개월 시점의 유리한 기능적 결과로, GOSE ≥ 5(중등도 장애 또는 양호한 회복) 또는 **GOS "MD"/"GR"**로 정의됨.
• 머신러닝 접근법:
  • 다섯 가지 후보 분류기를 훈련했습니다: 랜덤 포레스트 (RF), 선형 판별 분석 (LDA), k-최근접 이웃 (KNN), 나이브 베이즈 (NB), 서포트 벡터 머신 (SVM).
  • 튜닝: 수신자 작동 특성 곡선 아래 면적 (ROC-AUC) 을 최적화하기 위해 5 회 반복된 층화 5 교차 검증을 사용했습니다.
  • 선정 및 재보정: 상위 두 모델 (RF 및 LDA) 을 외부 ROC-TBI 코호트에서 평가했습니다. 로지스틱 재보정을 수행하여 보정 기울기와 절편을 보정했습니다. 최종 모델은 재보정 후 ROC-AUC 를 기반으로 선정되었습니다.
  • 임계값: 주 임계값은 요던 J 통계량으로 결정되었으며, 보수적인 "배제 (rule-out)" 전략을 위해 2 차 고감도 임계값 (감도 ≥ 0.95) 이 설정되었습니다.
  • 해석 가능성: 특징 중요도를 결정하기 위해 샤플리 가법 설명 (SHAP) 값을 계산했습니다.

3. 주요 결과

• 코호트 특성:
  • 훈련 (CRASH): 6,167 명.
  • 검증 (ROC-TBI): 452 명 (훈련 세트에 비해 신경학적 증상이 notably 더 심각하고 수술률이 높음).
  • 적용 (TQIP): 63,289 명 (평균적으로 더 나이 많고 신경학적 장애가 적지만, 입원 중 사망률이 더 높음).
• 모델 성능:
  • 선정: 재보정 후 랜덤 포레스트 (RF) 모델이 다른 모델들을 능가했습니다.
  • 판별력:
    • 내부 (CRASH) AUC: 0.887
    • 외부 (ROC-TBI) AUC: 0.784
  • 보정: 재보정 후 모델은 예측된 위험과 관찰된 위험 간에 좋은 정렬을 보였으며, 체계적 편향이 최소화되었습니다 (기울기 ≈ 1, 절편 ≈ 0).
  • 임계값 성능 (요던 최적):
    • 감도: 0.890
    • 음성 예측도 (NPV): 0.909
    • 특이도: 0.570
    • 정확도: 0.679
  • 고감도 임계값: 0.955 의 감도와 0.620 의 정확도를 달성했습니다.
• 특징 중요도 (SHAP): 유리한 결과에 가장 중요한 예측 변수는 병원 퇴원 처분과 내원 시 GCS였습니다.
• TQIP 적용:
  • 요던 최적 임계값에서, 모델은 45% (28,453 명) 의 환자가 6 개월 유리한 결과를 달성할 것으로 예측했습니다.
  • 고감도 임계값에서, 이 추정치는 57% (35,821 명) 로 상승했습니다.
  • 임상적 타당성: 유리한 결과가 예측된 환자는 현저히 젊었고, 입원 시 GCS 가 높았으며, 관통성 손상 (총상) 과 뇌간 타박상 발생률이 낮아 확립된 임상 상관관계와 일치했습니다.

4. 주요 기여

1. 데이터 격차 해소: 추적이 부재한 대규모 국가 등록부 (TQIP) 에서 고품질 임상 시험 데이터 (CRASH/ROC-TBI) 를 활용하여 장기 기능적 결과를 "추정"할 수 있는 실현 가능한 워크플로우를 입증했습니다.
2. 견고한 일반화: 사례 구성과 손상 심각도에 상당한 차이가 있음에도 불구하고, 고도로 선별된 임상 시험 집단으로 훈련된 모델이 이질적인 실제 세계 국가 등록부에 적용될 때 강력한 판별력을 유지할 수 있음을 검증했습니다.
3. 이중 임계값 전략: 균형 잡힌 정확도를 위한 표준 임계값과 보수적인 "배제" 시나리오를 위한 고감도 임계값을 포함하는 유연한 임계값 접근법을 도입하여 다양한 임상 또는 연구 맥락에 유용하게 만들었습니다.
4. 벤치마킹 기반 마련: 생존 기반 지표에서 환자 중심 기능적 결과로 초점을 이동시키는 TBI 회복에 대한 국가적 벤치마킹 방법을 제공했습니다.

5. 의의 및 한계

의의:

• 이 접근법은 연구자와 의료 시스템이 비용이 많이 들고 체계적인 장기 추적을 기다리지 않고도 수천 명의 환자 전반에 걸쳐 기능적 회복률을 평가할 수 있게 합니다.
• 이는 단순한 사망률이 아닌 기능적 독립성에 초점을 맞춘 외상 센터의 위험 조정 성과 지표 개발을 지원합니다.
• 향후 이러한 데이터가 등록부에 사용 가능해질 때 생리학적 시계열, 영상, 바이오마커와 같은 더 풍부한 데이터 유형을 통합할 수 있는 모델의 기초를 마련합니다.

한계:

• 변수 조화: 데이터셋 간 "다발성 외상" 정의의 차이와 GOSE 세분성을 GOS 범주로 축소하는 것이 노이즈를 유발할 수 있습니다.
• 선택 편향: 훈련 데이터는 임상 시험에서 비롯되어 일반 등록부에서 발견되는 경증, 비수술적, 또는 고도 다발성 질환 환자를 과소 대표할 수 있습니다.
• 특징 제약: 모델은 일부 데이터셋에서는 사용 가능하지만 모든 데이터셋에서는 사용 불가능한 가치 있는 영상 및 생리학적 데이터를 제외하고 7 가지 공유 예측 변수로만 제한됩니다.
• 시간적 변화: 훈련 임상 시험은 TQIP 데이터보다 10 년 이상 전에 수행되어 치료 표준의 시간적 변화를 도입할 수 있습니다.
• 해석 가능성: RF 가 가장 잘 수행되었지만, 그 "블랙박스" 특성은 단순한 회귀 모델보다 해석이 덜 용이하며, SHAP 값이 이를 부분적으로 완화했습니다.

결론:
이 연구는 고품질 임상 시험의 예후 신호를 대규모 국가 등록부로 전환하는 머신러닝 도구를 성공적으로 개발하여, 장기 TBI 기능적 결과를 추정하고 외상 시스템의 품질 개선을 강화하기 위한 확장 가능한 솔루션을 제시했습니다.