Fully Automated Abstraction of Longitudinal Breast Oncology Records with Off-The-Shelf Large Language Models

이 연구는 파인튜닝이나 기관별 재학습 없이도 상용 대규모 언어 모델 (LLM) 을 활용하여 복잡한 유방암 환자의 종단적 의료 기록에서 핵심 변수를 추출하는 오픈소스 파이프라인을 개발했으며, 이 방식이 전문가 간 변이 수준에 근접하는 성능을 보이며 연구용 데이터 구축을 확장할 수 있는 실용적인 해결책을 제시함을 증명했습니다.

핵심

이 연구 논문은 **"의사들이 매일 쓰는 방대한 의료 기록을 인공지능 (AI) 이 얼마나 잘 읽어서 정리해줄 수 있을까?"**라는 질문에 대한 답을 찾은 이야기입니다.

간단히 말해, 복잡한 암 치료 기록을 사람이 일일이 정리하는 대신, 최신 AI 를 이용해 자동으로 정리하는 기술을 개발하고 그 성능을 검증한 실험입니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제 상황: "바다 같은 기록과 고생하는 연구원"

암 연구에서는 환자의 치료 기록 (진료 기록, 검사 결과, 처방전 등) 을 하나하나 읽어보고 중요한 정보 (예: 언제 재발했는지, 어떤 약을 먹었는지) 를 뽑아내야 합니다.

• 비유: imagine imagine 거대한 도서관이 있다고 칩시다. 이 도서관에는 환자 100 명분의 기록이 있는데, 한 명당 책 3,100 권이 쌓여 있습니다. (실제 기록은 텍스트로 230 만 단어 정도입니다.)
• 현실: 연구원들은 이 30 만 권의 책에서 "어떤 환자가 언제 암이 재발했는지"를 찾아내야 합니다. 이 일은 눈이 피로하고, 시간이 오래 걸리며, 사람마다 찾는 결과가 조금씩 다를 수 있는 매우 힘든 일입니다. 그래서 연구 규모가 작아지고, 중요한 질문을 답하기 어려워집니다.

2. 해결책: "똑똑한 AI 비서 (LLM) 의 등장"

연구팀은 이 문제를 해결하기 위해 **최신 대형 언어 모델 (AI, 예: ChatGPT, Gemini 등)**을 도입했습니다.

• 비유: 이 AI 는 모든 책을 한 번에 훑어볼 수 있는 초고속 독서 비서입니다.
• 핵심 특징: 이 비서는 특별한 훈련 (수업) 을 시키지 않아도 됩니다. 그냥 "이 책에서 재발 날짜와 약 이름을 찾아줘"라고 명령만 내리면, 이미 알고 있는 지식을 바탕으로 바로 작업을 시작합니다. 또한, 환자의 개인정보는 보호하면서도 작동하도록 설계되었습니다.

3. 실험 과정: "AI vs 전문 의사 vs 일반 직원"

연구팀은 100 명의 복잡한 암 환자 기록을 가지고 실험을 했습니다.

1. 전문 의사 (참조 기준): 4 명의 전문 암 의사가 직접 기록을 읽어서 정답을 만들었습니다. (이게 '진짜 정답'처럼 취급됩니다.)
2. 일반 연구 보조원: 기존에 이 일을 하던 연구 보조원들의 기록도 비교했습니다.
3. AI: 4 가지 다른 최신 AI 모델을 투입해서 똑같은 작업을 시켰습니다.

4. 결과: "AI 가 의사를 따라잡다!"

결과는 놀라웠습니다.

• 단순한 정보 찾기: "환자의 성별", "초기 암 단계", "유전자 변이 유무" 같은 정보는 AI 가 의사만큼 99% 이상 정확하게 찾아냈습니다. (비유: 도서관에서 특정 저자의 책을 찾는 것은 AI 가 훨씬 빠르고 정확합니다.)
• 복잡한 정보 찾기 (치료 과정): "어떤 약을 언제 시작해서 언제 멈췄는지"를 줄 (Line) 단위로 정리하는 것은 조금 어려웠지만, AI 의 실력은 두 명의 전문 의사가 서로 다른 기록을 정리했을 때 생기는 오차 범위와 비슷했습니다.
  • 즉, AI 가 의사를 완전히 대체할 수는 없지만, 두 의사가 서로 다른 결론을 내릴 수도 있는 수준까지 성능이 뛰어났습니다.
• 일반 직원과의 비교: AI 는 기존 연구 보조원들보다 훨씬 더 정확하고 빠르게 작업을 해냈습니다. 특히 기록이 방대해질수록 AI 는 실수가 줄어든 반면, 인간은 지쳐서 실수가 늘어났습니다.

5. 가장 중요한 결론: "통계적 진실은 그대로다"

연구팀은 "AI 가 조금씩 틀려도, 전체적인 연구 결과 (예: "약 A 가 생존율을 높인다"는 결론) 는 바뀔까?"를 확인했습니다.

• 비유: 나침반이 조금씩 흔들려도, 결국 '북쪽'을 가리키는 방향은 같습니다.
• 결과: AI 가 정리한 데이터로 생존율이나 치료 효과를 계산해도, 전문 의사가 정리한 데이터와 거의 똑같은 결론이 나왔습니다.

6. 요약 및 의의

이 연구는 **"AI 가 의사의 눈을 대신해서 방대한 의료 기록을 읽을 수 있다"**는 것을 증명했습니다.

• 기대 효과: 앞으로는 수천, 수만 명의 환자 기록을 몇 시간 만에 정리할 수 있게 되어, 더 빠르고 정확한 암 연구가 가능해질 것입니다.
• 주의점: AI 가 100% 완벽하지는 않으므로, 중요한 결정에는 여전히 인간의 확인이 필요하지만, 방대한 데이터를 다루는 '초기 작업'을 AI 가 대신해준다면 의학 연구의 속도가 비약적으로 빨라질 것입니다.

한 줄 요약:

"수천 권의 두꺼운 의료 기록을 사람이 일일이 읽는 대신, 훈련받지 않은 최신 AI 비서에게 맡겼더니 전문 의사 못지않게 정확하게 정리해냈고, 그 결과로 얻은 연구 결론도 완벽하게 일치했습니다."

기술 요약

논문 기술 요약: 오프 - 더 - 쉘 (Off-The-Shelf) 대규모 언어 모델을 활용한 유방 종양학 기록의 자동화 추상화

1. 연구 배경 및 문제 제기 (Problem)

• 수동 차트 추상화의 병목 현상: 임상 연구는 전자의무기록 (EMR) 에서 핵심 변수를 추출하여 구조화된 데이터로 변환하는 과정에 의존합니다. 그러나 이 과정은 수동으로 이루어지며, 노동 집약적이고 일관성 부족의 위험이 있습니다.
• 비구조화 데이터의 한계: 재발, 치료 이력, 생체표지자 등 중요한 임상 변수는 종종 구조화된 필드가 아닌 자유 텍스트 (임상 노트, 병리 보고서 등) 로만 기록되어 있어, 대규모 관찰 연구나 역학 연구의 규모와 질을 제한합니다.
• 기존 AI 접근법의 제약: 기존 연구들은 주로 독점 시스템이나 기관별 데이터로 학습된 맞춤형 모델을 사용했습니다. 이는 재현성, 이식성, 그리고 보호된 건강 정보 (PHI) 에 대한 지역적 통제력을 제한합니다.
• 연구 목표: 미세 조정 (fine-tuning) 이나 기관별 재학습 없이, HIPAA 준수 환경에서 상업적으로 이용 가능한 범용 LLM(Off-the-shelf LLM) 을 사용하여 복잡한 종양학 기록에서 다양한 변수를 신뢰성 있게 추상화할 수 있는지 검증하는 것입니다.

2. 방법론 (Methodology)

• 연구 설계:
  • 대상: 스탠포드 대학의 유방암 코호트에서 무작위 추출된 100 명의 환자 (FoundationOne 검사를 받은 복잡한 치료 이력을 가진 환자군).
  • 데이터: 진단일, 재발일, 임상 병기, 생체표지자, 유전 검사 결과, 전신 치료 (약물, 시기, 목적, 중단 사유) 등 다양한 변수.
  • 기준치 (Reference Standard): 4 명의 유방암 전문의가 수동으로 추상화한 데이터를 기준치로 사용. 치료 이력 추출의 경우 2 번째 전문의와 연구 조원 (Research Coordinators) 을 비교 대상으로 추가.
• 자동화 파이프라인:
  • 데이터 전처리: 원본 텍스트 문서 (병리 보고서, 임상 노트, 약물 기록 등) 를 정제하거나 정규화하지 않고 그대로 사용.
  • 검색 기반 접근 (Retrieval-Augmented Generation):
    • 문서를 문단 단위로 분할 (Chunking) 하고 임베딩.
    • 변수별 관련성 높은 문서 유형을 선정하여 BM25, 정확한 단어 검색, 시맨틱 검색을 결합한 하이브리드 검색 전략 적용.
    • 검색된 텍스트 조각을 LLM 에 전달.
  • 모델: GPT-5, GPT-4o, DeepSeek-R1, Gemini 2.5 Pro 등 4 가지 상용 LLM 을 스탠포드의 SecureGPT 플랫폼을 통해 평가.
  • 프롬프트: 태스크별 맞춤형 프롬프트 사용. 모든 모델에 동일한 텍스트 조각과 프롬프트를 제공 (미세 조정 없음).
• 평가 지표:
  • 일치도: 날짜 변수는 ±90 일 이내, 범주형 변수는 완전 일치 (Exact concordance) 로 정의.
  • 치료 이력: Jaccard 유사도 (약물 및 치료 라인), 정밀도 (Precision), 재현율 (Recall), F1 점수.
  • 하류 분석 (Downstream Analysis): LLM 추출 데이터와 전문가 추출 데이터로 각각 생존 분석 (Overall Survival, Recurrence-Free Survival) 및 위험비 (Hazard Ratio) 추정을 수행하여 통계적 일관성 확인.

3. 주요 결과 (Key Results)

• 데이터 규모: 환자 100 명당 중앙값 3,100 페이지 (약 230 만 토큰) 의 텍스트를 처리.
• 비치료 변수 추상화 성능:
  • 재발 여부: 99% 일치.
  • 유전 변이 (BRCA1/2): 100% 검출.
  • 호르몬 수용체 (HR) 및 HER2 상태: 각각 99%, 96% 일치.
  • 임상 병기: 91% 일치.
  • PIK3CA 및 ESR1 변이: 각각 91%, 90% 일치.
  • 결론: 병리 보고서 기반 변수는 매우 높은 정확도를 보였으며, 복잡한 임상 추론이 필요한 변수는 다소 낮았으나 90% 이상을 달성한 모델이 다수 존재.
• 전신 치료 (Systemic Therapy) 추상화:
  • 약물 추출: 최상위 LLM 의 성능은 2 번째 전문의 간의 상호 변동성 (Inter-oncologist variability) 과 유사한 수준 (Jaccard 유사도 0.90~0.91) 에 도달.
  • 치료 라인 재구성: 환자 단위 평균 성능은 2 번째 전문의보다 9% 포인트 낮았으나, LLM 간 불일치는 전문의 간 불일치와 유사함.
  • 연구 조원 vs LLM: 모든 LLM 이 연구 조원보다 치료 추상화 성능이 우수함 (특히 대규모/장기 차트에서 LLM 성능이 안정적임).
• 하류 통계적 추론:
  • 생존 분석: LLM 추출 데이터와 전문가 추출 데이터 간의 전체 생존율 (Median OS: 78.2 개월) 및 무재발 생존율 (Median RFS: 34.9 개월) 곡선이 통계적으로 유의미한 차이가 없음 (Log-rank p > 0.9).
  • 위험비 (Hazard Ratio): 병기 및 호르몬 수용체 상태에 따른 사망 위험비 추정이 두 데이터셋 간에 매우 유사하게 유지됨.
• 외부 검증: 임신 전 유방암 진단을 받은 97 명의 젊은 환자 코호트에서 재발 탐지 및 보조 호르몬 치료 사용 여부 추상화 시에도 유사한 성능을 보임.

4. 주요 기여 및 의의 (Key Contributions & Significance)

• 미세 조정 없는 범용 LLM 의 유효성 입증: 기관별 데이터 학습이나 미세 조정 없이도, 범용 LLM 이 복잡한 종양학 기록에서 연구 등급의 데이터를 추출할 수 있음을 실증.
• 실용적인 확장성: HIPAA 준수 환경에서 상업용 LLM 을 활용하는 오픈 소스 파이프라인을 제시하여, 다기관 연구 시 데이터 공유 없이도 표준화된 추상화 파이프라인을 공유할 수 있는 길을 열었음.
• 전문가 수준의 성능: 핵심 변수 (재발, 생체표지자, 치료 이력) 에 대해 전문가 간의 변동성 수준에 근접하는 성능을 달성하여, 대규모 코호트 연구 구축의 병목 현상을 해결할 가능성을 제시.
• 통계적 타당성: 개별 환자 수준의 오차가 있더라도, 코호트 수준의 생존 분석 및 역학 추론 (Hazard Ratio 등) 은 왜곡되지 않음을 확인하여 연구 결과의 신뢰성을 뒷받침.

5. 결론 (Conclusion)

이 연구는 고정된 검색 파이프라인과 오프 - 더 - 쉘 범용 LLM 을 사용하여 복잡한 종양학 기록에서 임상적으로 의미 있는 변수를 자동 추상화할 수 있음을 입증했습니다. 병리 기반 변수에서는 매우 높은 정확도를 보였으며, 치료 이력 추출에서는 전문가 간 변동성 수준에 근접했습니다. 비록 개별 환자 수준에서 완벽하지는 않지만, 대규모 연구 등급의 후향적 데이터셋 구축을 가능하게 하여 임상 연구의 규모와 질을 획기적으로 향상시킬 수 있는 실용적인 접근법을 제시했습니다.