Privacy-Preserving Local Language Models for Longitudinal Data Retrieval in Chronic Dermatologic Disease: Implementation in Pemphigus Patients

기술 요약: 천포창에서 종단적 데이터 검색을 위한 개인정보 보호형 로컬 언어 모델

문제 제기
천포창과 같은 만성 피부과 질환은 평생에 걸친 추적이 필요하여 방대하고 이질적인 종단적 임상 문서화를 초래합니다. 일상적인 진료에서 임상가는 관리 결정을 내리기 위해 다양한 의사가 작성한 수년에 걸친 방문 기록을 종합하는 데 상당한 어려움을 겪습니다. 현재 부분적인 차트 검토나 이전 문서의 복사-붙여넣기에 의존하는 방식은 변이성을 유발하고 중요한 과거력 세부 사항 (예: 이전 리툭시맙 노출, 누적 코르티코스테로이드 독성, 또는 중증 감염) 을 간과할 위험을 증가시킵니다. 인공지능 (AI) 과 대규모 언어 모델 (LLM) 은 임상 요약에 잠재력을 제공하지만, 기존 솔루션은 종종 클라우드 기반 추론에 의존하여 환자 개인정보 보호, 데이터 거버넌스, 그리고 엄격한 의료 환경에서의 배포 가능성에 대한 우려를 제기합니다. 또한, 대부분의 연구는 짧은 텍스트나 합성 작업에 초점을 맞추고 있을 뿐, 실제 세계의 수년에 걸친 종단적 기록을 다루지는 않습니다.

방법론
본 후향적 사례 시리즈는 원시 및 비처리된 피부과 추적 기록에서 구조화된 임상 특성을 검색하고 종단적 요약을 생성하도록 설계된 완전히 로컬에 기반한 개인정보 보호형 소형 언어 모델 (SLM) 시스템을 평가했습니다.

• 데이터셋: 본 연구는 이스탄불 연구 및 교육 병원에서 치료받은 30 명의 천포창 환자 데이터를 활용했습니다. 데이터셋은 30 개의 완전한 종단적 기록으로 집계된 541 개의 방문 기록 (총 89,336 단어) 으로 구성되었습니다. 수동 요약이나 전처리는 적용되지 않았으며, 기록은 병원 정보 시스템 (DermaBase) 에서 직접 추출되었습니다.
• 정답 데이터 (Ground Truth): 두 명의 전문 피부과 의사가 56 가지 임상 관련 특성 (범주형, 수치형, 날짜 기반) 을 주석하고 각 환자에 대한 임상가용 최종 보고서를 생성하여 정답 데이터로 삼았습니다.
• 모델 및 배포: 시스템은 LM Studio 를 통해 워크스테이션 (RTX 4090, 24GB VRAM, 96GB RAM) 에 로컬로 배포된 Qwen3 4B Thinking 2507 모델을 사용했습니다. 데이터 개인정보 보호를 보장하기 위해 인터넷 접속은 차단되었습니다.
• 추론 절차:
  • 모델은 각 환자의 전체 종단적 기록을 단일 입력 (90,000 토큰의 컨텍스트 길이) 으로 처리했습니다.
  • 추론은 두 단계로 수행되었습니다. 첫째, 56 가지 특정 구조화된 특성을 검색하고, 둘째, 자유 텍스트 요약 보고서 (current_status) 를 생성했습니다.
  • 모델의 의료 도메인 훈련 부재를 해결하기 위해 표준화된 정의가 필요한 특성을 위한 프롬프트에 최소한의 설명적 맥락 (예: 골다공증을 위한 특정 T-점수 임계값) 을 직접 포함시켰습니다.
  • 안정성을 평가하기 위해 환자당 10 회씩 추론 절차를 반복하여 총 16,800 회의 추론을 수행했습니다.
• 평가:
  • 구조화된 특성: 전문가 주석에 대한 정확한 일치 (exact-match) 정확도로 평가했습니다.
  • 자유 텍스트 요약: 자동화 지표 (BLEU, ROUGE) 와 20 년 이상 경력의 두 명의 전문 피부과 의사가 수행한 이중 맹검 인간 평가를 통해 전체 품질, 임상 정확도, 유용성에 대해 10 점 리커트 척도로 평가했습니다.

주요 결과

• 특성 검색: 시스템은 1,680 개의 특성 검색 작업에서 평균 정확도 **82.25%**를 달성했습니다. 성능은 데이터 유형에 따라 다양했습니다:
  • 범주형 특성: 86.34%
  • 날짜 기반 특성: 80.56%
  • 수치형 특성: 70.61% (오류는 주로 거시적 오분류가 아닌 부정확한 추출과 관련됨).
• 보고서 생성:
  • 자동화 텍스트 유사도 점수는 중간 수준이었습니다 (BLEU: 0.36; ROUGE-1: 0.52). 모델이 생성한 보고서는 추가 설명적 논평으로 인해 정답 보고서보다 약 107% 더 길었습니다.
  • 전문가 평가: 피부과 의사는 AI 가 생성한 요약을 높게 평가했습니다:
    • 전체 품질: 8.23 – 8.47
    • 임상 정확도: 7.93 – 8.20
    • 임상 유용성: 8.47 – 8.50
  • 선호도: 평가의 53.3% (32/60) 에서 전문가들은 임상가가 생성한 정답 데이터보다 AI 가 생성한 보고서를 선호했습니다.
• 성능: 시스템은 약 130 토큰/초의 유리한 추론 속도를 보여 근접 실시간 임상 사용을 지원했습니다.

주요 기여

1. 개인정보 보호형 구현: 본 연구는 민감한 수년에 걸친 환자 기록을 처리할 때 데이터가 병원 인프라를 벗어나지 않도록 완전히 로컬 (오프라인) 로 배포된 유능한 SLM 의 실행 가능성을 입증했습니다.
2. 종단적 종합: 단일 방문 기록에 초점을 맞춘 이전 연구와 달리, 본 연구는 이질적인 임상 서술에 걸친 수년의 정보를 종합하여 구조화된 데이터를 추출하고 일관된 요약을 생성하는 SLM 의 능력을 검증했습니다.
3. 실제 세계 평가: 평가는 병원 시스템에서 직접 추출된 원시 비구조화 임상 기록을 사용하여 문서화 불일치, 환각 위험, 임상적 모호성 처리 (예: '의심'과 '확인된' 진단 구분) 를 위한 프롬프트 정제 필요성과 같은 실제 세계의 과제를 포착했습니다.
4. 작업별 모델 행동: Qwen3 "Thinking" 모델은 엄격한 구조화 추출보다 서술적 종합 및 보고서 생성에 더 적합하다는 결과가 도출되어, 모델 선택은 특정 임상 워크플로우에 의해 주도되어야 함을 시사합니다.

의의 및 주장
본 논문은 개인정보 보호형 로컬 배포 SLM 이 임상적으로 의미 있는 종단적 요약을 신뢰성 있게 생성할 수 있으며, 특정 평가에서는 선호도와 유용성 측면에서 인간 전문가를 능가하거나 일치시킬 수 있다고 주장합니다. 저자들은 이러한 시스템을 자율적 의사결정자가 아닌 일상적 추적 중 임상가의 업무량과 인지 부하를 줄이기 위한 지원 도구로 위치시킵니다.

본 연구는 로컬 언어 모델이 종단적 데이터 검색에 유망한 전망을 보이지만, 환각을 완화하고 문서화 불일치를 해결하기 위해 신중한 프롬프트 엔지니어링이 실제 세계 배포에 필요하다고 결론지었습니다. 향후 연구는 업무량 감소에 대한 전향적 평가, 다른 만성 질환으로의 확장, 그리고 사실성을 더욱 개선하기 위한 검색 증강 생성 (RAG) 통합에 초점을 맞출 것을 제안합니다. 저자들은 단일 중심 설계와 질환의 희귀성으로 인해 더 넓은 검증을 위해 대규모 다중 중심 데이터셋이 필요하다는 제한점을 인정하며 겸손한 입장을 유지하고 있습니다.