Longitudinal effects ambient AI scribe use on documentation burden and financial productivity: A quasi-experimental study

이 준실험 연구는 150 일간의 종단적 관찰을 통해 의료진이 환경형 AI 필기 도구를 점진적으로 적응해 나가는 과정에서 문서 작성 시간과 재정적 생산성이 지속적으로 개선됨을 입증했습니다.

핵심

🍳 핵심 비유: "새로운 자동 조리 기계"를 도입한 주방

想像해 보세요. 병원은 거대한 주방이고, 의사들은 요리사입니다. 환자를 진료하는 것은 손님을 위한 요리를 만드는 과정이고, **진료 기록 (EHR)**은 그 요리의 레시피를 적어두는 일입니다.

과거에는 요리사들이 손으로 레시피를 직접 적느라 너무 바빠서, 요리를 하는 시간보다 적는 시간이 더 길었습니다. 그래서 **'AI 비서'**라는 새로운 자동 조리 기계 (환자와 대화하는 소리를 듣고 자동으로 레시피 초안을 만들어주는 도구) 를 도입했습니다.

이 연구는 **"이 기계가 도입된 직후와 5 개월 (150 일) 후, 요리사들의 일과가 어떻게 변했는지"**를 기록한 것입니다.

📊 주요 발견 사항 (시간이 지날수록 달라진 점)

연구팀은 단순히 "도입 전 vs 도입 후"를 비교하는 것이 아니라, 도입 당일 (0 일) 에서 150 일까지의 변화 과정을 자세히 살펴봤습니다. 결과는 다음과 같습니다.

1. 레시피 적는 시간 (문서 작성 시간)

• 초기 (0 일): 기계가 도입되자마자 레시피 적는 시간이 약 7% 줄었습니다. (새 도구를 써서 바로 효과가 느껴진 것)
• 후기 (150 일): 시간이 지날수록 요리사들이 기계에 더 익숙해지면서, 레시피 적는 시간이 약 15%나 더 줄었습니다.
  • 비유: 처음엔 기계가 조금 낯설어서 덜 효과적이었지만, 요리사들이 기계의 단점을 보완하고 장점을 활용하는 방법을 터득하면서 시간이 더 많이 절약된 것입니다. 일주일당 약 1 시간 이상의 시간이 아껴졌습니다.

2. 집 밖에서 일하는 시간 (야근 및 '잠옷 시간')

• 초기 (0 일): 처음엔 야근이나 퇴근 후 (잠옷을 입고) 일하는 시간이 줄어들지 않았습니다. 새로운 도구를 익히는 데 에너지를 쏟느라 오히려 적응 기간이 필요했던 것입니다.
• 후기 (150 일): 5 개월이 지나자 야근 시간은 13%, 퇴근 후 일하는 시간 (잠옷 시간) 은 18%나 줄었습니다.
  • 비유: 처음엔 새로운 기계가 고장 나거나 작동법이 헷갈려서 집에서도 고쳐야 했지만, 5 개월 뒤엔 기계가 완벽하게 작동해서 요리사들이 일찍 퇴근하고 가족과 시간을 보낼 수 있게 된 것입니다.

3. 레시피의 길이와 마감 시간

• 초기: 기계가 만들어준 초안을 보고 "아, 이걸로 충분하구나!"라고 생각한 요리사들이 레시피를 더 길게 쓰거나, 24 시간 안에 빨리 마무리하는 경향이 있었습니다.
• 후기: 시간이 지나자 이 경향은 사라졌습니다. 요리사들이 **"이 기계가 알아서 다 해주는구나"**라고 확신하게 되자, 굳이 긴 레시피를 쓰거나 급하게 마감할 필요가 없어졌기 때문입니다. 오히려 더 여유롭게 일하게 된 것입니다.

4. 수익 (환자 진료 건수 및 수익)

• 초기: 수익에는 큰 변화가 없었습니다.
• 후기: 150 일 뒤에는 약 2% 의 수익 증가가 있었습니다.
  • 비유: 레시피를 적는 시간이 줄어들고 야근이 사라지자, 요리사들이 더 많은 손님을 맞이할 여유가 생겼거나, 더 꼼꼼하게 기록해서 보험 청구 (수익) 를 더 잘하게 된 것입니다.

💡 이 연구가 우리에게 주는 교훈

이 연구의 가장 중요한 메시지는 **"새로운 기술은 도입하자마자 완벽해지지 않는다"**는 점입니다.

• 기다림이 필요합니다: AI 비서를 도입하자마자 "아, 바로 효과가 있네!"라고 생각하기보다, 최소 5 개월 정도는 적응 기간으로 봐야 합니다.
• 적응의 과정: 처음엔 도구 사용법이 낯설고, 오히려 일정이 바뀔 수도 있습니다. 하지만 시간이 지나면 의료진들이 그 도구를 자신의 업무 흐름에 자연스럽게 녹여내어, **처음 예상했던 것보다 더 큰 효과 (시간 절약, 삶의 질 향상)**를 얻게 됩니다.

🏁 결론

이 연구는 **"AI 비서는 마법 지팡이가 아니라, 시간이 지나면 점점 더 잘 작동하는 '스마트한 조수'입니다"**라고 말합니다.

병원과 의료진이 이 도구를 도입할 때는 **"도입하자마자 모든 문제가 해결될 거야"**라고 기대하기보다, **"최소 5 개월은 함께 적응해 가는 과정"**으로 생각하며 기다려준다면, 결국 의료진은 더 많은 시간을 환자 (손님) 에게 집중할 수 있고, 더 일찍 퇴근하여 삶의 균형을 찾을 수 있다는 희망적인 결론을 내립니다.

기술 요약

논문 개요: 환경형 AI 스크라이브 사용의 장기적 영향에 대한 준실험적 연구

이 연구는 의료 기록 (EHR) 작성 부담을 줄이고 생산성을 높이기 위해 도입된 **환경형 AI 스크라이브 (Ambient AI Scribe)**의 효과가 시간에 따라 어떻게 진화하는지를 분석한 종단적 (Longitudinal) 연구입니다. 기존 연구들이 단일 시점 (Pre-post) 측정에 의존하여 실제 영향을 왜곡할 수 있다는 한계를 극복하기 위해, 150 일 간의 적응 과정을 정량적으로 평가했습니다.

1. 연구 배경 및 문제 제기 (Problem)

• EHR 작성 부담: 최근 10 년간 전자의무기록 (EHR) 사용으로 인한 문서화 부담이 급증하여 의사 소진 (Burnout) 과 업무 - 생활 균형 저하를 초래했습니다. 환자를 대면하는 1 시간당 약 2 시간의 추가 문서 작업이 발생한다는 연구 결과가 있습니다.
• AI 스크라이브의 잠재력과 한계: 대화 내용을 기반으로 초안을 생성하는 AI 스크라이브는 문서화 시간을 줄일 수 있는 잠재력이 있으나, 기존 연구들은 다음과 같은 방법론적 한계를 가집니다.
  • 단일 시점 측정: 도입 전후 (Pre-post) 2 시점만 측정하여 사용자의 적응 (Adaptation) 과정을 놓침.
  • 집계된 데이터 의존: 벤더 제공 지표 (예: Epic Signal) 를 사용하여 환자 encounter(진료) 단위 변이성을 통제하지 못함.
  • 상반된 결과: 문서화 시간 절감 효과에 대해 긍정적, 부정적, 혹은 미미한 결과가 혼재되어 있음.

2. 연구 방법론 (Methodology)

• 연구 설계: 준실험적 (Quasi-experimental) 단절 시계열 (Interrupted Time Series, ITS) 설계.
• 대상 및 설정:
  • 미국 중서부 대형 의료 시스템 (WashU Medicine 및 BJC Health System) 의 36 개 진료소.
  • 2024 년 1 월 5 일부터 2025 년 10 월 31 일까지의 48 주 (도입 전 24 주, 도입 후 24 주) 기간.
  • 참가자: 220 명의 주치의 (Attending Physicians) 및 고급 진료 제공자 (APPs). 총 314,845 건의 환자 진료 기록 포함.
  • 개입: Abridge Inc. 의 환경형 AI 스크라이브가 Epic EHR 에 통합되어 각 진료과에 도입된 시점을 'Day 0'으로 설정.
• 데이터 수집: Epic EHR 의 User Action Log Lite 테이블에서 추출.
  • 주요 결과 지표 (Outcomes):
    1. 문서 작성 시간 (Note writing time)
    2. 예정 시간 외 작업 시간 (TOSH, Time Outside Scheduled Hours)
    3. 야간 작업 시간 (Pajama time, 17:30~07:00)
    4. 노트 길이 (Note length, 문자 수)
    5. 24 시간 내 노트 마감률 (Note closure <24h)
    6. 청구된 업무 상대 가치 단위 (wRVU, Financial productivity)
• 통계 분석:
  • 베이지안 비선형 단절 시계열 모델 (Bayesian Non-linear Interrupted Time Series Model):
    • 사전 기간 (Pre-period) 데이터를 기반으로 시계열의 일반적인 변이성을 학습.
    • 사후 기간 (Post-period) 에서 비선형 개입 효과를 모델링하기 위해 일반화 가법 모델 (GAM) 및 잠재 자기회귀 항 (Latent Autoregressive term) 사용.
    • ITT(의도치료) 프레임워크: AI 스크라이브 접근 권한을 받은 모든 의사를 '처리군'으로 간주.
  • 측정: p-value 대신 95% 신뢰구간 (Credible Intervals) 을 사용하여 불확실성을 정량화.

3. 주요 연구 결과 (Key Results)

연구는 도입 초기 (Day 0) 와 적응이 진행된 후 (Day 150) 의 효과를 비교했습니다.

지표 (Outcome)	도입 초기 (Day 0) 효과	장기적 효과 (Day 150)	비고
문서 작성 시간	즉시 7% 감소 (IRR 0.93)	15% 감소 (IRR 0.85)	주당 약 68 분의 시간 절감 효과로 확대
야간 작업 (Pajama Time)	유의한 변화 없음	18% 감소 (IRR 0.82)	주당 약 34 분 절감. 적응이 필요함.
예정 시간 외 작업 (TOSH)	유의한 변화 없음	13% 감소 (IRR 0.87)	주당 약 15.6 분 절감
노트 길이	5% 증가 (IRR 1.05)	기저 수준으로 회귀 (유의성 없음)	초기에는 길어졌으나 시간이 지나며 감소
24 시간 내 마감률	31% 증가 (IRR 1.31)	기저 수준으로 회귀 (유의성 없음)	초기에는 급격히 개선되었으나 이후 감소
재무 생산성 (wRVU)	유의한 변화 없음	2% 증가 (IRR 1.02)	주당 약 4.4 wRVU 증가 (의사만 해당)

• 적응 과정의 발견: 모든 지표가 시간에 따라 변화했습니다. 특히 노트 길이와 24 시간 마감률은 도입 초기에 급격히 개선되었으나, 시간이 지나면서 다시 기저 수준으로 돌아왔습니다. 이는 의사가 AI 도구를 워크플로우에 통합하면서 행동 패턴을 조정했음을 시사합니다.
• 생산성: 재무적 생산성 (wRVU) 증가는 미미했으나 (2%), 의사 (Physician) 와 APP 간 차이가 있었으며, 의사의 경우 3% 증가 효과를 보였습니다.

4. 주요 기여 및 의의 (Contributions & Significance)

• 종단적 관점의 도입: 기존 연구의 '단일 시점' 한계를 극복하고, AI 도구 도입 후 150 일 간의 점진적 적응 과정을 포착했습니다. 이는 기술 도입 초기와 장기적 사용 단계에서의 효과가 다를 수 있음을 보여줍니다.
• 환자 단위 (Encounter-level) 분석: 벤더 제공 집계 데이터가 아닌, EHR 로그를 기반으로 한 **환자 진료 단위 (Patient-encounter level)**의 정밀한 데이터를 사용하여 교란 변수 (진료 유형, wRVU 등) 를 통제했습니다.
• 행동 변화의 역동성 규명:
  • 초기: AI 가 생성한 초안을 바탕으로 노트를 빠르게 작성하고 마감하는 경향 (노트 길이 증가, 마감률 급증).
  • 장기: 의사가 AI 를 활용하여 인지적 부하를 줄이고, 노트 작성 시점을 유연하게 조정하거나 (야간 작업 감소), 노트 길이를 최적화하는 등 워크플로우의 재구성이 발생함.
• 실무적 시사점: AI 스크라이브는 도입 즉시 극적인 생산성 향상을 가져오기보다는, 의사가 도구를 숙지하고 워크플로우에 통합하는 점진적인 적응 (Gradual Adaptation) 과정을 거쳐야 그 효과가 극대화됨을 시사합니다. 따라서 조직은 도입 초기의 일시적 성과에 만족하지 말고 장기적인 모니터링과 교육이 필요함을 강조합니다.

5. 결론

이 연구는 환경형 AI 스크라이브가 문서 작성 시간과 야간 작업을 유의미하게 줄여주지만, 그 효과가 도입 초기와 150 일 후에서 다르게 나타난다는 것을 입증했습니다. 특히 점진적인 적응 과정을 통해 시간 절감 효과가 증대되고 (15% 감소), 야간 작업이 줄어들며, 장기적으로는 재무적 생산성에도 미미하지만 긍정적인 영향을 미친다는 사실이 확인되었습니다. 이는 의료 AI 도입 전략 수립 시 장기적인 관점에서의 평가와 지원이 필수적임을 시사합니다.