Examine Clinicians' Modification of Hedging Language in Ambient AI Documentation: A Comparative Study of AI Drafts and Final Notes

기술 요약: 앰비언트 AI 문서화 과정에서의 임상의의 헤징(Hedging) 언어 수정 양상

문제 제기
앰비언트 인공지능(AI) 문서화 시스템은 자동 음성 인식(ASR)과 생성형 AI(GenAI)를 활용하여 환자-임상의 간의 대화를 임상 기록 초안으로 변환한다. 이러한 도구들은 문서 작성 부담을 줄이는 것을 목표로 하지만, 임상의들은 전자 건강 기록(EHR)에 최종 저장하기 전 이러한 초안을 일상적으로 수정한다. 임상의가 '불확실성, 모호함, 또는 잠정적인 임상적 추론'을 나타내는 어휘적 및 구문적 단서(예: "일 수도 있다", "가능성이 높다", "배제할 수 없다")인 '헤징 언어(hedging language)'를 어떻게 구체적으로 수정하는지에 대한 이해에는 중요한 격차가 존재한다. 선행 연구는 임상의들이 헤징을 필수적인 위험 관리 및 의사소통 전략으로 간-다고 보고 있으나, AI 초안이 불확실성을 과소 혹은 과대 표현하는지, 그리고 임상의가 편집 과정에서 이 언어를 어떻게 재조정하는지는 여전히 불분명하다. 또한, 이러한 편집 패턴이 서로 다른 AI 벤더나 다양한 임상 전문 분야에 따라 유의미하게 달라지는지도 알려져 있지 않다.

연구 방법론
본 연구는 2023년 하반기 캘리포니아 대학교 헬스 시스템(UC Health)의 98,311개 앰비언트 AI 초안과 그에 대응하는 임상의 최종 확정 노트를 바탕으로 62,811개의 노트 섹션에 대한 쌍체 분석(paired analysis)을 수행하였다. 데이터는 두 개의 상업용 벤더(Vendor A 및 Vendor B)와 일차 진료 및 32개 전문 진료 환경을 포함하였다.

• 데이터 처리: 연구진은 문장 단위의 쌍별 유사도 점수를 사용하여 초안과 최종 노트를 정렬하였다. 문장은 "동일(equal)", "삭제(drops)", "삽입(inserts)", 또는 "교체(replacements)"로 분류되었다. 주요 분석은 임상의가 초안 텍스트를 직접 수정한 '교체 구간(replacement spans)'에 집중하였으며, 이는 대칭적인 편집 전/후 비교 단위를 제공한다.
• 헤징 어휘 사전: 기존 문헌과 CoNLL-2010 리소스를 바탕으로 536개의 고유한 헤징 용어로 구성된 큐레이션된 어휘 사전을 구축하였다. 세 명의 독립적인 검토자가 각 용어의 방향성 효과(확실성 증가: -1, 불확실성 증가: 1, 중립: 0)를 주석 처리하였다. 검토자 간 일치도는 상당하였다 (Fleiss' $\kappa$ = 0.72).
• NLP 파이프라인: 헤징 용어 언급을 탐지하고 단언 레이블(assertion labels)을 할당하기 위해 SciSpaCy와 EntityRuler를 사용한 규칙 기반 임상 NLP 파이프라인을 개발하였다.
• 통계 분석:
  • 유병률(Prevalence): 편집 전과 후의 교체 구간 내에서 헤징의 존재 여부와 빈도를 비교하기 위해 McNemar 테스트와 일방향 Wilcoxon 부호 순위 검정을 사용하였다.
  • 방향성(Directionality): "순 교체 점수(replace net score)"(추가 점수에서 삭제 점수를 뺀 값)를 계산하여 편집이 텍스트를 더 높은 확실성 또는 더 높은 불확실성 쪽으로 이동시켰는지 결정하였다. 일방향 Wilcoxon 부호 순위 검정을 통해 순 점수가 0에서 유의미하게 벗어나는지 평가하였다.
  • 층화 분석(Stratification): 분석은 벤더별, 의료진 그룹별(일차 진료 vs. 전문 진료), 그리고 개별 전문 분야별로 층화되었으며, Chi-square, Mann–Whitney U, Kruskal–Wallis 테스트를 활용하였다.

주요 기여

1. 편집 패턴의 정량화: 본 연구는 임상의가 AI 생성 초안의 헤징 언어를 어떻게 수정하는지에 대한 최초의 세밀한 쌍체 분석을 제공하며, 새로운 헤징의 도입과 기존 헤징의 제거를 구분한다.
2. 방향성 지표: 편집의 "방향성"을 측정하는 정량적 프레임워크를 도입하여, 임상의의 수정이 확실성을 높이기보다는 체계적으로 불확실성을 높이는 방향으로 이동함을 입증하였다.
3. 맥락적 이질성: 연구는 서로 다른 AI 벤더와, 특히 다양한 임상 전문 분야 간에 나타나는 헤징 수정 패턴의 유의미한 차이를 규명하였다.

결과

• 헤징의 유병률: 임상의들은 헤징이 있던 텍스트에서 헤징을 제거하기보다, 헤징이 없던 텍스트에 헤징을 도입할 가능성이 유의미하게 높았다. 교체 구간에서 4,803개 섹션이 "헤징 없음"에서 "헤징 있음"으로 전환된 반면, 3,135개 섹션만이 "헤징 있음"에서 "헤징 없음"으로 전환되었다 ($P < 0.001$). 편집 후의 텍스트는 편집 전보다 유의미하게 더 많은 헤징 언급을 포함하였다.
• 방향성: 방향성 있는 헤딩 편집이 발생한 섹션들 중, 전체적으로 더 큰 불확실성을 향한 뚜렷한 경향이 나타났다. 방향성 있는 편집이 있는 섹션들의 평균 순 교체 점수는 양수(0.23, $P < 0.001$)였다. 구체적으로, 5.48%의 섹션이 더 큰 불확실성 쪽으로 이동한 반면, 4.01%는 더 큰 확실성 쪽으로 이동하였다.
• 벤더 차이: 두 벤더 모두 불확실성을 증가시키는 경향을 보였으나, Vendor B(평균 순 점수 0.34)가 Vendor A(0.20)보다 더 강한 변화를 보였다. 편집 후 헤징 유병률 또한 벤더 간에 유의미한 차이를 보였다 (10.9% 대 10.2%).
• 전문 분야 차이: 일차 진료(PCP)와 전문 진료는 유사한 방향성 경향을 보였다. 그러나 개별 전문 분야를 분석했을 때 상당한 이질성이 드러났다. 예를 들어, 피부과와 류마티스 내과는 가장 높은 평균 순 교체 점수(각각 0.49와 0.38)를 기록하여 불확실성을 높이는 강한 경향을 보인 반면, 내분비내과는 음의 순 점수(-0.26)를 기록하여 더 높은 확실성 쪽으로의 변화를 보였다.

의의 및 주장
본 논문은 임상의의 앰비언트 AI 초안 편집이 단순한 사실 오류의 수정을 넘어, 불확실성을 체계적으로 재조정하는 과정이라고 주장한다. 이러한 결과는 앰비언트 AI 초안이 충분한 헤징을 갖추지 못해, 임상의가 임상적 추론의 잠정적 성격 및 위험 관리 관행에 부합하도록 질적 표현을 능동적으로 추가하게 만든다는 점을 시사한다.

저자들은 이러한 패턴이 벤더를 가리지 않고 나타나는 현상임을 지적하며, 현재의 AI 모델이 임상적 맥락 내에서 불확실성 언어를 적절히 구현하지 못하고 있을 가능성을 시사한다. 관찰된 전문 분야별 이질성은 "일률적인(one-size-fits-all)" 방식의 AI 문서화 접근법이 불충분할 수 있음을 의미하며, 대신 진단적 모호성과 증거의 강도를 더 잘 나타낼 수 있도록 전문 분야별 맞춤형 튜닝이 필요함을 시사한다. 본 연구는 헤징 재조정 과정을 이해하는 것이 AI 생성 노트의 신뢰성을 높이고 임상의의 불필요한 수정 부담을 줄이는 데 필수적이라고 결론짓는다.

저자들이 밝힌 한계점으로는 교체 구간에 집중한 점(삭제/삽입 텍스트 분석 제외), 사회인구학적 통제의 부재, 그리고 케이스 믹스(case-mix) 차이를 고려하기 위한 다변량 모델링의 부재 등이 있다.