VozConsultAI: A Provider-Agnostic Architecture and a Clinically Grounded Evaluation of Open-Weight Large Language Models for SOAP Note Extraction in Brazilian Portuguese Telehealth

기술 요약: VozConsultAI

문제 정의
임상 기록 작성은 의료 전문가들의 시간 중 상당 부분을 소비하며, 이는 번아웃의 주요 원인으로 작용하고 있습니다. 이러한 문제는 브라질의 통합보건시스템(SUS)과 같은 대규모 공공 의료 체계에서 텔레헬스(원격 의료)가 급격히 확장됨에 따라 더욱 심화되고 있습니다. 현재 전자 건강 기록(EHR) 데이터의 약 80%는 비구조화된 서술형 텍스트로 남아 있어, 상호운용성과 임상 의사결정 지원을 제한하고 있습니다. 브라질의 맥락에서 이 문제는 포르투갈어에 특화된 도구의 부족과 일반 데이터 보호법(LGPD)에 따른 엄격한 데이터 주권 제약으로 인해 더욱 복잡해집니다. 상용 앰비언트 스크라이브(Ambient Scribe) 솔루션들은 주로 영어 중심적이고 독점적이며, 민감한 환자 데이터를 제3자 클라우드 인프라로 라우팅해야 하므로 데이터 거주성 및 기관의 통제권을 요구하는 법적 요구사항과 충돌합니다.

방법론 및 아키텍처
본 논문은 텔레컨설테이션(원격 진료) 오디오를 전사하고, 이를 브라질 포르투갈어로 된 SOAP(Subjective, Objective, Assessment, Plan) 노트로 자동 구조화하도록 설계된 엔드 투 엔드 솔루션인 VozConsultAI를 제시합니다. 이 시스템은 세 가지 핵심 방법론적 기둥을 기반으로 구축되었습니다:

1. 공급자 불가지론적 마이크로서비스 아키텍처(Provider-Agnostic Microservice Architecture): 시스템은 텔레헬스 애플리케이션과 실행 엔진을 분리하기 위해 "전사 브로커(Transcription Broker)"를 채택합니다. 주요 설계 원칙은 다음과 같습니다:

   • 디커플링(Decoupling): 외부 경계(브로커), 오케스트레이션(게이트웨이), 실행(워커)의 분리.
   • 신뢰성: 일관된 해싱을 통한 요청별 FIFO 순서 보장, 최소 한 번 전달(at-least-once delivery)의 멱등성 처리를 통한 중립화, 리스(lease) 기반 실패 탐지를 통한 고립된 작업의 자동 복구.
   • 추상화: 이질적인 자동 음성 인식(ASR) 제공업체(예: Google, AWS, Azure, OpenAI 또는 자체 호스팅된 Whisper)의 응답을 정규화된 형식으로 변내기 위한 어댑터 계층. 이를 통해 A/B 테스트가 가능하며, LGPD 요구사항을 충족하기 위해 민감한 오디오를 온프레미스에 유지할 수 있습니다.

2. SOAP 추출 전략: 프로젝트는 전사 텍스트를 구조화된 노트로 변환하기 위해 세 가지 전략을 조사합니다:

   • 프롬프트 엔지니어링(Prompt Engineering): 환각(hallucination)을 방지하기 위해 구조화된 JSON 스키마와 엄격한 제약 조건을 가진 지시 이행형 LLM 사용.
   • 하이브리드 분류-생성(Hybrid Classification-Generation): 전사 텍스트를 문장 단위로 분할하고, 미세 조정된 BERT 계열 인코더를 사용하여 이를 SOAP 카테고리로 분류한 후, 생성 모델을 통해 통합.
   • 미세 조정된 생성(Fine-Tuned Generation): 공공 부문의 하드웨어 제약 조건에 맞추기 위해 매개변수 효율적 방법(LoRA/QLoRA)을 사용하여 합성 및 실제 전사-SOAP 쌍에 로컬 생성 모델을 적응시킴.

3. 임상 근거 기반 평가 프로토콜(Clinically Grounded Evaluation Protocol): 전통적인 n-gram 중첩(ROUGE/BLEU)이나 일반적인 의미론적 유사성을 넘어, 저자들은 세 가지 직교 차원에 기반한 안전 가중치 평가 프레임워크를 제안합니다:

   • 의미 및 구조적 정확성(Semantic and Structural Correctness, SSC): 생성된 콘텐츠가 의미적으로 정확하고 적절한 SOAP 섹션에 할당되었는지 측정.
   • 정보 커버리지 및 완결성(Information Coverage and Completeness, ICC): 참조 정보가 포착된 비율을 측정하며, 누락에 대해 페널티를 부여.
   • 임상 근거 지수(Clinical Grounding Index, CGI): 모든 생성 단위가 원본 전사 텍스트에 명시적인 텍ole 지원이 있는지 확인하여 환각을 명시적으로 처벌.
   • 이들은 안전을 우선시하기 위해 CGI에 높은 가중치를 두는(4:3:3 비율) **임상 문서 품질 지수(Clinical Documentation Quality Index, CDQI)**로 통합됩니다.

실험 결과
저자들은 브라질 포르투갈어 SOAP 추출을 위한 오픈 웨이트 대규모 언어 모델(LLM)의 첫 번째 비교 벤치마크를 수행했습니다. 연구에서는 6개 의학 전문 분야의 30개 합성 텔레컨설테이션 전사본을 대상으로 5개 모델(gpt-oss-120b, Llama 3.3 70B, Mistral Small, Mistral 7B, DeepSeek V3.2)을 평가했습니다.

• 성능: DeepSeek V3.2가 가장 높은 통합 품질(CDQI: 0.87)과 가장 높은 임상 근거성(CGI: 0.96)을 달 기록했습니다. Llama 3.3 70B는 더 적은 파라미터에도 불구하고 DeepSeek의 구조적 정확성(SSC)과 보수적인 CDQI를 따라잡았습니다.
• 오류 분석: 결과는 모델 규모 자체가 성능을 결정짓지는 않는다는 것을 보여줍니다. 주요 차별점은 문장 분류(SSC)가 아니라 **정보 커버리지(ICC)**와 **근거성(CGI)**이었습니다.
• 실패 모드: Assessment(평가) 및 Plan(계획) 섹션에서 대부분의 오류가 발생했으며, 특히 환각(임상의가 언급하지 않은 진단 생성)과 오분류(치료적 가설을 결정된 중재로 기록)가 나타났습니다. 작은 모델(예: Mistral 7B)은 정보 커버리지 측면에서 크게 어려움을 겪었으며, 여러 호소 사항을 단일 요약으로 압축하거나 임상적으로 중요한 부정적 소견(negatives)을 누락하는 경향을 보였습니다.

의의 및 주장
본 논문은 데이터 주권을 타협하거나 독점적인 영어 중심 벤더에 의존하지 않고도 공공 보건 체계가 자동화된 임상 문서화를 채택할 수 있는 실행 가능한 경로를 제공한다고 주장합니다.

• 아키텍처적 기여: 공급자 불가지론적 마이크로서비스 아키텍처는 공공 기관이 구성을 통해 자체 호스팅된 오픈 웨이트 모델과 상용 클라우드 엔진 사이를 전환할 수 있음을 입증하며, 이를 통해 데이터 주권을 시스템 재설계 제약 조건이 아닌 라우팅 정책으로 전환합니다.
• 평가적 기여: 제안된 평가 프로토콜은 환각(전통적인 메트릭이 어휘 중첩으로 인해 놓치거나 오히려 보상할 수 있는 실패 모드)을 명시적으로 처벌함으로써 임상 텍스트 생성 메트릭의 중요한 격차를 해결합니다.
• 벤치마크 기여: 본 연구는 브라질 포르투갈어 임상 문서화를 위한 오픈 웨이트 LLM의 첫 번째 베이스라인을 구축하며, 모델이 기관 하드웨어에서 유용한 품질 수준(CDQI 최대 0.87)에 도달할 수 있음을 보여줍니다.
• 실질적 시사점: 오픈 웨이트 모델이 유망함을 보여주지만, 저자들은 임상적 추론의 위험이 높기 때문에 Assessment 및 Plan 섹션은 여전히 면밀한 전문가 검토가 필요함을 강조합니다. 시스템은 임상적 판단을 대체하는 것이 아니라 검토를 위한 초안을 작성하도록 설계되었습니다.

저자들은 합성 데이터 사용이 실제 텔레컨설테이션의 불연속성(disfluency)과 음향 노이즈를 완전히 포착하지 못할 수 있다는 점과, 평가가 상위 단계의 ASR 오류로부터 추출 단계를 격리했다는 점을 포함한 한계점을 언급했습니다. 향후 과제는 실제 데이터를 통해 시스템을 검증하고 이를 e-SUS APS 플랫폼과 통합하는 것입니다.