Speech-to-SOAP: End-to-End Summarization of Medical Dialogues: KIT@BeTraC 2026

의사의 진료라는 일상적인 리듬 속에서, 환자가 아닌 컴퓨터에 소비되는 시간의 비중이 상당한 경우가 많습니다. 의사가 증상을 듣고 질문을 던지는 동안, 동시에 디지털 기록에 노트를 타이핑해야 하며, 이 작업은 눈앞의 사람에게 집중하는 것을 방해합니다. 이러한 문서화 부담은 의료 종사자들에게 잘 알려진 피로의 원인입니다. 이를 해결하기 위해 연구자들은 오랫동안 음성 인식을 바라보며, 말로 하는 단어들을 직접 의료 기록으로 변환하기를 희망해 왔습니다. 하지만 단순히 말한 내용을 그대로 옮겨 적는 것만으로는 충분하지 않습니다. 목표는 'SOAP 노트'라고 불리는 구조화된 요약본을 만드는 것입니다. 이 형식은 진료 내용을 네 가지 뚜렷한 섹션, 즉 환자의 주관적 호소(Subjective), 검사를 통한 객관적 소견(Objective), 의사의 평가(Assessment), 그리고 치료 계획(Plan)으로 구성합니다. 과제는 컴퓨터가 대화를 듣고, 의료적 맥락을 이해하며, 인간의 개입 없이도 이 특정한 유형의 요약을 작성하도록 가르치는 것입니다. 이 과정에서 기침이나 휴지(pause)와 같이, 컴퓨터가 먼저 모든 단어를 받아 적은 뒤 요약할 경우 놓칠 수 있는 미묘한 단서들을 보존하는 것이 핵심입니다.

카를스루에 공과대학교(Karlsruhe Institute of Technology)와 카네기 멜런 대학교(Carnegie Mellon University)의 연구팀은 기계가 의료 문서화를 얼마나 잘 자동화할 수 있는지 테스트하기 위해 설계된 대회인 2026년 BeTraC 챌린지에서 이 문제를 해결하고자 했습니다. "Speech-to-SOAP"라는 제목의 이들의 접근 방식은, 중간 단계인 전체 전사(transcript) 작성을 건너뛰고, 의사와 환자의 대화를 듣고 최종 의료 노트를 한 번에 연속적으로 생성할 수 있는 시스템을 구축하는 데 중점을 두었습니다. 이들은 이미 방대한 양의 일반 언어 및 음성 데이터로 학습된 '파운데이션 모델(foundation model)'이라는 강력한 유형의 인공지능 모델을 활용했습니다. 연구진의 주요 혁신은 단순히 기존 모델을 사용하는 것에 그치지 않고, 실제 의료 대화의 무질서하고 다양한 특성을 다룰 수 있도록 모델을 가르친 데 있었습니다. 이들은 완전히 합성된 데이터와 실제 녹음본이 포함된 데이터 등 여러 가지 서로 다른 데이터셋을 결합하여 시스템을 학습시키는 파이프라인을 구축했습니다. 음성 녹음이 없는 대화의 경우, 컴퓨터로 생성된 음성을 사용하여 빈 곳을 채움으로써, 모델이 총 160만 시간 이상의 오디오 사례를 통해 학습할 수 있도록 했습니다.

학습 데이터를 유용하게 만들기 위해, 팀은 컴퓨터에게 실제 SOAP 노트가 어떤 모습인지 가르쳐야 했습니다. 소스 대화 중 상당수가 미리 작성된 요약본을 가지고 있지 않았기 때문에, 이들은 또 다른 AI 도구를 사용하여 이러한 요약본을 자동으로 생성했습니다. 이들은 생성된 노트가 올바른 구조를 따르고 일관된 의료 용어를 사용하도록 구체적인 지침을 설계하였으며, 결과적으로 메인 시스템이 공부할 수 있는 거대한 예시 라이브러리를 효과적으로 구축했습니다. 그 후 연구진은 모델을 가르치는 다양한 방법을 실험했습니다. 이들은 컴퓨터에게 지침을 주는 다양한 방식을 실험했는데, 지침을 배경 규칙으로서가 아니라 모델에 대한 직접적인 명령으로서 배치했을 때 가장 효과적이라는 것을 발견했습니다. 또한, 모델에게 대화의 텍istic 전사본을 오디오와 함께 보여주는 것이 도움이 되는지도 조사했습니다. 연구 결과, 소리와 텍스트를 함께 보여주는 것이 최종적인 요약본의 형태가 오디오만으로 생성된 것과 유사하더라도, 모델이 의료 개념을 더 정확하게 식end히는 데 도움이 된다는 점을 시사했습니다.

팀은 또한 컴퓨터가 먼저 전사본을 작성한 뒤 요약하거나, 노트를 작성하기 전에 자신의 추론 과정을 설명하도록 하는 것과 같이 과업을 작은 단계로 나누는 것이 도움이 되는지도 탐구했습니다. 결과에 따르면, 이러한 중간 단계들이 어느 정도 이점을 제공하기는 했지만, 전반적인 요약 품질 측면에서 가장 효과적인 접근 방식은 모델이 음성에서 최종 요약으로 직접 넘어가도록 훈련하는 것이었습니다. 그러나 '생각의 사슬(Chain-of-Thought, CoT)' 감독이 임상적으로 유의미한 개념을 추출하는 데 있어 가장 높은 점수를 달성했다는 점을 발견했는데, 이는 중간 추론 단계를 명시적으로 모델링하는 것이 비록 다른 지표에서는 직접 생성 방식을 능가하지 못하더라도 의료적 세부 사항을 식별하는 데는 도움이 될 수 있음을 시사합니다. 데이터 정제와 관련하여, 팀은 컴퓨터 생성 음성이 텍스트와 일치하지 않는 구간을 제거하는 것이 성능을 향ale하지 않으며, 오히려 최대 21분으로 필터링된 정제되지 않은 데이터셋을 사용했을 때 최상의 결과를 얻었다는 것을 발견했습니다. 또한 학습에 사용되는 대화의 길이를 21분으로 제한하는 것이 가장 적절하다는 것도 알아냈는데, 더 긴 대화는 너무 많은 노이즈를 유입시켜 도움이 되지 않았기 때문입니다.

최종 단계에서 연구진은 훈련된 모델들의 최선 버전들을 결합하여 하나의 견고한 시스템을 만들었습니다. 이 통합 시스템은 동일한 저자들이 제출한 특정 대조군 제출물(contrastive submission)을 대상으로 세 가지 다른 테스트 데이터 세트—훈련 자료와 매우 유사한 대화, 시뮬레이션된 역할극 시나리오, 그리고 실제 의료 방문의 실제 녹음본—를 사용하여 테스트되었습니다. 결합된 시스템은 모든 공식 테스트 세트에서 특히 훈련 데이터와 테스트 데이터 간의 차이가 가장 컸던 실제 시나리오에서 이 대조군 제출물을 지속적으로 능가했습니다. 이러한 성공은 여러 가지 다르게 훈련된 모델들의 지식을 평균화하는 것이 시스템을 더 적응력 있게 만들고 새로운 상황에서도 혼란을 덜 겪게 만든다는 것을 시사합니다. 이 연구는 다양한 데이터 소스를 통합하고 직접적인 '음성-대-요약' 접근 방식을 사용함으로써, 의료 종사자의 문서화 부담을 크게 줄이고 그들이 돌봄의 인간적인 요소에 더 집중할 수 있도록 하는 도구를 만드는 것이 가능하다는 결론을 내립니다.