When Patients Say “Do Not Share”: LLMs Misroute Sensitive Information in Clinical Documentation
이 연구는 대규모 언어 모델이 임상 기록에서 민감한 정보를 제외해 달라는 환자의 요청을 준수하지 못하고, 3분의 1 이상의 사례에서 관련 없는 수신자에게 해당 데이터를 공개한다는 사실을 밝히는 동시에, 수신자 조건부 라우팅 워크플로우를 구현함으로써 필수적인 정보 공유를 저해하지 않으면서도 이러한 위험을 크게 완화할 수 있음을 입증한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
의사의 진료실이라는 조용한 구석에서, 환자들은 종종 숨기고 싶은 것들을 털어놓곤 합니다. 그들은 중독 문제, 개인적인 건강 상태, 혹은 어려운 가정 환경에 대해 이야기하며, 임상의가 이 정보를 오직 자신을 치유하는 데만 사용할 것이라고 믿습니다. 때때로 환자는 특정 세부 사항을 다른 누구와도 공유하지 말아 달라고 명시적으로 요청하기도 합니다. 이러한 요청은 의료적 신뢰의 근간이며, 민감한 사실들이 치료의 울타리 안에 머물 것이라는 약속입니다. 오늘날 의사들은 이러한 대화를 듣고 이를 공식적인 의학 기록, 타 전문의에게 보내는 의뢰서, 그리고 고용주에게 보내는 편지로 작성하기 위해 인공지능에 점점 더 많이 의존하고 있습니다. 거대 언어 모델(LLM)로 알려진 이 컴퓨터 프로그램들은 인간의 언어를 이해하고 이를 빠르게 요약하도록 설계되었습니다. 하지만 새로운 질문이 제기되었습니다. 환자가 "공유하지 마세요"라고 말할 때, 기계는 그 말을 듣는가? 이 질문에 대한 답은 매우 중요합니다. 왜냐하면 이러한 디지털 요약본은 단순한 기록이 아니라, 이동하는 문서이기 때문입니다. 심장 전문의를 위한 노트가 실수로 직장 상사에게 보내는 편지에 포함될 수도 있고, 환자를 위한 요약본을 의도치 않은 가족이 읽게 될 수도 있습니다. 이 시스템의 안전성은 컴퓨터가 무엇을 말할 것인가뿐만 아니라, 누가 그것을 들어야 하는지를 아는 데 달려 있습니다.
여러 주요 의료 센터의 연구진은 바로 이 시나리오를 테스트하기 위해 나섰습니다. 그들은 현재의 인공지능 시스템이 다양한 사람들을 위한 문서를 생성할 때, 민감한 정보를 제외해 달라는 환자의 명시적인 요청을 존중할 수 있는지 확인하고자 했습니다. 이를 위해 그들은 수천 건의 시뮬레이션된 의료 상담을 포함하는 방대하고 통제된 실험을 설계했습니다. 그들은 정신 건강, 약물 남용, 생식 관련 문제 등 6가지의 민감한 건강 영역을 다루는 120개의 상세한 사례 연구를 만들었습니다. 각 사례에 대해 두 가지 버전을 만들었는데, 하나는 환자가 단순히 정보를 공유한 버전이고, 다른 하나는 환자가 동일한 정보를 공유하면서 즉각적인 치료 팀 외에는 누구와도 공유하지 말라는 명확하고 직접적인 요청을 덧붙인 버전입니다. 그런 다음 그들은 7개의 서로 다른 인공지능 모델에게 이 대화들을 다섯 가지 유형의 문서(담당 의사를 위한 노트, 정보가 필요한 전문의에게 보내는 의뢰서, 정보가 필요하지 않은 전문의에게 보내는 의뢰서, 환자를 위한 요약본, 고용주를 위한 편지)로 변환하도록 요청했습니다.
연구 결과, 환자의 요청과 기계가 전달하는 결과물 사이에는 상당한 격차가 있음이 드러났습니다. 환자가 민감한 사실을 비밀로 유지해 달라고 명시적으로 요청했음에도 불구하고, 인공지능 모델들은 관련 없는 전문의나 고용주처럼 정보를 알 필요가 없는 사람들에게 보내는 문서의 34.2%에 해당 정보를 여전히 포함했습니다. 환자가 작성한 건강 질문 형태의 실제 언어를 사용한 테스트에서는 문제가 더욱 두드러졌습니다. 요청이 없을 때는 모델이 부적절한 문서에 정보를 거의 68% 비율로 공유했으며, 요청이 있었음에도 불구하고 약 34%의 사례에서 여전히 정보를 공유했습니다. 모델들은 맥락의 논리를 이해하는 데 어려움을 겪는 듯 보였습니다. 모델들은 특정 사실이 한 의사에게는 중요하지만 다른 이에게는 완전히 부적절할 수 있다는 점을 이해하기보다는, 의료 이력을 모든 문서에 포함되어야 할 하나의 '진실 덩합'으로 취급했습니다. 연구진은 모델에게 단순히 "공유하지 마세요"라고 말하는 것이 민감한 세부 사항의 유출을 막는 신뢰할 수 있는 방법이 아님을 발견했습니다.
또한 이 연구는 위험한 트레이드오프(trade-off)를 밝혀냈습니다. 연구진이 민감한 정보를 숨기도록 모델에게 더 엄격한 지침을 주어 문제를 해결하려 했을 때, 기계는 때때로 지나치게 행동했습니다. 모델들은 실제로 안전한 의료 관리에 꼭 필요한 사실들까지 누락시키기 시작했습니다. 예를 들어, 환자가 안전을 위해 받는 전문의가 반드시 알아야 하는 질환을 숨겨달라고 요청한 경우, 모델은 해당 정보를 통째로 빠뜨려 잠재적으로 환자를 위험에 빠뜨릴 수 있었습니다. 이는 시스템이 정보를 너무 많이 공유하거나, 혹은 너무 많이 숨기는 극단적인 상황을 초라했습니다. 연구진은 모델이 환자의 프라이버시 요청과 정보의 임상적 필요성 사이의 무게를 재는 내장된 능력이 없다는 것을 발견했습니다. 모델들은 단지 가장 최근의 지시를 따를 뿐, 그 선택의 결과가 가져올 영향은 이해하지 못했습니다.
이를 해결하기 위해 연구팀은 '수신자 조건부 라우팅 워크플로우(recipient-conditioned routing workflow)'라고 불리는 더 정교한 접근 방식을 테스트했습니다. 단순히 모델에게 노트를 작성하라고 요청하는 대신, 이 시스템은 먼저 모델에게 민감한 정보를 식별하게 하고, 그다음 해당 문서의 특정 수신자가 그 정보를 볼 필요가 있는지 결정하게 한 뒤, 그에 따라 텍스트를 작성하도록 했습니다. 이 방법을 한 모델에 적용했을 때, 부적절한 공유율을 21% 이상에서 단 1.2%로 줄이면서도 필요한 의료 사실을 숨기지 않는 놀라운 성과를 보였습니다. 그러나 이와 동일한 방법을 다른 모델에 적용했을 때는 치명적인 누락이 급증하여, 필수적인 정보를 거의 3분의 2에 달하는 사례에서 숨겨버리는 현상이 발생했습니다. 이는 해결책이 보편적이지 않음을 보여주었습니다. 즉, 한 인공지능 시스템에 효과적인 방법이 다른 시스템에서는 작동을 망가뜨릴 수 있다는 것입니다. 연구는 환자의 구두 요청에만 의존하는 것은 자동화된 세상에서 프라이버시를 보호하기에 충분하지 않다고 결론짓습니다.
이러한 발견은 이 도구들이 병원에서 널리 사용되기 전에, 얼마나 잘 쓰는가가 아니라 '누가 무엇을 읽어야 하는지'를 얼마나 잘 이해하는지에 대해 테스트되어야 함을 시사합니다. 컴퓨터가 생성한 문서는 단순한 사실의 요약이 아니라, 환자의 이야기를 누가 알게 될 것인지에 대한 결정입니다. 만약 시스템이 담당 의사를 위한 노트와 고용주를 위한 편지를 구분하지 못한다면, 그것은 기본적인 안전 테스트에서 실패한 것입니다. 연구진은 데이터의 '안전한 저장'이 정보의 '안전한 공유'와는 다르다는 점을 강조합니다. 시스템이 폐쇄적이고 데이터가 암호화되어 있더라도, 모델 자체가 민감한 사실을 잘못된 문서에 배치할 수 있습니다. 연구는 모든 유형의 문서와 모든 버전의 소프트웨어가 이러한 특정 오류들에 대해 개별적으로 검증되어야 한다고 권고합니다. 이러한 시스템이 환자의 안전을 해치지 않으면서 환자의 요청을 신뢰성 있게 준수할 수 있을 때까지, 의료 편지에 무엇을 담을지에 대한 최종 결정은 인간 임상의의 손에 남아 있어야 합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.