Auditing Institutional Heterogeneity for Generative AI in Patient Education: A Large-Scale Study of 102 US Transplant Handbooks

당신이 아주 특별하고 연약한 정원을 돌보는 법을 가르쳐주는 책들이 가득한 거대한 도서관으로 걸어 들어간다고 상상해 보세요. 하지만 여기에는 반전이 있습니다. 이 도서관은 단 하나의 도서관이 아니라, 전국 각지의 23명에서 온 102권의 서로 다른 가이드북 모음입니다. 의학의 세계에서 이 '정원'은 인간의 장기를, '정원사'는 이식 센터를 의미합니다. 수년 동안 의사들은 환자들의 질문에 답하기 위해 이 가이드북들을 읽는 똑똑한 AI 지원 도구들을 만들어 왔습니다. 핵심 아이디어는 간단했습니다. 만약 AI가 해당 지역의 가이드북을 읽는다면, 그 특정 병원이 하는 방식과 정확히 일치하는 조언을 제공할 것이라는 점입니다. 이는 마치 당신만의 특정 공원의 비밀 통로를 잘 알고 있는 가이드와 같은 것입니다.

하지만 아무도 대규모로 확인하지 않은 숨겨진 걱정거리가 있었습니다. 과연 이 가이드북들이 서로 일치하는가 하는 점입니다. 어떤 책은 "매일 아침 꽃에 물을 주라"고 하고, 다른 책은 "화요일에만 물을 주라"고 한다면 어떻게 될까요? 만약 AI가 잘못된 책을 선택한다면, 정원은 고통받을 수 있습니다. 이 논문은 바로 그 질문을 파고듭니다. 이 연구는 의료 핸드북 모음을 거대한 퍼즐처럼 취급하여, 수백만 개의 페이지 쌍을 대조하며 조언이 일관적인지, 아니면 논의되는 장기의 종류보다 병원의 '목소리'가 더 중요한지를 확인합니다. 목표는 환자가 스마트한 컴퓨터에 도움을 요청했을 때, 의사의 계획과 우연히 충돌하지 않는 안전하고 신뢰할 수 있는 답변을 얻도록 보장하는 것입니다.

위대한 핸드북 탐정 이야기

그렇다면 연구자들은 실제로 무엇을 했을까요? 그들은 범죄를 해결하는 대신, 일관성의 미스터리를 해결하는 초강력 탐정 역할을 수행했습니다. 그들은 미국의 23개 고형 장기 이식 센터로부터 102권의 환자 교육 핸드북을 수집했습니다. 이 센터들은 심장, 폐, 신장, 간, 췌장을 다룹니다. 그들은 이 핸드북들을 환자들이 실제로 던지는 1,115개의 실제 질문(예: "여행해도 되나요?" 또는 "언제 아이를 가질 수 있나요?")과 짝을 지었습니다.

그런데 그들은 모든 가능한 답변의 조합을 읽어내기 위해 '판사'(매우 발전된 AI)를 풀어놓았습니다. 그들은 단지 몇 가지 예시만 본 것이 아닙니다. 그들은 5,730,465개의 쌍별 비교(pairwise comparisons)라는 거대한 감사를 실시했습니다. 이는 핸드북 A와 핸드북 B가 같은 것을 말하고 있는지, 다른 것을 말하고 있는지, 혹은 아무것도 말하지 않는지를 확인하기 위해 570만 번 이상의 체크를 수행한 것입니다.

커다란 놀라움들

탐정들이 발견한 결과는 단순히 "모두가 동의한다"라고 말하기에는 조금 더 복발합니다.

1. '하우스 스타일'이 장기보다 강력하다
당신은 모든 심장 의사들이 서로 동의하고, 모든 신장 의사들이 서로 동의할 것이라고 생각할 수도 있습니다. 즉, 어디서 일하든 장기의 종류와 상관없이 말이죠. 하지만 연구 결과는 이것이 사실이 아님을 보여주었습니다. 사실, 단일 병원의 '편집적 목소리'는 매우 강력해서, 같은 병원의 두 핸드북(하나는 심장용, 하나는 폐용이라 할지라도)은 서로 다른 병원의 동일한 장기에 대한 두 핸드북보다 서로 더 많이 일치했습니다. 이는 마치 시카고의 한 빵집은 초콜릿 케이크든 바닐라 케이크든 항상 스프링클을 추가하는 반면, 뉴욕의 빵집은 스프링클을 전혀 쓰지 않는 것과 같습니다. "시카고 스타일"이 "초콜릿 대 바닐라"의 차이보다 더 중요합니다. 이는 만약 당신이 여러 병원의 핸드북을 하나의 AI에 섞어 넣는다면, 병원 특유의 글쓰기 스타일 때문에 혼란스러운 조언을 얻게 될 수도 있음을 의미합니다.

2. '침묵하는' 주제들이 가장 큰 타격을 준다
가장 큰 문제는 핸드북들이 서로 의견이 다른 것이 아니라, 종종 아무것도 말하지 않는다는 점이었습니다. 연구에 따르면, 한 쌍의 핸드북 중 적어도 하나가 답변을 아예 가지고 있지 않은 경우가 78.9%에 달했습니다. 그런데 슬픈 점은, 가장 많이 누락된 주제들이 바로 소외되기 쉬운 사람들에게 가장 중요한 것들이었다는 점입니다.

• 생식 건강(임신 및 출산에 관한 질문)은 단일 최다 침묵 주제였으며, **82%**의 핸드북이 이를 전혀 다루지 않았습니다.
• 더욱이, 두 핸드북이 모두 답변을 내놓는 경우에도, 그들은 높은 이해관계가 걸린 세부 사항에서 **86%**의 확률로 의견이 엇갈렸습니다.
• 이것은 "이중의 불행(double jeopardy)"입니다. 환자들은 이 주제에 대해 답변을 받지 못할 가능성이 가장 높으면서도, 두 가지 다른 출처로부터 답변을 받게 될 경우 의견이 충돌할 가능성 또한 가장 높습니다.
• 다른 누락된 주제로는 정신 건강, 경제적 어려움, 그리고 어린이 또는 노인과 같은 특별한 인구 집단에 대한 케어가 포함되었습니다.

3. '고위험' 논쟁들
핸드북들이 의견이 갈릴 때, 그것은 대개 "아침 식사로 무엇을 먹을까"와 같은 사소한 문제가 아니었습니다. 의견 차이는 991개의 서로 다른 테마로 모였는데, 가장 위험한 것들은 임신 시기와 면역 억제제(환자가 새로운 장기를 거부하지 않도록 복용하는 약물)에 관한 것이었습니다. 예를 들어, 한 핸드북은 수술 후 6개월 뒤에 임신을 시도할 수 있다고 말하는 반면, 다른 핸드북은 1년을 기다리라고 할 수 있습니다. 이것들은 단순한 오타가 아닙니다. 인생을 결정짓는 결정들입니다.

4. 우리는 문제를 예측할 수 있다
연구자들은 일종의 수정구슬을 만들었습니다. 그들은 질문이 어떻게 던져지는지만 보고도 어떤 질문이 가장 많은 불일치를 일으킬지 예측할 수 있다는 것을 발견했습니다. "제가 ~할 수 있나요?"로 시작하는 질문이나 여행에 관한 질문들이 가장 높은 확률로 상충하는 답변을 유발했습니다. 모델은 이 작업을 잘 수행했으며, AUC 점수는 0.77로, AI가 답변을 시도하기도 전에 문제의 소지가 있는 질문을 포착할 수 있었습니다.

이것이 왜 당신에게 중요한가

이 논문은 우리가 어떤 병원의 핸드북 뭉치든 상관없이 스마트한 AI에 연결하고 완벽하게 작동하기를 기대해서는 안 된다고 결론짓습니다. 병원의 "하우스 스타일"은 자신만의 현실을 만들어내며, 가장 취약한 환자들이 가장 적은 정보를 얻고 있습니다.

연구자들은 몇 가지 해결책을 제안합니다:

• 출시 전 감사 실시: 병원은 AI가 환자에게 말을 걸기 전에 자신들의 핸드북에 빈틈이나 모순이 있는지 확인해야 합니다.
• "할 수 있나요?" 필터: 만약 환자가 "여행할 수 있나요?" 또는 "제가 X를 할 수 있나요?"와 같은 질문을 한다면, 시스템은 특히 주의를 기울여야 합니다. 즉, 인간 의사에게 먼저 보여주는 등의 조치를 취해야 하는데, 왜냐하면 그 질문들이 핸드북 간의 충돌이 가장 잦은 부분이기 때문입니다.
• 공백에 대한 정직함: 만약 AI가 답을 모른다면(특히 임신이나 정신 건강에 관하여), 단순히 일반적인 답변을 내놓거나 틀린 답을 만들기보다는 "모릅로" 혹은 "이 부분은 병원마다 다를 수 있습니다"라고 말해야 합니다.

요약하자면, 이 연구는 AI가 강력한 도구이긴 하지만, 모든 병원이 같은 언어로 말하는 것은 아니며, 현재 답변이 이루어지지 않고 있는 가장 중요한 질문들이 존재한다는 것을 가르쳐야 한다는 점을 보여줍니다.