Measuring and reducing intervention misalignment in next best action selection for care management: a within-patient natural experiment

당신이 케어 매니저(Care Manager)라고 상상해 보십시오. 당신은 스크럽을 입은 슈퍼히어로로서, 고혈압, 불안, 식량 부족, 그리고 의사에게 갈 방법이 없는 문제 등 여러 문제를 동시에 겪고 있는 환자들을 돕는 임무를 맡았습니다. 당신에게 주어진 시간은 환자당 단 15분뿐입니다. 모든 것을 한꺼번에 해결할 수는 없습니다. 당신은 반드시 한 가지를 먼저 해결해야 합니다. 이것이 바로 "최선의 다음 행동(Next Best Action)" 문제입니다.

수년 동안 이 시스템은 모두에게 똑같은 간식만을 내놓는 자판기 같았습니다. 환자가 들어오면 컴퓨터는 이렇게 말합니다. "여기, 행동 건강 의뢰서를 가져가세요!" 또는 "여기, 케어 접근 조정 티켓을 가져가세요!" 하지만 이 방식은 그 특정 환자가 회복하기 위해 실제로 가장 필요로 하는 것이 무엇인지 제대로 살펴보지 않습니다.

이 논문의 저자인 산제이 바수(Sanjay Basu), 파스 셰스(Parth Sheth), 사디크 파텔(Sadiq Patel)은 이 "자판기"가 얼마나 자주 틀리는지를 측정하기로 했습니다. 그들은 이 실수를 **중재 불일치(intervention misalignment)**라고 부릅니다. 이는 환자에게 가장 큰 건강상의 이득을 줄 것으로 기대되는 행동이 아닌 다른 행동이 제공되는 비율을 의미합니다.

핵심 폭로: 자판기가 고장 났다

연구팀은 2023년에서 2025년 사이 3개 주에 걸친 34,971명의 고위험 메디케이드(Medicaid) 환자를 조사했습니다. 그들은 "환자 내 자연 실험(within-patient natural experiment)"이라는 영리한 기법을 사용했습니다. 이것을 다음과 같이 생각해 보십시오. 케어 프로그램이 (환자의 건강 상태 때문이 아니라 물류상의 이유로) 서로 다른 그룹에 약간씩 다른 시점에 도입되었기 때문에, 연구진은 환자가 도움을 받기 전과 후의 건강 상태를 비교함으로써 추측에 의존하지 않고도 환자에게 실제로 무엇이 필요했는지를 알아낼 수 있었습니다.

충격적인 사실은 이렇습니다. 현재 시스템 하에서는 **27.0%**의 환자(즉, 4명 중 1명 이상)가 잘못된 "최선의 다음 행동"을 부여받았습니다.

하지만 진짜 이야기는 무엇이 잘못되었는가에 있습니다. 현재 시스템은 "케어 접근 조정"과 "행동 건강 의뢰"라는 두 가지에 집착하고 있었습니다. 이 두 가지가 전체 조치의 **80.3%**를 차지했습니다.

반면, 환자들의 실제 필요는 다른 것을 간절히 외치고 있었습니다. 데이터에 따르면 환자들은 교통, 식량 안보, 주거 및 재정적 혜택과 같은 사회적 필요 사항으로부터 가장 큰 도움을 받을 수 있었습니다.

• 현재 시스템은 교통을 최우선 순위로 선택한 경우가 **1.9%**에 불고간 했지만, 환자의 데이터는 교통이 최우선 선택지가 되어야 한다고 제안한 경우가 **5.1%**였습니다. 이는 25.5배의 격차입니다.
• 식량 안보의 경우, 시스템은 이를 **1.9%**의 경우에 선택했지만, 환자들에게는 **5.2%**의 필요가 있었습니다. 이는 17.3배의 격차입니다.
• 주거의 경우, 격차는 12.5배였습니다.

이 논문은 이것이 단순히 "가난한 사람들이 더 많은 도움이 필요하다"는 식의 단순한 소득 수준에 따른 경향성이 아니라고 명시적으로 주장합니다. 불일치는 모든 소득 수준과 인종 전반에서 높게 나타났으며, 이는 시스템이 가장 빈곤한 계층뿐만 아니라 모든 사람에 대해 사회적 필요를 체계적으로 무시하고 있음을 보여줍니다.

해결책: PEARL

연구진은 단순히 문제점을 지적하는 데 그치지 않고, 새로운 "자판기"인 PEARL(정책 진화를 통한 정렬된 회고적 학습, Policy Evolution through Aligned Retrospective Learning)을 구축했습니다.

PEARL은 과거의 "자연 실험"으로부터 배우는 매우 똑똑한 코치와 같습니다. 여기에는 세 가지 비밀 재료가 있습니다:

1. 환자 내 신호(The Within-Patient Signal): 각 환자의 구체적인 이력(과거에 무엇이 그들에게 효과적이었는지)으로부터 배웁니다.
2. 그룹 층화 공정성(Group-Stratified Fairness): 특정 집단의 사람들을 실수로 편애하지 않도록 보장합니다.
3. 14인의 전문가 라우터(A Fourteen-Expert Router): 14명의 서로 다른 "전문가"(고혈압이나 주거와 같은 각 유형의 도움을 담당하는 전문가)가 최선의 움직임에 투표합니다.

연구진이 PEARL을 테스트했을 때, 그것은 게임 체인저였습니다.

• PEARL은 중재 불일치를 **27.0%**에서 단 **2.0%**로 줄였습니다.
• 이는 완벽한 점수를 향한 **92.6%**의 감소입니다.
• 논문은 "환자 내 신호"만으로도 대부분의 성과를 냈으며, 불일치를 **4.4%**까지 떨어뜨렸다고 언급했습니다. 그러나 만약 "공정성" 부분을 제거하면 시스템은 오히려 더 나빠집니다(38.7~42.4%로 급증). 이는 공정성이 단순히 있으면 좋은 기능이 아니라, 시스템이 작동하기 위해 필수적이라는 것을 증명합니다.

제외된 사항들

이 논문은 자신들이 주장하지 않는 바를 매우 신중하게 밝히고 있습니다.

• 모두를 위한 마법의 탄환이 아닙니다: 그들은 13가지 다른 정책을 테스트했습니다. 예를 들어 "보수적 Q-러닝(Conservative Q-learning, 일종의 AI)"은 전체적인 병원 방문 횟수는 개선했지만, "잘못된 행동" 문제를 해결하지는 못했습니다. 이는 이벤트 발생률은 줄였지만 불일치는 **32.0%**로 높게 유지했습니다.
• 단순히 "친절함"의 문제가 아닙니다: 공정성 조정을 거치지 않은 단순한 과거 결정 복제(behavioral cloning)는 상황을 악화시켰습니다.
• 캠든 코알리션(Camden Coalition) 시험: 저자들은 모든 사람이 똑같이 집중적인 도움을 받았던 유명한 과거 시험인 캠든 코알리션을 재분석했습니다. 그들은 그 시험에서 **90.9%**의 환자가 "잘못된" 조치를 받았는데, 왜냐하면 모두가 똑같은 것을 받았기 때문임을 발견했습니다. 시뮬레이션 결과, 만약 PEARL이 대신 사용되었다면 재입원율을 15.1 퍼센트 포인트 더 낮출 수 있었음을 보여주었습니다. 하지만 저자들은 이것이 자신들의 모델에 기반한 시뮬레이션이지, 캠든 코알리션이 반드시 성공했을 것이라는 증거는 아니라고 명시했습니다.

얼마나 확신할 수 있는가?

저자들은 자신들의 수치에 상당히 자신감을 가지고 있지만, 한계에 대해서도 정직합니다.

• 그들은 "이중 강건 반사실적 모델링(doubly robust counterfactual modeling)"이라는 강력한 방법을 사용하여 불일치를 측정했습니다.
• 그들은 20가지의 다양한 민감도 분석(결과가 유지되는지 확인하기 위해 규칙을 약간씩 변경하는 것)을 수행했으며, PEARL은 거의 모든 분석에서 **2.0%**를 유지했습니다.
• 그들은 **11.92의 E-값(E-value)**을 계산했습니다. 이것은 "우리의 결과가 틀리려면, 우리가 실제로 측정한 어떤 요인보다도 실제 결과와 조치를 예측하는 힘이 11.92배 더 강력한 숨겨진 요인이 있어야 한다"는 것을 의미하는 전문적인 표현입니다. 이는 매우 큰 수치이므로, 그들은 결과가 실제라고 확신합니다.
• 그러나 그들은 "환자 내 자연 실험"이 '케어를 받는 것' 대 '케어를 받지 않는 것'의 효과를 측정하는 것이지, 완벽한 실험실 환경에서의 "주거 대 식량"과 같은 직접적인 대결을 측정하는 것은 아니라는 점을 인정합니다. 즉, 그들은 선택의 '질'을 측정하는 것이지, 그 선택이 실시간으로 효과가 있는지 증명하기 위한 새로운 임상 시험을 수행하는 것은 아닙니다 (물론 그렇게 하기 위해 새로운 시험을 계획 중입니다).

결론

이 논문은 "중재 불일치"가 실재하며 측정 가능한 현상이며, 우리가 해결할 수 있다는 결론을 내립니다. 현재의 시스템은 환자들이 가장 필요로 하는 것이 식량이나 주거임에도 불구하고, 이러한 사회적 필요를 엄청난 차이로 무시하고 있습니다. 환자의 이력을 경청하고 모두를 공정하게 대하는 새로운 방법인 PEARL을 사용함으로써, 우리는 이 불일치를 해결할 수 있습니다.

저자들은 이제 이 새로운 방식의 행동 선택이 실제로 병원 방문을 줄이는지 실세계에서 확인하기 위해 24개의 케어 팀에 걸친 대규모 실험을 준비하고 있습니다. 그때까지 데이터는 우리가 환자를 돕고자 한다면, 추측하는 것을 멈추고 그들이 실제로 무엇을 가장 먼저 필요로 하는지를 알려주는 신호에 귀를 기울여야 한다는 것을 시사합니다.