Probabilistic Risk Stratification and Transition-Sensitive Explainability for Attorney Involvement in Workers' Compensation Claims

당신이 탐정이 되어 미스터리를 해결하고 있다고 상상해 보십시오. 하지만 당신이 쫓는 것은 실종된 사람이 아니라, 누가 변호사를 고용할 것인지를 예측하는 일입니다. 이것은 범죄 현장에 관한 것이 아닙니다. 이것은 직장에 관한 이야기입니다. 누군가 업무 중 부상을 당하면, 의료비와 임금 손실을 보전받기 위해 '산재 보험(workers' compensation)' 청구를 합니다. 보통 이러한 청구는 단순합니다. 다치면, 보상을 받고, 다시 업무로 복귀하면 됩니다. 하지만 가끔 상황이 복잡해지기도 합니다. 부상당한 노동자는 회사가 충분한 보상을 하지 않는다고 느낄 수 있고, 회사는 부상이 그렇게 심각하지 않다고 생각할 수도 있습니다. 양측의 의견이 일치하지 않을 때, 노동자는 종종 변호사를 선임합니다. 이는 매우 중요한 문제입니다. 변호사가 개입하면 전체 과정이 더 오래 걸리고 모든 이에게 훨씬 더 많은 비용을 발생시키기 때문입니다.

오랫동안 전문가들은 청구 내용을 보고 "이 사람이 변호사를 선임할 것인가?"라는 단순한 "예/아니오" 질문을 통해 변호사 선임 여부를 예측하려 노력했습니다. 이는 마치 날씨를 예측하기 위해 단지 "비" 또는 "비 안 옴"이라고만 말하는 것과 같습니다. 하지만 현실 세계는 그렇게 단순하지 않습니다. 때로는 폭풍이 가벼운 이슬비일 수도 있고, 때로는 허리케인이 될 수도 있으며, 때로는 폭풍으로 변할지도 모르는 안개 낀 아침일 수도 있습니다. 이 새로운 연구는 우리가 단순히 예/아니오의 스위치로 보는 대신, 위험도를 '볼륨 조절 노브'처럼 높이거나 낮출 수 있는 슬라이딩 스케일(연속적인 척도)로 보아야 한다고 제안합니다. 이 특수한 종류의 컴퓨터 두뇌(알고리즘)를 사용하여 '위험의 볼륨'을 듣게 함으로써, 연구자들은 폭풍이 시작되기 전에 이를 포착하여 기업과 보험사가 비용이 많이 드는 법적 분쟁으로 번지기 전에 작은 문제들을 해결할 수 있기를 바라고 있습니다.

연구: 직장 내 부상의 거친 바다를 지도화하기

플로리다 애틀랜티카 대학교(Florida Atlantic University)의 연구진이 이끄는 이 연구는 48,130건의 직장 내 부상 청구 데이터를 깊이 있게 파고듭니다. 그들의 목표는 '변호사 선임'을 단순한 스위치로 취급하는 것을 멈추고, 하나의 여정으로 취급하는 것입니다. 그들은 Cat-Boost(부상 유형이나 서로 다른 주(state)와 같은 다양한 카테고리의 복잡한 목록을 처리하는 데 매우 뛰어난 머신러닝의 한 종류)라는 강력한 컴퓨터 도구를 사용하여 부상의 초기 세부 사항들—근로자의 연령, 부상 유형, 발생 장소 등—을 살펴보았습니다.

단순히 "예" 또는 "아니오"를 추측하는 대신, 컴퓨터는 모든 청구 건에 대해 **위험 점수(risk score)**를 부여했습니다. 이는 기본적으로 변호사가 개입할 확률(백분율)입니다. 이것은 마치 비가 올 확률이 15%, 50%, 또는 90%라고 말하는 일기 예보와 같습니다. 연구진은 이 컴퓨터가 매우 유능하다는 것을 발견했습니다. 컴퓨터는 청구 건들을 정확하게 순위 매길 수 있었으며, 변호사가 개입할 가능성이 가장 높은 건들이 목록의 상단에 오도록 했습니다. 그들은 작업을 면밀히 검토했으며, 수치는 이 컴퓨터가 신뢰할 수 있다는 것을 보여주었습니다. 즉, ROC-AUC 0.7540과 Brier score 0.1988을 기록했는데, 이는 "이봐, 우리의 예측은 실제로 신뢰할 수 있어!"라고 말하는 세련된 방식입니다.

세 가지 구역: 저위험, 중위험, 고위험

컴퓨터가 위험 점수 목록을 만든 후, 연구진은 단순히 상위와 하위만을 본 것이 아닙니다. 그들은 목록을 세 개의 뚜렷한 구역, 즉 "레짐(regime)"으로 나누어 위험이 높아짐에 따라 이야기가 어떻게 변하는지 살펴보았습니다.

1. 저위험 구역 (하위 20%): 이곳은 평온한 날들입니다. 이곳의 청구 건들은 변호사를 선임할 가능성이 낮습니다.
2. 중위험 구역 (중간 60%): 이곳은 안개가 자욱하고 불확실한 중간 지대입니다. 상황이 어느 쪽으로든 흘러갈 수 있는 곳입니다.
3. 고위험 구역 (상위 20%): 이곳은 폭풍 구름이 몰려오는 곳입니다. 이 청구 건들은 변호사가 개입될 가능성이 매우 높습니다.

여기서의 큰 발견은 "변호사를 선임하게 만드는 재료"가 당신이 어느 구역에 있느냐에 따라 다르다는 점입니다. 이것은 케이크를 굽는 것과 같습니다. 만약 작은 컵케이크(저위험)를 만들고 있다면 설탕이 조금 필요할 것입니다. 하지만 거대한 웨딩 케이크(고위험)를 만들고 있다면, 설탕이 아주 많이 필요하며, 컵케이크에는 중요하지 않았던 달걀과 밀가루도 필요할 수 있습니다.

형태가 변하는 단서들

연구진은 각 구역에서 어떤 단서들이 위험을 높이거나 낮추는지 확인하기 위해 SHAP라는 특수한 도구를 사용했습니다. 그들은 몇 가지 놀라운 사실들을 발견했습니다.

• 저위험 구역에서: 컴퓨터는 근로자의 연령이나 근속 연수 같은 요소들을 살펴보았습니다. 흥-미롭게도, 이 안전한 구역에서 이러한 요인들은 종종 방패 역할을 하여 변호사 선임 가능성을 낮추는 역할을 했습니다.
• 고위험 구역에서: 이야기가 뒤집혔습니다. 부상의 심각도와 같은 동일한 요인들이 갑자기 위험을 끌어올리는 주요 엔진이 되었습니다. 만약 부상이 심각하다면, 그것은 변호사가 올 것이라는 거대한 적신호였습니다.
• "경계선(Frontier)" 청구 건들: 이 연구의 가장 흥 exciting한 부분은 구역 사이의 경계에 있는 청구 건들을 살펴보는 것이었습니다. 이들은 "경계선" 청구 건들로, 이제 막 "중위험" 구역에 들어섰거나 "고위험"으로 뛰어들기 직전인 것들, 혹은 "저위험"에 간신히 머물러 있지만 "중위험"으로 미끄러질 수도 있는 것들입니다.

연구진은 "고위험" 구역으로 올라가는 경로가 "저위험" 구역으로 내려가는 경로와 다르다는 것을 발견했습니다.

• 상승 (에스컬레이션): "중위험"에서 "고위험"으로 뛰어오르기 위해 가장 중요한 것은 대개 부상의 심각도와 **주법(관할권)**이었습니다. 이것은 바람(부상)이 거세지고 하늘(법)이 어두워지면서 폭풍이 강해지는 것과 같습니다.
• 하락 (디에스컬레이션): "중위험"에서 다시 "저위험"으로 떨어지기 위해서는 단순히 한 가지 요인이 좋아지는 것이 아니었습니다. 대신, 부상 부위의 종류나 특정 카운티(county) 법과 같은 수많은 작은 요인들이 함께 작용하여 위험을 아래로 밀어냈습니다.

이것이 왜 중요한가

이 논문은 우리가 단순히 어떤 청구를 보고 "이것은 변호사 사건이다"라고 말해서는 안 된다고 제안합니다. 우리는 그 청구가 처한 단계를 이해해야 합니다. "고위험" 구역에서 위험을 높이는 요인이 "저위험" 구역에서는 오히려 안전하게 유지하는 요인이 될 수도 있습니다.

이러한 구역과 경계선에서 위태롭게 서 있는 "경계선" 청구 건들을 이해함으로써, 보험사와 관리자들은 청구가 통제 불능 상태로 치닫기 직전의 상황을 포착할 수 있습니다. 변호사가 나타날 때까지 기다리는 대신, 청구가 그 "중위험" 안개 속에 있을 때 조기에 개입하여 (부상 심각도나 관할권 혼란과 같은) 구체적인 문제들을 해결함으로써, 그것이 본격적인 법적 폭풍으로 변하기 전에 막을 수 있습니다.

이 연구는 직장 내 부상이나 법적 분쟁 문제를 영원히 해결했다고 주장하는 것이 아닙니다. 대신, 위험을 슬라이딩 스케일로 보고, 각 수준에서 중요한 구체적인 단서들에 주목함으로써, 다음에 무엇이 올지에 대해 훨씬 더 명확한 그림을 그릴 수 있다고 제안합니다. 이것은 복잡하고 거친 산재 보험의 바다를 항해하기 위한 새로운 지도입니다.