Predicting Case Processing Duration in Kenyan Magistrate Courts: A Three-Stage Machine Learning Pipeline for Proactive Backlog Management

거대한, 북적이는 도서관을 상상해 보십시오. 수백만 권의 책이 끊임없이 대출되고 반납됩니다. 이 도서관의 사서들은 과부하 상태입니다. 어떤 책은 접수된 당일에 바로 반납되지만, 어떤 책은 서가에서 몇 년 동안 길을 잃어 아무도 해결할 수 없는 거대한 '밀린 책(backlog)' 더미를 만듭니다. 이것은 단지 책에 관한 문제가 아닙니다. 이것은 정의에 관한 문제입니다. 사건(즉, '책')이 너무 오래 머물게 되면 사람들은 시스템에 대한 신뢰를 잃게 되며, 공정하고 신속한 재판을 받을 권리가 지연됩니다. 오랫동안 사서들은 이미 처리된 책들만 셀 수 있었을 뿐, 데스크를 떠나기도 전에 어떤 새로운 책이 더미에 갇히게 될지 예측할 방법이 없었습니다.

**머신러닝(Machine Learning)**의 세계로 들어와 봅시다. 머신러닝은 컴퓨터에게 과거의 패턴을 찾는 법을 가르치는 컴퓨터 과학의 한 분야로, 마치 탐정이 새로운 미스터리를 풀기 위해 오래된 범죄 현장을 연구하는 것과 같습니다. 단순히 추측하는 대신, 이 컴퓨터들은 수천 개의 과거 사례를 살펴보고 무엇이 사건을 빠르게 진행시키거나 정체되게 만드는지를 학습합니다. 여기서 핵심 아이디어는 **예측 분석(predictive analytics)**입니다. 즉, 과거의 데이터를 사용하여 미래를 예측하는 것입니다. 만약 컴퓨터가 "이 새로운 사건은 5년이 걸렸던 사건들과 비슷해 보인다"라고 말할 수 있다면, 우리는 사건이 시작되기도 전에 그것이 더미 속에 길을 잃지 않도록 막을 수 있습니다. 이것이 바로 이번 연구의 연구자들이 케냐의 법원을 위해 하고자 했던 일이며, 사후 대응적인 시스템(문제가 발생한 후 해결하는 방식)을 사전 예방적인 시스템(문제가 커지기 전에 막는 방식)으로 바꾸는 작업입니다.

---

법원 사건을 위한 3단계 수정구슬

케냐의 치안판사 법원(magistrate courts)에서는 전체 법률 업무의 80% 이상이 발생하며, 이곳에는 거대한 백로그(미처리 사건)가 쌓여가고 있습니다. 2025년 중반 기준으로, 127,000건 이상의 사건이 심리를 기다리고 있습니다. 기존의 컴퓨터 시스템인 통합 사건 관리 시스템(ICMS)은 '이미 일어난 일'을 기록하는 데는 뛰어나지만, '일어날 수도 있는 일'에 대해서는 눈이 멀어 있습니다. 이 시스템은 어떤 새로운 사건이 시스템을 막히게 할 '초저속' 사건이 될 가능성이 높은지 알지 못합니다.

이를 해결하기 위해 연구진은 3단계 머신러닝 파이프라인을 구축했습니다. 이 파이프라인을 단순히 편지에 도장을 찍는 것이 아니라, 각 편지가 목적지에 도착하는 데 얼마나 걸릴지 예측하고 길을 잃을 가능성이 있는 편지를 표시하는 우체국의 첨단 분류 기계라고 생각하십시오.

0단계: "당일 처리" 속도 트랩

이 기계의 첫 번째 임무는 "급행" 사건을 찾아내는 것입니다. 케냐의 모든 사건 중 약 29%는 접수된 당일에 해결됩니다. 연구진은 새로운 사건이 도착하는 즉시 컴퓨터 모델이 다음과 같이 질문하도록 훈련했습니다: "이것은 빠른 사건인가, 아니면 마라톤이 될 것인가?"
그들은 어떤 모델이 가장 우수한지 확인하기 위해 네 가지 서로 다른 컴퓨터 '두뇌'(알고리즘)를 테스트했습니다. 승자는 LightGBM이었으며, 이는 매우 높은 정확도(점수 0.9148)로 당일 처리 사건을 식별해 냈습니다. 컴퓨터가 "당일 처리"라고 판정하면, 해당 사건은 초록불을 받고 지연 없이 다음 단계로 넘어갑니다. 만약 "다일(multi-day) 소요"라고 판정하면, 사건은 다음 단계로 이동합니다.

1단계: "접수 시점"의 수정구슬

사건이 "다일 소요" 마라톤으로 분류되면, 시스템은 이 경주가 얼마나 오래 걸릴지 추측해야 합니다. 이것은 까다로운 작업인데, 왜냐하면 사건이 아직 여정을 시작하기도 전이기 때문입니다. 컴퓨터는 사건이 접수되는 순간에 이용 가능한 정보만을 살펴봅니다: 사건 유형, 변호사 수, 해당 판사의 업무량, 그리고 법원이 도시 지역인지 농촌 지역인지 여부 등입니다.
약 673,000건의 과거 사건 데이터를 사용하여, LightGBM 모델은 다시 한번 챔피언임을 입증했습니다. 이 모델은 약 444일의 오차 범위 내에서 사건 지속 기간을 예측할 수 있었습니다. 이 수치가 많아 보일 수 있지만, 모델은 사건이 왜 오래 걸리는지에 대한 이유를 약 62% 설명해 냈습니다. 이는 접수 첫날 서류만 보고도 시스템이 판사에게 "이 사건은 약 1.5년이 걸릴 것으로 보입니다" 또는 "이것은 4년까지 끌 수 있습니다"라고 말할 수 있음을 의미합니다.

2단계: "실시간 업데이트" 추적기

여정은 접수 데스크에서 끝나지 않습니다. 사건이 법원을 통과하면서 기록이 쌓입니다. 심리가 열리고, 기일 변경이 허가되며, 지연이 발생합니다. 파이프라인의 세 번째 단계는 사건이 진행됨에 따라 예측을 업데이트하는 동적 모델입니다.
집을 나설 때 도착 예정 시간을 알려줄 뿐만 아니라, 교통 체증을 만날 때마다 시간을 재계산하는 GPS를 상상해 보십시오. 2단계 모델(Catigraph/CatBoost라는 다른 컴퓨터 두뇌로 구동됨)은 심리가 몇 번 있었는지, 혹은 첫 회의가 얼마나 지연되었는지와 같은 새로운 정보를 받아들여 추정치를 수정합니다.
이 단계의 결과는 인상적이었습니다. 초기 추측(1단계)의 오차가 444일이었던 반면, 업데이트된 추측(2단계)은 그 오차를 단 80.83일로 줄였습니다. 이는 사건이 진행될수록 컴퓨터가 언제 끝날지를 훨씬 더 정확하게 알게 된다는 것을 보여줍니다.

"JaliHaki" 대시보드: 실전 적용

연구진은 수학적 계산에만 머물지 않고, JaliHaki(스와힐리어로 '정의를 수호하거나 보호하다'라는 뜻)라는 실제 도구를 만들었습니다. 이는 법원의 컴퓨터 시스템과 직접 연결되는 웹 애플리케이션입니다.

• 법원 행정관을 위해: 위험도에 따라 색상별로 구분된 사건 목록이 포함된 대시보드를 보여줍니다. "저위험(Low Risk)" 사건은 초록색이며 정기적인 모니터링이 필요합니다. "심각한 위험(Critical Risk)" 사건은 빨간색이며 상급 판사의 즉각적인 주의가 필요합니다.
• 치안판사를 위해: 자신에게 배정된 사건이 "심각" 영역으로 흘러 들어가기 시작하면 경고를 주는 개인별 업무량 뷰를 제공합니다.
• 소송 당사자(대중)를 위해: 쉬운 언어로 된 추정치를 제공합니다. 복잡한 법률 용어 대신, 사건을 접수하는 사람은 "귀하의 사건은 약 5년이 소요될 것으로 예상되며, 현재 고위험 카테고리에 있습니다"라는 메시지를 볼 수 있습니다.

무엇이 지연을 유발하는가?

연구진은 SHAP 분석(어떤 요인이 가장 중요한지 돋보기로 들여다보는 기술)을 사용하여 지연의 주요 원인을 발견했습니다:

1. 판사당 사건 수: 판사가 너무 많은 사건을 맡으면 모든 것이 느려집니다.
2. 법적 대리인: 당사자가 변호사를 선임했는지 여부가 타임라인을 변화시킵니다.
3. 사건의 성격: 형사 사건(다일 소요 사건 기준 중앙값 90일)은 민사 사건(중앙값 547일)보다 빠르게 진행되는 경향이 있습니다.
4. 첫 언급(First-Mention) 지연: 첫 번째 심리가 열리기까지 걸리는 시간은 최종 지연을 예측하는 매우 큰 지표입니다.
5. 누적된 심리 횟수: 심리 횟수가 많아질수록 사건은 더 오래 걸리는 경향이 있습니다.

흥미롭게도, 연구는 도시 법원(대도시)이 농촌 법원(중앙값 99일)보다 다일 소요 사건을 처리하는 데 더 오래 걸렸다(중앙값 275일)는 것을 발견했습니다. 이는 직관에 어긋나 보일 수 있지만, 연구진은 이를 **대기 행렬 이론(Queueing Theory)**으로 설명합니다. 즉, 도시 법원이 자원이 풍부하더라도, 엄청난 사건의 양이 긴 "대기 줄"을 만들어 결국 모두를 느리게 만든다는 것입니다.

4단계 위험 시스템

예측을 실제 사람들에게 유용하게 만들기 위해, 팀은 컴퓨터의 예측을 바탕으로 간단한 4단계 위험 시스템을 만들었습니다:

• 저위험 (≤ 218일): 정기 모니터링.
• 중위험 (218–564일): 예정된 검토.
• 고위험 (564–1,283일): 즉각적인 개입 필요.
• 심각한 위험 (> 1,283일): 즉시 상급 치안판사에게 보고 및 에스컬레이션.

이 시스템을 통해 법원은 (새로운 접수 건수의 약 10.5%를 차지하는) "심각한 위험" 사건을 시작 단계에서부터 포착하여, 그것이 거대한 백로그의 일부가 되기 전에 조치를 취할 수 있습니다.

이 연구의 범위와 한계

연구진은 자신들의 모델이 예측을 위한 도구이지 마법 지팡이가 아님을 명시하며 주의를 기울였습니다. 그들은 모델이 역사적 데이터로부터 학습하기 때문에, 서로 다른 카운티나 법원 유형 간의 기존 불평등을 포함한 현재의 현실을 반영한다는 점을 분명히 했습니다. 또한 농촌 법원의 데이터가 적었기 때문에 농촌 법원에 대한 모델의 정확도는 추가 테스트가 필요할 수 있다고 경고했습니다.

또한, "접수 연도"가 주요 예측 변수였지만, 이는 법원이 점점 빨라지거나 느려지고 있기 때문이 아니라 수학적 특성 때문임을 명확히 했습니다. 즉, 최근에 접수된 사건들은 아직 종료될 시간이 충분하지 않았기 때문에, 컴퓨터는 그것들이 단지 '새롭기 때문에' 짧다고 인식하는 것입니다. 연구진은 예측이 공정하도록 이 부분을 조정했습니다.

결론

이 연구는 우리가 이미 보유한 데이터를 통해 놀라운 정확도로 사건 지연을 예측할 수 있는 시스템을 구축할 수 있음을 증축합니다. 3단계 파이프라인을 사용함으로써, 케냐 법원은 이제 백로그에 반응하는 것에서 벗어나 이를 예방하는 단계로 나아갈 수 있습니다. JaliHaki 애플리케이션은 복잡한 수학을 단순하고 색상으로 구분된 대시보드로 변환하여 판사, 서기, 그리고 대중이 타임라인을 이해할 수 있도록 돕습니다. 모델이 완벽하지는 않지만(업데이트된 예측의 오차 범위가 여전히 약 80일 정도임), 이는 기술을 사용하여 신속한 재판을 받을 권리를 보호하기 위한 거대한 도약입니다. 이 연구는 만약 이러한 도구들이 채택된다면, 법원이 가장 도움이 필요한 사건을 접수하는 순간부터 식별하여 정의가 서가 속에서 길을 잃지 않도록 보장할 수 있음을 시사합니다.