Designing AI for Prosecutorial Governance: Case Prioritization and Statutory Oversight in Mexico

기술 요약: 멕시코 검찰 행정 관리를 위한 AI 설계

문제 정의
멕시코의 검찰청, 특히 사카테카스(Zacatecas)는 2018년에서 2022년 사이 미결 사건 파일이 60% 급증하며 발생한 심각한 제도적 과제에 직면해 있으며, 이는 전국적으로 290만 건 이상의 활성 수사 파일 적체로 이어졌습니다. 사카테카스 주 검찰청(FGJE General de Justicia del Estado de Zacatecas, FGJEZ)은 이러한 물량을 처리할 수 있는 제도적 역량의 한계로 인해 사건 해결 지연과 법정 시효(공소시효) 위반 가능성이라는 문제에 시달리고 있습니다. 본 연구의 대상인 초기 대응 모듈(Módulo de Atención Temprana, MAT)은 초기 접수 및 초기 단계 필터링을 담당하지만, 높은 유입량과 낮은 처리량으로 어려움을 겪고 있습니다. 핵심 문제는 기존의 워크플로우를 방해하거나 추가 인력을 요구하지 않으면서, 근시일 내에 해결될 가능성이 높은 사건과 법적으로 정체되거나 중단된 사건을 효율적으로 분류(triage)할 수 있는 능력이 부족하다는 점입니다.

방법론
저자들은 내부 사건 분류를 지원하기 위해 사카테카스 검찰청과 공동 설계한 머신러เรียน(ML) 시스템을 개발했습니다. 이 시스템은 2014년부터 2024년까지의 데이터를 포함하는 주 정부의 디지털 사건 관리 시스템인 통합 사건 플랫폼(Plataforma de Integración de Expedientes, PIE)의 행정 데이터를 활용합니다.

• 예측 과제: 시스템은 이진 분류 과제로 문제를 정의합니다: 즉, MAT 유닛 내의 미결 사건이 향후 6개월 이내에 종결될지 여부를 예측하는 것입니다.
• 특성 공학(Feature Engineering): 모델은 PIE 시스템에서 추출된 5가지 범주의 종단적 특성 세트를 사용합니다:
  1. 사건 수준 특성: 개시 날짜, 범죄 유형, 초기 체포 상태.
  2. 수사 마일스톤: 사법 조치(예: 영장, 이송, 대안적 사법 메커니즘)의 횟수.
  3. 변호사 활동: 개별 검사의 사건 담당량, 생산성 비율, 사건 처리 이력에 대한 지표.
  4. 유닛 수준 지표: 특정 검찰 부서의 종합적인 성과 및 업무량 지표.
  5. 범죄 유형 집계: 특정 범죄 범주에 특화된 역사적 추세 및 해결률.
• 모델링 접근 방식: 본 연구는 로지스틱 회귀, 의사결정 나무, 랜덤 포레스트(Random Forest), 엑스트라 트리(Extra Trees)를 비교합니다. 실시간 배포를 시뮬레이션하고 데이터 누수(data leakage)를 방지하기 위해, 저자들은 특정 시점까지 가용한 데이터로 모델을 학습시키고 이후 기간에 대해 평가하는 롤링 템포럴 교차 검증(rolling temporal cross-validation) 전략을 채택합니다.
• 이중 목적 아키텍처: 시스템은 단일 예측 모델로부터 두 가지 거버넌스 기능을 수행합니다:
  1. 우선순위 지정: 운영 효율성을 돕기 위해 해결 가능성이 가장 높은 상위 300개 사건의 주간 순위 목록을 생성합니다.
  2. 법적 감독: 법적 시효 도래 추정치를 초 exceed하는 하위 확률 분포(해결 가능성이 가장 낮은 사건들)의 사건들을 식별합니다. 데이터베이스에 정확한 시효 계산에 필요한 구체적인 법적 하위 유형이 부족하므로, 저자들은 사카테카스 주 형법(Código Penal para el Estado de Zacatecas, CPZac)을 기반으로 각 범죄 유형별 최소, 평균, 최대 법정 임계치를 계산하여 운영상의 근사치를 구축했습니다.
• 평가 지표: 성능은 매주 고정된 수의 사건을 검토해야 하는 제도적 제약에 맞춰 Precision@300 및 Recall@300을 사용하여 측정됩니다.

주요 결과

• 모델 성능: 앙상블 분류기, 특히 랜덤 포레스트가 다른 알고리즘보다 일관되게 우수한 성능을 보였습니다. 랜덤 포레스트 모델은 평균 Precision@300이 0.735(약 0.74)를 기록하여, 경험적 베이스라인(0.253)과 무작위 선택 베이스라인(0.258)을 크게 상회했습니다. 성능은 2025년 1월까지 확장된 데이터에 대해서도 안정적으로 유지되었습니다.
• 특성 중요도: 분석 결과, 동적이고 종단적인 신호가 가장 강력한 예측 변수임이 드러났습니다. 가장 영향력 있는 특성에는 지난 1년간의 "개시(initiated)" 이벤트 횟수(부서 이전에 따른 공식적 재개시), 마지막 이벤트 이후 경과 시간, 사건 개시 후 경과 시간이 포함되었습니다. 초기 범죄 유형이나 피의자 체포 여부와 같은 정적 속성은 예측력에 대한 기여도가 낮았습니다.
• 감독 기능: 하위 1,000개 순위 사건(최저 확률)에 적용했을 때, 랜덤 포레스트 모델은 평균 **318.6건(31.9%)**을 평균 임계치를 초과하여 법적 시효가 만료되었을 가능성이 있는 것으로 분류했습니다. 이는 법적으로 정체된 사건들이 백로그에 체계적으로 축적되어 있음을 나타냅니다.
• 강건성(Robustness): 잠재적 시효 만료 사건의 식별은 다양한 랜덤 포레스트 구성 및 모델 패밀리 전반에서 안정적으로 나타났으며, 이는 해당 신호가 모델 특유의 인위적 결과가 아니라 구조적인 백로그 역학을 반영함을 시사합니다.

의의 및 주장
본 논문은 이 연구를 글로벌 사우스(Global South) 및 자원이 제한된 맥락에서의 AI 정부 운영에 관한 문헌에 대한 기여로 자리매김합니다. 저자들은 시스템의 의의에 대해 다음과 같이 겸허한 주장을 제기합니다:

1. 이중 목적 거버넌스: 본 연구는 단일 알고리즘 프레임워크가 운영 효율성(해결 가능한 사건 우선순위 지정)과 제도적 책임성(법적 검토를 위한 플래그 표시)을 동시에 지원할 수 있음을 입증합니다. 이는 정부 내 AI 도구가 반드시 효율성 증대에만 국한되어야 한다는 관념에 도전합니다.
2. 저비용 통합: 시스템은 조직 개편이나 검사의 재량권 변경 없이 기존 워크플로우에 통합되는 의사결정 지원 도구로 설계되었습니다. 이는 인간의 판단을 자동화하는 것이 아니라 인간의 판단을 돕기 위한 순위 목록을 제공합니다.
3. 라틴 아메리카에서의 실증적 검증: 멕시코 검찰청에서 ML 시스템을 설계하고 검증하는 과정을 기록함으로써, 본 논문은 미국 및 서유럽 중심의 문헌과는 대조되는, 독특한 법적 프레임워크와 디지털 인프라 과제를 가진 환경에서의 알고리즘 거버넌스에 대한 통찰을 제공합니다.
4. 향후 검증: 저자들은 사후적 검증은 강력하지만, 시스템의 실제 효용성은 아직 입증되지 않았음을 명시적으로 밝힙니다. 저자들은 모델 기반의 우선순위 지정이 현 상태와 비교하여 사건 해결률을 높이거나 완료 시간을 단축하는지 인과적으로 평가하기 위해 **무작위 대조 시험(RCT)**을 실시할 것을 제안합니다.

한계 및 윤리적 고려사항
저자들은 모델이 역사적 편향이나 구조적 불평등을 반영할 수 있는 행정 데이터에 의존하고 있음을 인정합니다. 그들은 이 시스템이 법적 시효를 결정하는 것이 아니라 행정적 검토를 위한 위험 기반의 요약 목록을 제공하는 것임을 강조합니다. 따라서 모든 출력은 인간의 확인을 위한 권고 사항으로 프레임화되며, 저자들은 지자체 및 범죄 유형 간의 격차를 모니터링하기 위해 공정성 진단을 실시할 계획입니다. 또한, 법적 절차 및 데이터 구조의 차이로 인해 이 모델을 상당한 조정 없이 다른 관할 구역으로 직접 이전하기는 어렵다고 명시했습니다.