Designing AI for Prosecutorial Governance: Case Prioritization and Statutory Oversight in Mexico

Technische Samenvatting: Het ontwerpen van AI voor het Openbaar Ministerie in Mexico

Probleemstelling
Het Openbaar Ministerie in Mexico, met name in Zacatecas, staat voor een kritieke institutionele uitdaging die wordt gekenmerkt door een toename van 60% in openstaande dossiers tussen 2018 en 2022, wat heeft geleid tot een achterstand van meer dan 2,9 miljoen actieve onderzoeken in het hele land. De Fiscalía General de Justicia del Estado de Zacatecas (FGJEZ) worstelt met een beperkte institutionele capaciteit om deze volumes te verwerken, wat leidt tot hardnekkige vertragingen in de afhandeling van zaken en potentiële schendingen van wettelijke termijnen (verjaring). De specifieke eenheid die in dit onderzoek wordt onderzocht, het Módulo de Atención Temprana (MAT), behandelt de initiële intake en vroege filtering, maar kampt met een hoge instroom en een lage doorvoer. Het kernprobleem is het onvermogen om zaken efficiënt te triageren om te identificeren welke zaken waarschijnlijk op korte termijn worden afgerond versus welke juridisch stilgevallen of gestagneerd zijn, zonder bestaande workflows te verstoren of extra personeel te vereisen.

Methodologie
De auteurs hebben een machine learning (ML)-systeem ontwikkeld dat in samenwerking met het Openbaar Ministerie van Zacatecas is ontworpen om de interne triage van zaken te ondersteunen. Het systeem maakt gebruik van administratieve gegevens uit de Plataforma de Integración de Expedientes (PIE), het digitale dossierbeheersysteem van de staat, die de periode van 2014 tot 2024 beslaan.

• Voorspellingsopgave: Het systeem formuleert het probleem als een binaire classificatieopgave: het voorspellen of een openstaande zaak binnen de MAT-eenheid binnen de komende zes maanden zal worden afgerond.
• Feature Engineering: Het model gebruikt een longitudinale set kenmerken afgeleid van het PIE-systeem, gecategoriseerd in vijf groepen:
  1. Zaak-specifieke kenmerken: Openingsdata, misdaadcategorieën en initiële arrestatiestatus.
  2. Mijlpalen in het onderzoek: Aantallen gerechtelijke handelingen (bijv. bevelen, verwijzingen, alternatieve rechtmechanismen).
  3. Activiteit van de advocaat: Metrieken over de individuele caseload van officieren van justitie, productivieratio's en de geschiedenis van zaakafhandeling.
  4. Eenheids-specifieke indicatoren: Geaggregeerde prestatie- en workload-metrieken voor specifieke eenheden van het Openbaar Ministerie.
  5. Misdaadtype-aggregaten: Historische trends en afhandelingspercentages specifiek voor bepaalde categorieën overtredingen.
• Modelleringsbenadering: De studie vergelijkt Logistische Regressie, Beslissingsbomen, Random Forests en Extra Trees. Om de implementatie in real-time te simuleren en datalekken te voorkomen, maken de auteurs gebruik van een rolling temporal cross-validation strategie, waarbij modellen worden getraind op gegevens die beschikbaar waren tot een specifiek punt en worden geëvalueerd op daaropvolgende perioden.
• Doeldubbele Architectuur: Het systeem dient twee governance-functies vanuit één enkel voorspellingsmodel:
  1. Prioritering: Het genereren van een wekelijkse gerangschikte lijst van de top 300 zaken met de hoogste kans op afhandeling om de operationele efficiëntie te vergroten.
  2. Wettelijk Toezicht: Het identificeren van zaken in de onderste staart van de waarschijnlijkheidsverdeling (laagste kans op afhandeling) die de geschatte wettelijke verjaringstermijnen overschrijden. Omdat de database niet beschikt over de specifieke juridische subtypes die nodig zijn voor exacte verjaringberekeningen, hebben de auteurs een operationele benadering geconstrueerd op basis van de Código Penal para el Estado de Zacatecas (CPZac), waarbij het minimum, gemiddelde en maximum wettelijke drempelwaarden voor elke misdaadcategorie worden berekend.
• Evaluatiemetrieken: Prestaties worden gemeten met behulp van Precision@300 en Recall@300, metrieken die zijn afgestemd op de institutionele beperking van het beoordelen van een vast aantal zaken per week.

Belangrijkste Resultaten

• Modelprestaties: Ensemble-classifiers, specificaal Random Forests, presteerden consequent beter dan andere algoritmen. Het Random Forest-model behaalde een gemiddelde Precision@300 van 0,735 (ongeveer 0,74), wat aanzienlijk beter is dan de empirische baseline (0,253) en een willekeurige selectie-baseline (0,258). De prestaties bleven stabiel bij testen met gegevens die doorlopen tot januari 2025.
• Feature Belangrijkheid: Analyse toonde aan dat dynamische, longitudinale signalen de sterkste voorspellers waren. De meest invloedrijke kenmerken waren het aantal "geïnitieerde" gebeurtenissen (formele her-initiaties door eenhedenoverdrachten) in het afgelopen jaar, de tijd sinds de laatste gebeurtenis en de duur sinds de opening van de zaak. Statische attributen, zoals het oorspronkelijke misdaadtype of de aanwezigheid van een gearresteerde verdachte, droegen minder bij aan de voorspellende kracht.
• Toezichtfunctie: Bij toepassing op de onderste 1.000 gerangschikte zaken (laagste kans op afhandeling), markeerde het Random Forest-model gemiddeld 318,6 zaken (31,9%) als potentieel de wettelijke verjaringstermijn te hebben overschreden onder de gemiddelde drempelwaarde. Dit wijst op een systematische accumulatie van juridisch dode zaken in de achterstand.
• Robuustheid: De identificatie van potentieel verjaarde zaken bleef stabiel over verschillende Random Forest-configuraties en modelfamilies, wat suggereert dat het signaal een structurele achterstandsdynamiek reflecteert in plaats van een model-specifiek artefact.

Betekenis en Claims
Het artikel positioneert dit werk als een bijdrage aan de literatuur over AI in de overheid, specifiek binnen de context van het Mondiale Zuiden en omgevingen met beperkte middelen. De auteurs doen de volgende bescheiden claims met betrekking tot de betekenis van het systeem:

1. Doeldubbele Governance: De studie toont aan dat één enkel algoritmisch kader tegelijkertijd kan dienen voor zowel operationele efficiëntie (door oplosbare zaken te prioriteren) als institutionele verantwoording (door zaken voor juridische controle te markeren). Dit daagt het idee uit dat AI-instrumenten in de overheid beperkt moeten blijven tot efficiëntiewinsten.
2. Implementatie met Lage Overhead: Het systeem is ontworpen als een besluitvormingsondersteunend instrument dat integreert in bestaande workflows zonder dat er organisatorische herstructurering of wijzigingen in de discretionaire bevoegdheid van officieren van justitie nodig zijn. Het biedt gerangschikte lijsten om menselijk oordeel te ondersteunen in plaats van beslissingen te automatiseren.
3. Empirische Validatie in Latijns-Amerika: Door de ontwerp- en validatieprocessen van een ML-systeem in een Mexicaans Openbaar Ministerie te documenteren, biedt het artikel inzichten in algoritmische governance in omgevingen met afwijkende juridische kaders en digitale infrastructuuruitdagingen, wat contrasteert met de op de VS en West-Europa gerichte literatuur.
4. Toekomstige Validatie: De auteurs stellen expliciet dat hoewel de retrospectieve validatie sterk is, het praktische nut van het systeem in de echte wereld nog niet bewezen is. Zij stellen een Randomized Controlled Trial (RCT) voor om causaal te evalueren of model-gestuurde prioritering de afhandelingspercentages van zaken verhoogt of de tijd tot voltooiing verkort in vergelijking met de huidige situatie.

Beperkingen en Ethische Overwegingen
De auteurs erkennen dat het model steunt op administratieve gegevens die historische vooroordelen of structurele ongelijkheden kunnen weerspiegelen. Zij benadrukken dat het systeem niet de juridische verjaring bepaalt, maar eerder een risicogebaseerde shortlist biedt voor administratieve controle. Bijgevolg worden alle outputs geframed als aanbevelingen voor menselijke verificatie, en de auteurs zijn van plan om fairness-diagnostiek uit te voeren om ongelijkheden tussen gemeenten en misdaadtypen te monitoren. Er wordt opgemerkt dat het model niet direct overdraagbaar is naar andere jurisdicties zonder substantiële aanpassing, vanwege verschillen in juridische procedures en datastructuren.