Confronting Label Indeterminacy in Automated Bail Decisions

Resumen Técnico: Enfrentando la Indeterminación de Etiquetas en las Decisiones Automatizadas de Libertad bajo Caución

Enunciado del Problema
Los sistemas automatizados de apoyo a la toma de decisiones para la libertad bajo caución enfrentan una limitación de datos fundamental conocida como indeterminación de etiquetas. En los contextos previos al juicio, el resultado contrafactual —si el acusado habría comparecido en el tribunal si hubiera sido liberado— no se observa cuando se deniega la libertad bajo caución y el acusado es detenido. En consecuencia, los conjuntos de datos históricos contienen indeterminación estructural: el resultado observado (comparecencia en el tribunal) es una consecuencia directa de la decisión de detención y no de la propensión subyacente del acusado a comparecer. Entrenar modelos de aprendizaje automático con tales datos sin abordar esta indeterminación corre el riesgo de incrustar sesgos estructurales y reforzar bucles de retroalimentación, ya que los modelos aprenden de resultados que están parcialmente determinados por las mismas decisiones que pretenden predecir.

Metodología
Los autores realizaron un estudio de caso utilizando 90.732 casos judiciales anonimizados del Sistema Judicial Unificado de Pensilvania (2016–2020). La variable objetivo es el Incumplimiento de Comparecencia (FTA). El estudio define las etiquetas "indeterminadas" como aquellos casos donde una intervención (detención previa al juicio) altera el resultado observado, haciendo que la verdadera propensión del acusado sea inobservable. Esto incluye casos donde se denegó la libertad bajo caución, se fijó pero no se pagó, se consignó parcialmente, o donde las fianzas fueron terminadas por razones distintas a la no comparecencia.

Para investigar el impacto del manejo de estas etiquetas, los autores:

1. Definieron Cinco Estrategias de Imputación:

   • Etiquetas correctas ($corr$): Mantiene las etiquetas originales (comparecencia) para los acusados detenidos, asumiendo que habrían comparecido si hubieran sido liberados.
   • Detención como fracaso ($daf$): Asigna una etiqueta de FTA a todos los acusados detenidos, asumiendo que la detención refleja una predicción precisa de la no comparecencia.
   • Solo observado ($obs$): Excluye todos los casos indeterminados, entrenando solo en casos donde se concedió la libertad bajo caución.
   • Observado + Inversa de Propensión ($obs\_ip$): Entrena en casos observados pero aplica ponderación por inversa de propensión para corregir el sesgo de la muestra, asumiendo que todos los factores que influyen en las decisiones de libertad bajo caución están capturados en los datos.
   • Vecino más cercano ($nn$): Imputa etiquetas para los acusados detenidos basándose en los resultados de los casos más similares donde se concedió la libertad bajo caución ($k=52$).

2. Configuración Experimental:

   • Se entrenaron tres modelos de aprendizaje automático: Regresión Logística, Random Forest y XGBoost.
   • El conjunto de datos se dividió en un conjunto de prueba (20%) y 25 subconjuntos de entrenamiento equilibrados (mediante submuestreo de la clase minoritaria FTA).
   • Se retuvieron los atributos sensibles (raza, sexo) para reflejar las distribuciones de datos del mundo real, mientras que se excluyeron las características posteriores a la decisión (monto de la fianza, estado).
   • Se entrenó un total de 348 modelos (3 modelos × 5 métodos × 25 subconjuntos).

3. Evaluación:

   • El rendimiento predictivo se midió utilizando el Coeficiente de Correlación de Matthews (MCC) en casos de prueba tanto determinados como indeterminados.
   • El comportamiento predictivo se analizó mediante distribuciones de predicción (diagramas de violín) y distancias de Wasserstein.
   • Los procesos internos de toma de decisiones se examinaron utilizando técnicas de Inteligencia Artificial Explicable (XAI), específicamente puntuaciones de importancia de características (métrica de ganancia) para el modelo XGBoost.

Resultados Clave

• Impacto de la Imputación vs. Elección del Modelo: La elección del método de imputación de etiquetas tuvo un impacto más sustancial en el comportamiento del modelo y las distribuciones de predicción que la elección del propio algoritmo de aprendizaje automático. Las pruebas estadísticas (distancia de Wasserstein, Kolmogorov–Smirnov) confirmaron que métodos como $corr$, $daf$y$nn$ produjeron distribuciones significativamente distintas en comparación con $obs$y$obs_ip$.
• Varianza del Rendimiento:
  • Los métodos $obs$, $obs\_ip$ y $nn$ funcionaron mejor en casos de prueba determinados pero peor en casos indeterminados.
  • El método $corr$ funcionó peor en casos determinados pero mejor en casos indeterminados, ya que es el único método que preserva las etiquetas originales para los acusados detenidos.
• Toma de Decisiones Interna: El análisis XAI reveló que los diferentes métodos de imputación alteraron las clasificaciones internas de importancia de las características. Si bien las características principales (por ejemplo, delito principal, tipo de abogado) permanecieron significativas en todos los métodos, la importancia relativa de otras características cambió dependiendo de la estrategia de imputación, lo que indica que el manejo de las etiquetas cambia fundamentalmente cómo los modelos utilizan la información del caso.
• Desplazamientos de Distribución: Los métodos $obs$y$obs_ip$ produjeron distribuciones de predicción similares, lo que sugiere que la ponderación por inversa de propensión no alteró significativamente la salida del modelo en este contexto específico en comparación con la simple exclusión.

Significado y Afirmaciones
El artículo argumenta que la indeterminación de etiquetas no es meramente un problema técnico de datos, sino uno normativo. Los autores afirman que:

1. Las Elecciones Técnicas son Normativas: Cada método de imputación codifica una concepción específica de justicia y gobernanza del riesgo. Por ejemplo, $corr$ valida implícitamente la detención preventiva como sustituto de la evaluación de riesgo individualizada, mientras que $daf$ trata las decisiones pasadas de detención como evidencia fiable de riesgo, creando potencialmente profecías autocumplidas.
2. Supuestos Inverificables: Todos los métodos se basan en supuestos inverificables sobre resultados contrafactuales. Ningún enfoque único puede probarse definitivamente correcto, sin embargo, cada uno influye significativamente en el comportamiento predictivo y la equidad.
3. Riesgos de Responsabilidad: Los ajustes estadísticos (como $obs\_ip$ y $nn$) pueden crear una "confianza tecnocrática" donde las inferencias probabilísticas reemplazan las observaciones legales faltantes, socavando potencialmente la capacidad de los acusados para impugnar decisiones basadas en etiquetas contrafactuales.
4. Implicaciones de Diseño: El estudio demuestra que las elecciones metodológicas sobre el tratamiento de las etiquetas pueden ser más críticas que la selección del modelo. Por lo tanto, los desarrolladores de sistemas de apoyo a la toma de decisiones sobre libertad bajo caución deben reconocer explícitamente las implicaciones legales y filosóficas de cómo manejan las etiquetas indeterminadas, en lugar de tratarlas como problemas puramente algorítmicos.

Los autores concluyen que abordar adecuadamente la indeterminación de etiquetas es crítico para la legitimidad, la equidad y la responsabilidad de los sistemas automatizados de libertad bajo caución, instando a un cambio de ver estos como brechas técnicas a reconocerlos como sitios de discurso legal y moral.