🤖 machine learning

Model Multiplicity and Predictive Arbitrariness in Recidivism Risk Assessment

Este artículo investiga la arbitrariedad predictiva en la evaluación del riesgo de reincidencia al demostrar que, a pesar de la existencia de múltiples modelos con una precisión similar, sus predicciones suelen exhibir un acuerdo sustancial en la práctica, y propone una política de asignar la puntuación de riesgo más baja entre estos modelos como una solución efectiva para mitigar las inconsistencias en la toma de decisiones.

Autores originales: Ashwin Singh, Carlos Castillo

Publicado 2026-06-02

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Ashwin Singh, Carlos Castillo

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un juez tratando de decidir si un prisionero debe ser liberado anticipadamente. Tienes un programa informático que le otorga al prisionero una "puntuación de riesgo" para predecir si cometerá otro delito. Esta es la situación real que el artículo aborda, mirando específicamente un sistema utilizado en Cataluña, España, llamado RisCanvi.

Aquí está la historia del artículo, desglosada en conceptos y analogías sencillas.

1. El Problema: El efecto "Rashomon"

En la película Rashomon, cuatro testigos diferentes cuentan cuatro historias completamente distintas sobre el mismo crimen, pero todas las historias parecen plausibles.

Los autores descubrieron que los modelos de aprendizaje automático sufren el mismo problema. Al intentar predecir si un prisionero volverá a delinquir, no existe una única fórmula matemática "correcta". Hay muchas fórmulas diferentes que son igualmente buenas prediciendo el pasado.

El problema: Si tienes dos fórmulas igualmente inteligentes, pero dan respuestas diferentes para la misma persona (una dice "Riesgo Bajo", la otra dice "Riesgo Alto"), la decisión se vuelve arbitraria. Se siente como lanzar un dado para decidir el futuro de alguien. Esto se llama Multiplicidad Predictiva.

2. La Solución: Limpiar los datos primero

Antes de construir mejores fórmulas, los autores se dieron cuenta de que el "libro de texto" que la computadora estaba estudiando era desordenado.

La forma antigua: El sistema actual (RisCanvi) fue entrenado con datos que a menudo estaban desactualizados o etiquetados incorrectamente porque era difícil rastrear si alguien realmente cometía un nuevo delito tras su liberación (debido a retrasos legales). Era como intentar aprender a conducir usando un mapa de 1990.
La nueva forma: Los autores trabajaron con expertos legales para escribir un programa informático que siguiera estrictamente las complejas reglas legales para etiquetar los datos correctamente. Crearon un conjunto masivo y limpio de datos de 17.500 prisioneros. Esto es como darle a la computadora un GPS nuevo, de alta definición.

3. Construyendo mejores modelos: La "Ficha de puntuación justa"

Utilizando estos datos limpios, los autores construyeron nuevos modelos. No solo querían que fueran precisos; querían que fueran justos y lógicos.

Lógica: Se aseguraron de que el modelo siguiera el sentido común: si un prisionero obtiene un título o aprende un oficio (rehabilitación), su puntuación de riesgo debe bajar. Si tiene malos hábitos, sube.
Equidad: Se aseguraron de que el modelo no castigara injustamente a grupos específicos (como extranjeros frente a locales) más que a otros.

4. El Gran Descubrimiento: "Muchos caminos, mismo destino"

Esta es la parte más sorprendente del artículo. Los autores reunieron un gran grupo de estos modelos "igualmente inteligentes y justos" (un Conjunto Rashomon) y preguntaron: ¿Discrepan todos entre sí?

La respuesta: No.

La analogía: Imagina a un grupo de 100 navegantes expertos intentando guiar un barco a través de un mar con niebla. Podrías esperar que todos apuntaran en direcciones diferentes. En cambio, los autores descubrieron que, el 91% de las veces, los 100 navegantes coincidían exactamente en la misma dirección.
El matiz: Solo discrepaban en aquellos pocos casos que estaban justo en el borde de la "niebla" (el límite de decisión). Para la gran mayoría de los prisioneros, los modelos estaban en total acuerdo.
La lección: El hecho de que existan muchas diferentes fórmulas matemáticas no significa que las predicciones sean caóticas. La "arbitrariedad" es mucho menor de lo que la teoría sugiere.

5. La Solución: La regla del "Beneficio de la duda"

Entonces, ¿qué haces con ese pequeño grupo de prisioneros donde los modelos sí discrepan?
Los autores proponen una política sencilla llamada la "Política de Menor Riesgo" (o Favor Rei, un principio legal que significa "favor al demandado").

Cómo funciona: Si el Modelo A dice "Riesgo Alto" y el Modelo B dice "Riesgo Bajo", simplemente eliges la puntuación de Riesgo Bajo.
Por qué funciona: Actúa como una red de seguridad. Asegura que, si hay alguna duda, el prisionero reciba el beneficio de la duda.
El resultado: Esta regla sencilla hizo que el sistema fuera, de hecho, más preciso y más justo que usar un solo modelo complejo o el promedio de todos los modelos. Redujo el número de personas erróneamente etiquetadas como de alto riesgo sin dejar pasar a personas peligrosas.

Resumen

El artículo argumenta que no necesitamos temer que existan muchos modelos de IA diferentes para predecir el crimen.

Limpia tus datos primero (deja de usar mapas desordenados y antiguos).
Construye modelos que sean justos y lógicos.
Date cuenta de que, incluso con muchos modelos diferentes, normalmente coinciden en la respuesta.
Cuando discrepen, usa una regla sencilla: Elige la opción más segura y de menor riesgo.

Este enfoque convierte un caos confuso de predicciones "arbitrarias" en una herramienta fiable, justa y lógica para el sistema de justicia.

Resumen Técnico: Multiplicidad de Modelos y Arbitrariedad Predictiva en la Evaluación del Riesgo de Reincidencia

Planteamiento del Problema

El artículo aborda el desafío de la multiplicidad predictiva (a menudo denominada el Efecto Rashomon) en la evaluación del riesgo de reincidencia criminal en entornos de alta sensibilidad. En tareas de predicción con ruido, suelen existir múltiples modelos con una precisión comparable; sin embargo, estos pueden producir predicciones divergentes para un mismo individuo. Esto genera arbitrariedad predictiva, lo que plantea preocupaciones sobre la equidad y la consistencia en la toma de decisiones judiciales.

Específicamente, los autores investigan el sistema RisCanvi, una herramienta de apoyo a la decisión utilizada en Cataluña desde 2009. El sistema actual enfrenta varios problemas críticos:

Calidad de los Datos: Dependencia de datos de entrenamiento desactualizados y un etiquetado manual complejo y propenso a errores de la reincidencia (distinguir entre reencarcelación por nuevos delitos frente a violaciones técnicas o sentencias preexistentes).
Disparidades de Rendimiento: El modelo de regresión logística existente exhibe altas tasas de falsos negativos y disparidades significativas en las tasas de error entre grupos demográficos (por ejemplo, nacionales frente a extranjeros).
Falta de Monotonicidad: El sistema actual no garantiza que el progreso rehabilitador (características dinámicas) conduzca a puntuaciones de riesgo más bajas, un requisito para incentivos de rehabilitación justos.
Arbitrariedad: Incluso si se encuentra un modelo "menos discriminatorio", la existencia de un "Conjunto Rashomon" (un conjunto de modelos con un rendimiento similar) implica que diferentes modelos válidos podrían generar distintas puntuaciones de riesgo para un mismo interno, socavando la fiabilidad de la evaluación.

Metodología

1. Construcción del Conjunto de Datos

Los autores desarrollaron un algoritmo de etiquetado riguroso para construir un conjunto de datos de alta calidad de 17.542 liberaciones de internos de prisiones catalanas (2010–2019).

Proceso de Etiquetado: Tradujeron reglas legales complejas que definen la "reincidencia penal" (sentencia de prisión por un nuevo delito) en un algoritmo iterativo. Este algoritmo fue refinado mediante la colaboración con expertos en ejecución de sentencias hasta que coincidió con las anotaciones de expertos humanos.
Características: El conjunto de datos incluye 43 características por liberación (20 estáticas, p. ej., edad de inicio; 23 dinámicas, p. ej., nivel educativo) de la evaluación final del interno.
División (Split): Se utilizó una división cronológica de entrenamiento-prueba (Entrenamiento: 2010–2018; Prueba: 2019) para asegurar la validez temporal.

2. Marco de Optimización (FairSLIM)

Los autores proponen un marco de Programación Lineal Entera Mixta (MILP) de dos pasos:

Paso 1: SLIM con Monotonicidad: Utilizan la formulación SLIM (Supersparse Linear Integer Model) para aprender un sistema de puntuación lineal entero. Crucialmente, imponen restricciones de monotonicidad al restringir los coeficientes de las características a enteros no negativos. Esto asegura que las características estáticas adversas aumenten el riesgo, mientras que las características dinámicas positivas (progreso rehabilitador) lo disminuyan.
Paso 2: Exploración del Conjunto Rashomón: Basándose en el trabajo de Langlade et al. (2025), buscan el Conjunto $\epsilon$ -Rashomon (modelos con riesgo empírico dentro de $\epsilon$ $ϵ$ del óptimo) para encontrar Modelos Menos Discriminatorios (LDM).
- Generalizan la búsqueda para $m > 2$ grupos demográficos.
- Minimizan la violación de la Igualdad de Probabilidades ( $\Delta EO$ ), definida como la disparidad máxima de pares en las Tasas de Falsos Positivos (FPR) y las Tasas de Falsos Negativos (FNR) entre grupos.
- Optimizan esto rastreando el mínimo/máximo de FPR/FNR entre grupos, reduciendo las restricciones de equidad de $O(m^2)$ a $O(m)$ .

3. Análisis de la Multiplicidad Predictiva

Para cuantificar la arbitrariedad, los autores extienden el concepto de autoconsistencia (Cooper et al., 2024) al Conjunto Rashomon:

Definición: Para un conjunto finito de modelos $P$ , la autoconsistencia $SCP(x)$ es la probabilidad de que dos modelos extraídos uniformemente al azar de $P$ coincidan en la predicción para la instancia $x$ .
Límite Teórico: Derivan un límite inferior ajustado de la autoconsistencia esperada (Proposición 1) basado en la pérdida promedio de 0-1 del grupo de modelos. Este límite representa el escenario peor de acuerdo.
Evaluación de Políticas: Evalúan tres políticas para resolver la multiplicidad:
1. Ensemble (Agrupación): Promedio de las predicciones.
2. Selección Aleatoria: Elegir un modelo al azar para cada instancia.
3. Política de Menor Riesgo (LRP): Asignar al interno la puntuación de riesgo más baja predicha por cualquier modelo en el grupo (alineándose con el principio de favor rei).

Resultados Clave

1. Rendimiento Predictivo y Equidad

Superioridad sobre los Baselines: Los modelos propuestos (SLIM y FairSLIM) superan significativamente al modelo operativo RisCanvi. Mientras que RisCanvi logra una alta precisión al predecir la clase mayoritaria, sufre de una alta tasa de falsos negativos (84,7%) y una baja exactitud equilibrada (56,2%).
Modelos Interpretables: Los nuevos modelos lineales enteros logran exactitudes equilibradas de ~70–73% y reducen la tasa de falsos negativos en más de un 65%.
Equidad: La búsqueda de LDMs dentro del 1% del riesgo óptimo ( $\epsilon \le 0,01$ ) reduce la disparidad máxima de error ( $\Delta EO$ ) entre subgrupos a un 5% en el conjunto de prueba. Este rendimiento es comparable o mejor que un baseline complejo de CatBoost, manteniendo la interpretabilidad.

2. Multiplicidad Predictiva y Autoconsistencia

Alto Acuerdo: A pesar de la existencia de muchos modelos estructuralmente diversos (con coeficientes variables para características estáticas y dinámicas), la autoconsistencia observada es del 91%. Esto es significativamente superior al límite inferior del peor caso teórico (0,53).
Localización del Desacuerdo: El desacuerdo predictivo se concentra casi exclusivamente en instancias cercanas a la frontera de decisión (instancias de bajo margen). Para instancias de alto margen, los modelos coinciden perfectamente.
Diversidad Estructural vs. Acuerdo Predictivo: El estudio demuestra que una alta diversidad estructural (diferentes coeficientes) no se traduce necesariamente en una multiplicidad predictiva severa.

3. Eficacia de la Política de Menor Riesgo

La Política de Menor Riesgo (FairSLIM-LRP) asigna la puntuación de riesgo más baja entre el grupo de modelos válidos a cada interno.
Rendimiento: Esta política logra la mayor exactitud equilibrada (71,2%) entre todos los mecanismos de resolución probados (incluyendo el ensemblado y la selección aleatoria) manteniendo una paridad de error comparable.
Implicación: Al seleccionar el resultado más favorable entre los modelos válidos, el sistema reduce la arbitrariedad sin sacrificar la utilidad predictiva ni la equidad.

Significación y Reivindicaciones

El artículo reivindica varias contribuciones al campo de la equidad algorítmica y la evaluación de riesgos:

Generalización de las Restricciones de Equidad: Generaliza la búsqueda de modelos menos discriminatorios en el Conjunto Rashomon para $m > 2$ subgrupos con solo $O(m)$ restricciones adicionales, lo que lo hace computacionalmente factible para particiones demográficas complejas.
Límite Teórico de la Arbitrariedad: Proporciona un límite inferior ajustado para la autoconsistencia esperada de cualquier conjunto finito de clasificadores binarios, ofreciendo un punto de referencia teórico para comparar contra el acuerdo empírico.
Estudio de Caso Real: Presenta el primer estudio real de multiplicidad predictiva en la evaluación del riesgo de reincidencia, yendo más allá de las simulaciones teóricas hacia un sistema desplegado (RisCanvi).
Recomendación de Política: Propone y valida una Política de Menor Riesgo como un mecanismo efectivo para resolver la arbitrariedad predictiva. Este enfoque se alinea con el principio legal de favor rei (en caso de duda, a favor del reo) y el principio de no subordinación, abordando los sesgos sistémicos al elegir activamente la predicción menos punitiva y válida.
Impacto de la Calidad de los Datos: El trabajo destaca cómo la automatización del etiquetado de resultados post-liberación mediante reglas legales genera un conjunto de datos 17 veces más grande que el conjunto de entrenamiento actual, mejorando materialmente el rendimiento y la equidad del modelo.

Los autores concluyen que, si bien la multiplicidad de modelos es una preocupación teórica, en la práctica, la arbitrariedad resultante suele limitarse a una pequeña fracción de los casos cercanos a la frontera de decisión. Por lo tanto, las políticas simples y fundamentadas como la Política de Menor Riesgo pueden mitigar eficazmente la arbitrariedad preservando los beneficios de explorar un conjunto diverso de modelos equitativos.