The Likelihood Ratio Wall: Structural Limits on Accurate Risk Assessment for Rare Violence

A continuación se presenta un resumen técnico detallado del artículo "El Muro de la Razón de Verosimilitud: Límites Estructurales en la Evaluación Precisa del Riesgo para la Violencia Rara" de Marco Pollanen.

1. Planteamiento del Problema

El artículo aborda una barrera estadística fundamental en el uso de herramientas algorítmicas de evaluación de riesgo previal (por ejemplo, COMPAS, PSA) para predecir nuevas ofensas violentas raras. Aunque estas herramientas clasifican a millones de acusados anualmente, su utilidad para tomar decisiones de detención de alto riesgo se ve comprometida por la baja tasa base de reincidencia violenta (típicamente del 2–5%).

El problema central es el déficit del Valor Predictivo Positivo (VPP). Los jueces y responsables políticos a menudo interpretan una señal de "alto riesgo" como una alta probabilidad de que el individuo cometerá violencia. Sin embargo, el artículo argumenta que, debido a la rareza del resultado, incluso herramientas con métricas de clasificación respetables (como el AUC) generan señales de "alto riesgo" que son incorrectas la mayoría de las veces. El artículo busca cuantificar los límites estructurales de la precisión y demostrar que las correcciones post-hoc (como la recalibración) no pueden superar estos límites.

2. Metodología

El artículo emplea una combinación de deducción teórica, modelado estadístico y validación empírica:

• Deducción Bayesiana: El autor deriva un límite universal que vincula la Razón de Verosimilitud (RV), la tasa base ($\pi$) y el VPP utilizando el teorema de Bayes.
• Demostraciones Teóricas:
  • Invarianza de Recalibración: Demostrar que las transformaciones monótonas de las puntuaciones de riesgo (utilizadas en la recalibración) preservan la Razón de Verosimilitud y, por lo tanto, no pueden mejorar la separación de los verdaderos positivos de los falsos positivos.
  • Modelo del Techo de Vigilancia: Desarrollar un modelo estilizado de clasificadores de "umbral de conteo" (comunes en herramientas de riesgo) para demostrar cómo la vigilancia desigual (sobrepolicía) infla las tasas de falsos positivos en grupos específicos, reduciendo estructuralmente el VPP máximo alcanzable para esos grupos, incluso si las tasas base son iguales.
• Validación Empírica:
  • Metaanálisis: Revisar la literatura existente sobre AUC y traducirla en Razones de Verosimilitud estimadas.
  • Análisis de Conjuntos de Datos: Utilizar el conjunto de datos COMPAS de ProPublica (Condado de Broward, FL) para calcular la sensibilidad real, las tasas de falsos positivos y las RV para la reincidencia violenta.
  • Análisis Estratificado: Comparar las métricas de rendimiento entre grupos raciales para poner a prueba la hipótesis del "Techo de Vigilancia".

3. Contribuciones Clave

A. El Muro de la Razón de Verosimilitud (Teorema 1)

El artículo formaliza un límite universal de precisión. Demuestra que, para que un clasificador logre un VPP específico ($\alpha$) en una tasa base dada ($\pi$), debe satisfacer una Razón de Verosimilitud mínima:
$$RV \geq \frac{\alpha}{1-\alpha} \cdot \frac{1-\pi}{\pi}$$

• Implicación: A medida que la tasa base ($\pi$) disminuye, la RV requerida aumenta hiperbólicamente.
• Ejemplo: Con una tasa base del 3%, lograr un VPP del 50% (el estándar de "preponderancia de la evidencia") requiere una RV de 32,3. Las herramientas actuales suelen lograr una RV de solo 2–6.

B. Invarianza de Recalibración (Teorema 3)

El artículo demuestra que recalibrar las puntuaciones (por ejemplo, escalado de Platt, regresión isotónica) para igualar las frecuencias observadas preserva el ordenamiento de los individuos. Dado que la Razón de Verosimilitud depende únicamente del ordenamiento (sensibilidad frente a tasa de falsos positivos) y no de los valores de probabilidad absolutos, la recalibración no puede corregir el déficit de VPP. Mejora la calibración de la probabilidad, pero no el poder discriminativo de la herramienta.

C. El Techo de Vigilancia (Teorema 4)

El artículo introduce un modelo formal que muestra que la sobrepolicía degrada la precisión predictiva.

• Mecanismo: En comunidades sobrepolicizadas, los individuos acumulan "marcadores de riesgo" administrativos (por ejemplo, arrestos previos, no comparecencias) a tasas más altas debido al aumento de la vigilancia, incluso si no cometen delitos (inflando la distribución de la clase negativa).
• Resultado: Esto aumenta la Tasa de Falsos Positivos (TFP) de manera desproporcionada. El teorema demuestra que, para clasificadores de umbral de conteo, la RV máxima alcanzable (y por tanto el VPP) es estructuralmente más baja para los grupos sobrepolicizados en comparación con los grupos menos policiales, incluso si las tasas reales de delitos subyacentes son idénticas.

D. Métrica de Política: Número Necesario para Detener (NND)

El autor traduce los hallazgos estadísticos en una métrica relevante para la política: NND = 1/VPP. Esto representa el número de acusados que deben ser detenidos para prevenir un delito violento.

• Hallazgo: Con los niveles actuales de rendimiento, el NND oscila entre 6 y 13, lo que significa que entre 5 y 12 personas inocentes son detenidas por cada delincuente violento prevenido.

4. Resultados Clave

• La "Regla 99 a 1": Con una tasa base del 1%, una herramienta debe ser aproximadamente 99 veces más probable que señale un verdadero positivo que un falso positivo para lograr un VPP del 50%. Los datos actuales sugieren que no existe tal señal en los registros de antecedentes penales.
• Brecha Empírica de RV: El análisis del conjunto de datos COMPAS muestra una RV de 4,3 para la reincidencia violenta. Con una tasa base realista del 3%, esto produce un VPP de solo 12% (es decir, un 88% de probabilidad de que la señal de "alto riesgo" sea incorrecta).
• Disparidad de Vigilancia: En los datos de COMPAS, los acusados negros tenían en promedio 1,8 veces más factores de riesgo que los acusados blancos, pero su Tasa de Falsos Positivos fue 2,9 veces mayor. Esta amplificación superlineal confirma el mecanismo del Techo de Vigilancia.
• AUC Engañoso: El artículo demuestra que una herramienta puede mantener un AUC constante (por ejemplo, 0,70) a través de diferentes tasas base, mientras que el VPP práctico de una señal de "alto riesgo" cae de ~70% (con una tasa base del 50%) a ~10% (con una tasa base del 3%).

5. Significado e Implicaciones

• Imposibilidad Estructural: La incapacidad de las herramientas actuales para respaldar decisiones de detención individualizadas de alta confianza no es un error de algoritmos específicos, sino una limitación estructural de los datos. Las características disponibles (antecedentes penales) no contienen suficiente señal para superar la tasa base de la violencia rara.
• Equidad más allá de las Métricas: El artículo argumenta que los debates que se centran únicamente en métricas de equidad (por ejemplo, igualar las tasas de falsos positivos entre grupos) son incompletos. Incluso si los grupos son tratados por igual por el algoritmo, la vigilancia desigual crea un "Techo de Vigilancia" que hace imposible la predicción de alta precisión para los grupos sobrepolicizados.
• Recomendaciones de Política:
  1. Transparencia: Los informes de riesgo deben divulgar explícitamente la incertidumbre (por ejemplo, "Esta señal es correcta solo 1 de cada 9 veces").
  2. Cambio de Métrica: La presentación de informes debe pasar del AUC al VPP, la RV y el NND.
  3. Etiquetado: Las etiquetas de "Alto Riesgo de Violencia" no deben utilizarse para respaldar decisiones de detención de alta confianza cuando el VPP es inferior al 20%.
  4. Precaución con los Datos: El artículo advierte contra el uso de estos hallazgos para justificar una mayor recopilación de datos invasivos, abogando en su lugar por la transparencia sobre los límites de los datos actuales.

En conclusión, el artículo establece que, para resultados violentos raros, el "Muro de la Razón de Verosimilitud" impide que las herramientas actuales de evaluación de riesgo proporcionen el nivel de certeza requerido para decisiones que privan de la libertad, un problema exacerbado por disparidades sistémicas de vigilancia que ningún ajuste algorítmico puede resolver actualmente.