The Likelihood Ratio Wall: Structural Limits on Accurate Risk Assessment for Rare Violence

1. Énoncé du Problème

L'article aborde une barrière statistique fondamentale dans l'utilisation d'outils algorithmiques d'évaluation du risque préjudiciaire (par exemple, COMPAS, PSA) pour prédire les récidives violentes rares. Bien que ces outils classent des millions de prévenus chaque année, leur utilité pour prendre des décisions de détention à haut risque est compromise par la faible fréquence de base de la récidive violente (généralement 2 à 5 %).

Le problème central est le déficit de la Valeur Prédictive Positive (VPP). Les juges et les décideurs politiques interprètent souvent un drapeau « à haut risque » comme impliquant une forte probabilité que l'individu commette un acte violent. Cependant, l'article soutient que, en raison de la rareté du résultat, même des outils dotés de métriques de classement respectables (comme l'AUC) produisent des drapeaux « à haut risque » qui sont incorrects la majorité du temps. L'article vise à quantifier les limites structurelles de la précision et à démontrer que les correctifs a posteriori (comme la recalibration) ne peuvent pas surmonter ces limites.

2. Méthodologie

L'article utilise une combinaison de déduction théorique, de modélisation statistique et de validation empirique :

• Déduction Bayésienne : L'auteur dérive une borne universelle reliant le Rapport de Vraisemblance (LR), la fréquence de base ($\pi$) et la VPP en utilisant le théorème de Bayes.
• Preuves Théoriques :
  • Invariance de la Recalibration : Démontrer que les transformations monotones des scores de risque (utilisées dans la recalibration) préservent le Rapport de Vraisemblance et ne peuvent donc pas améliorer la séparation des vrais positifs des faux positifs.
  • Modèle du Plafond de Surveillance : Développement d'un modèle stylisé de classificateurs à « seuil de comptage » (courants dans les outils de risque) pour démontrer comment une surveillance inégale (sur-policing) gonfle les taux de faux positifs dans des groupes spécifiques, abaissant structurellement la VPP maximale réalisable pour ces groupes, même si les fréquences de base sont égales.
• Validation Empirique :
  • Méta-analyse : Examen de la littérature existante sur l'AUC et traduction en Rapports de Vraisemblance estimés.
  • Analyse de Jeu de Données : Utilisation du jeu de données COMPAS de ProPublica (Comté de Broward, Floride) pour calculer la sensibilité réelle, les taux de faux positifs et les LR pour la récidive violente.
  • Analyse Stratifiée : Comparaison des métriques de performance entre groupes raciaux pour tester l'hypothèse du « Plafond de Surveillance ».

3. Contributions Clés

A. Le Mur du Rapport de Vraisemblance (Théorème 1)

L'article formalise une borne universelle de précision. Il prouve que pour qu'un classificateur atteigne une VPP spécifique ($\alpha$) à une fréquence de base donnée ($\pi$), il doit satisfaire un Rapport de Vraisemblance minimum :
$$LR \geq \frac{\alpha}{1-\alpha} \cdot \frac{1-\pi}{\pi}$$

• Implication : À mesure que la fréquence de base ($\pi$) diminue, le LR requis augmente de manière hyperbolique.
• Exemple : À une fréquence de base de 3 %, atteindre une VPP de 50 % (le standard de la « prépondérance des preuves ») nécessite un LR de 32,3. Les outils actuels atteignent généralement un LR d'environ 2 à 6.

B. Invariance de la Recalibration (Théorème 3)

L'article prouve que la recalibration des scores (par exemple, mise à l'échelle de Platt, régression isotonique) pour correspondre aux fréquences observées préserve l'ordre des individus. Puisque le Rapport de Vraisemblance dépend uniquement du classement (sensibilité par rapport au taux de faux positifs) et non des valeurs de probabilité absolues, la recalibration ne peut pas corriger le déficit de VPP. Elle améliore l'étalonnage des probabilités mais pas la puissance discriminative de l'outil.

C. Le Plafond de Surveillance (Théorème 4)

L'article introduit un modèle formel montrant que la sur-policing dégrade la précision prédictive.

• Mécanisme : Dans les communautés sur-policées, les individus accumulent des « marqueurs de risque » administratifs (par exemple, antécédents d'arrestation, défauts de comparution) à des taux plus élevés en raison d'une surveillance accrue, même s'ils ne commettent pas de crimes (gonflant la distribution de la classe négative).
• Résultat : Cela augmente le Taux de Faux Positifs (FPR) de manière disproportionnée. Le théorème prouve que pour les classificateurs à seuil de comptage, le LR maximal réalisable (et donc la VPP) est structurellement plus faible pour les groupes sur-policés par rapport aux groupes moins policés, même si les taux d'infractions réels sous-jacents sont identiques.

D. Métrique Politique : Nombre de Prévenus à Détendre (NND)

L'auteur traduit les résultats statistiques en une métrique pertinente pour les politiques : NND = 1/VPP. Cela représente le nombre de prévenus qui doivent être détenus pour prévenir un acte violent.

• Résultat : Aux niveaux de performance actuels, le NND varie de 6 à 13, ce qui signifie que 5 à 12 personnes innocentes sont détenues pour chaque délinquant violent empêché.

4. Résultats Clés

• La « Règle 99 contre 1 » : À une fréquence de base de 1 %, un outil doit être environ 99 fois plus susceptible de signaler un vrai positif qu'un faux positif pour atteindre une VPP de 50 %. Les données actuelles suggèrent qu'un tel signal n'existe pas dans les dossiers criminels.
• Écart Empirique du LR : L'analyse du jeu de données COMPAS montre un LR de 4,3 pour la récidive violente. À une fréquence de base réaliste de 3 %, cela produit une VPP d'environ 12 % (c'est-à-dire 88 % de chances que le drapeau « à haut risque » soit erroné).
• Disparité de Surveillance : Dans les données COMPAS, les prévenus noirs avaient en moyenne 1,8 fois plus de facteurs de risque que les prévenus blancs, mais leur Taux de Faux Positifs était 2,9 fois plus élevé. Cette amplification superlinéaire confirme le mécanisme du Plafond de Surveillance.
• AUC Trompeuse : L'article démontre qu'un outil peut maintenir un AUC constant (par exemple, 0,70) à travers différentes fréquences de base, tandis que la VPP pratique d'un drapeau « à haut risque » chute d'environ 70 % (à une fréquence de base de 50 %) à environ 10 % (à une fréquence de base de 3 %).

5. Signification et Implications

• Impossibilité Structurelle : L'incapacité des outils actuels à soutenir des décisions de détention individualisées à haute confiance n'est pas un bug d'algorithmes spécifiques, mais une limitation structurelle des données. Les caractéristiques disponibles (antécédents criminels) ne contiennent pas suffisamment de signal pour surmonter la fréquence de base de la violence rare.
• Équité au-delà des Métriques : L'article soutient que les débats se concentrant uniquement sur les métriques d'équité (par exemple, égaliser les taux de faux positifs entre les groupes) sont incomplets. Même si les groupes sont traités de manière égale par l'algorithme, la surveillance inégale crée un « Plafond de Surveillance » qui rend la prédiction de haute précision impossible pour les groupes sur-policés.
• Recommandations Politiques :
  1. Transparence : Les rapports de risque doivent explicitement divulguer l'incertitude (par exemple, « Ce drapeau n'est correct que 1 fois sur 9 »).
  2. Changement de Métrique : La communication doit passer de l'AUC à la VPP, au LR et au NND.
  3. Étiquetage : Les étiquettes « Haut Risque de Violence » ne doivent pas être utilisées pour soutenir des décisions de détention à haute confiance lorsque la VPP est inférieure à 20 %.
  4. Prudence sur les Données : L'article met en garde contre l'utilisation de ces résultats pour justifier une collecte de données plus invasive, plaidant plutôt pour la transparence concernant les limites des données actuelles.

En conclusion, l'article établit que pour les résultats violents rares, le « Mur du Rapport de Vraisemblance » empêche les outils actuels d'évaluation du risque de fournir le niveau de certitude requis pour des décisions privant de liberté, un problème exacerbé par des disparités systémiques de surveillance qu'aucun réglage algorithmique ne peut actuellement résoudre.