Résumé technique : Incertitude inégale : Repenser les interventions algorithmiques pour atténuer la discrimination issue de l'IA

1. Énoncé du problème

L'article traite des risques juridiques et éthiques associés à l'incertitude prédictive dans les systèmes d'Intelligence Artificielle (IA) utilisés pour la prise de décision à enjeux élevés (par exemple, le crédit à la consommation et la justice pénale). Bien que les modèles d'apprentissage automatique (ML) présentent souvent des performances agrégées similaires, l'incertitude prédictive est fréquemment répartie de manière inégale entre les groupes démographiques, étant souvent concentrée dans les populations sous-représentées en raison de la rareté des données ou des biais historiques.

Le problème central est la manière de gérer cette incertitude sans exacerber la discrimination. Les auteurs analysent deux interventions algorithmiques courantes conçues pour agir comme des « garde-fous » lors de l'interaction humain-IA :

1. L'abstention sélective : Retenir les prédictions du modèle auprès des décideurs humains lorsque l'incertitude dépasse un seuil, forçant ainsi une décision basée uniquement sur le jugement humain non assisté.
2. La friction sélective : Présenter la prédiction du modèle au décideur humain mais en l'accompagnant d'un avertissement (par exemple, un « drapeau jaune ») lorsqu'elle est incertaine, incitant à la réflexion sans supprimer la prédiction.

L'article soutient que, bien que ces interventions visent à atténuer les erreurs, elles peuvent involontairement générer une discrimination illégale au regard du droit du Royaume-Uni (UK), particulièrement en créant des asymétries procédurales où les groupes sous-représentés sont disproportionnellement soumis à un jugement humain non assisté ou à des interventions biaisées.

2. Méthodologie

Les auteurs emploient une méthodologie hybride combinant des définitions techniques formelles avec une analyse doctrinale juridique et une application par études de cas.

2.1 Définitions formelles et hypothèses

• Tâche : Classification binaire ($\hat{y} \in \{0, 1\}$) où un modèle $f$ prédit des étiquettes pour des entrées $x$.
• Métrique d'incertitude : Les auteurs utilisent l'entropie de Shannon ($H(\hat{p})$) pour quantifier l'incertitude prédictive, où $\hat{p}$ est la probabilité prédite par le modèle. L'entropie est de 0 pour les prédictions certaines et de 1 pour l'incertitude maximale ($\hat{p}=0,5$).
• Seuil d'intervention : Un seuil $\tau$ est fixé de telle sorte que si $H(\hat{y}) \geq \tau$, une intervention est déclenchée.
• Hypothèse de calibration : Le modèle est supposé être bien calibré au niveau de la population, mais potentiellement mal calibré au sein de sous-groupes démographiques spécifiques (échec de la calibration intra-groupe). Cela conduit à des différences systématiques de valeurs d'entropie entre les groupes.
• Décideur humain : Modélisé comme une fonction $r(x)$ (non assistée) ou $r(x; f(x))$ (assistée). L'article suppose que les décideurs peuvent présenter des biais cognitifs, tels que le biais d'automatisation (sur-confiance) ou des interventions inappropriées.

2.2 Études de cas

Les interventions sont appliquées à deux domaines spécifiques pour analyser les conséquences pour les groupes concernés :

1. Crédit à la consommation : Prédiction du risque de défaut de paiement. L'étude examine comment l'abstention ou la friction affecte les taux d'approbation/refus de prêt et les délais de traitement pour les groupes sous-représentés.
2. Risque de récidive : Prédiction de la probabilité de récidive dans la justice pénale. L'étude analyse les issues de condamnation (strictes vs légères) et l'impact du Devoir d'Égalité du Secteur Public (PSED).

2.3 Cadre juridique

L'analyse est fondée sur le droit britannique, spécifiquement :

• L'Equality Act 2010 : Analyse de la discrimination directe et indirecte, en se concentrant sur la question de savoir si les interventions constituent une « Disposition, Critère ou Pratique » (PCP) qui place les groupes protégés à un désavantage particulier.
• Le Devoir d'Égalité du Secteur Public (PSED) : Obligations de l'article 149 pour les autorités publiques.
• Droit de la protection des données : Le RGPD britannique et la nouvelle proposition de la loi Data (Use and Access) Act 2025 (DUAA), spécifiquement concernant l'« implication humaine significative » et la prise de décision exclusivement automatisée.

3. Principales contributions

L'article apporte deux contributions majeures :

1. Analyse doctrinale juridique : Il fournit la première analyse doctrinale des interventions algorithmiques basées sur l'incertitude sous le droit britannique. Il démontre que des seuils d'incertitude formellement neutres peuvent générer des effets discriminatoires, particulièrement sous le cadre de la discrimination indirecte.
2. Évaluation comparative des interventions : Il soutient que la friction sélective est juridiquement préférable à l'abstention sélective. Bien que les deux comportent des risques, la friction préserve l'accès à la prédiction du modèle et est plus susceptible de satisfaire au test de proportionnalité requis par l'Equality Act 2010.

4. Résultats et analyse

4.1 Analyse de l'abstention sélective

• Mécanisme : Lorsque l'incertitude est élevée, la prédiction du modèle est masquée, et l'humain prend une décision sans l'assistance de l'IA.
• Risque de discrimination : Comme les groupes sous-représentés présentent souvent une incertitude prédictive plus élevée (en raison du biais de données), ils sont disproportionnellement détournés vers des processus de décision « non assistés ».
• Constat juridique : Cela crée une asymétrie procédurale. Les demandeurs issus de groupes protégés font face à des délais de traitement plus longs et à la variabilité du jugement humain individuel, tandis que les autres reçoivent des décisions standardisées assistées par l'IA. Les auteurs soutiennent que cela constitue une discrimination indirecte au titre de l'Equality Act 2010. Il est difficile de justifier cela comme étant « proportionné » car des alternatives moins discriminatoires (comme le recalibrage ou la friction) existent et ne rejettent pas l'information du modèle.
• Résultat : L'abstention ne supprime pas le risque de discrimination ; elle déplace le fardeau de l'incertitude sur des groupes spécifiques.

4.2 Analyse de la friction sélective

• Mécanisme : La prédiction du modèle est toujours affichée, mais les prédictions à haute incertitude sont accompagnées d'un drapeau d'avertissement.
• Risque de discrimination : Le risque réside dans la manière dont les humains interprètent le drapeau. Si les décideurs (ex: agents de crédit ou juges) supplantent systématiquement les prédictions incertaines d'une manière qui corrèle avec des caractéristiques protégées (ex: refuser des prêts aux demandeurs issus de minorités signalés), la discrimination survient.
• Constat juridique : La friction sélective est moins susceptible d'être jugée illégale que l'abstention. Elle préserve la nature de la décision « assistée par l'IA », évitant ainsi le système à deux vitesses. Elle est plus susceptible de satisfaire à l'exigence de proportionnalité car elle constitue un moyen moins restrictif d'atteindre l'objectif légitime de réduction des erreurs. Cependant, sa licéité dépend de preuves empiriques montrant qu'elle n'aggrave pas systématiquement les résultats pour les groupes protégés dans la pratique.
• Implication humaine : Sous la proposition de la loi DUAA 2025, la friction peut satisfaire à l'exigence d'« implication humaine significative », exemptant potentiellement les décisions des mesures de sauvegarde plus strictes liées aux décisions entièrement automatisées. Toutefois, les auteurs mettent en garde contre un risque de conformité « symbolique » si les humains se contentent de valider mécaniquement le modèle malgré le drapeau.

4.3 Scénarios d'études de cas

L'article présente quatre scénarios pour le crédit et la condamnation :

1. Accord (Incertain $\to$ Défavorable) : L'humain est d'accord avec une prédiction négative incertaine. Risque de sur-confiance dans un modèle biaisé.
2. Intervention (Incertain $\to$ Défavorable) : L'humain supplante une prédiction positive incertaine pour donner un résultat défavorable. Identifié comme le scénario le plus problématique pour la discrimination, car le biais humain peut outrepasser la suggestion (potentiellement plus neutre) du modèle.
3. Accord (Incertain $\to$ Favorable) : L'humain est d'accord avec une prédiction positive incertaine.
4. Intervention (Incertain $\to$ Favorable) : L'humain supplante une prédiction négative incertaine pour donner un résultat favorable. Bien que théoriquement bénéfique, les preuves empiriques suggèrent que les interventions ne bénéficient pas systématiquement aux groupes sous-représentés.

5. Signification et affirmations

L'article affirme sa pertinence en étant le premier à appliquer rigoureusement la doctrine juridique britannique aux interventions basées sur l'incertitude. Sa thèse centrale est que la neutralité technique (utilisation de seuils d'entropie) ne garantit pas la neutralité juridique.

• Préférence juridique : Les auteurs concluent que la friction sélective est le choix de conception supérieur du point de vue de la conformité juridique, car elle maintient l'intégrité de la collaboration humain-IA et évite les désavantages procéduraux inhérents à l'abstention.
• Incertitude empirique : L'article précise explicitement que la question de savoir si la friction sélective améliore réellement la qualité des décisions en pratique reste une question empirique ouverte. Cela dépend de la formation des décideurs, de la calibration des estimations d'incertitude et de la culture institutionnelle.
• Travaux futurs : Les auteurs identifient la nécessité d'études empiriques pour déterminer si les drapeaux d'incertitude déclenchent des taux d'intervention différents selon les groupes démographiques, ainsi que de recherches techniques sur la capacité d'une calibration spécifique aux groupes à atténuer l'impact disproportionné de ces interventions.

L'article ne prétend pas que les interventions basées sur l'incertitude sont intrinsèquement illégales, mais que leur mise en œuvre doit faire l'objet d'un examen minutieux pour garantir qu'elles ne violent pas l'Equality Act 2010 en faisant peser un fardeau disproportionné sur les groupes protégés.