Quantifying Harm

Ce papier étend une définition qualitative antérieure du préjudice en développant un cadre quantitatif pour mesurer le préjudice individuel et sociétal dans des conditions d'incertitude, démontrant que des méthodes d'agrégation simples peuvent produire des résultats contre-intuitifs et proposant des alternatives fondées sur la théorie de la décision, en particulier dans le contexte de la médecine de précision.

L'essentiel

La vue d'ensemble : De « Est-ce que ça a fait mal ? » à « À quel point ça a fait mal ? »

Imaginez que vous êtes un juge chargé de décider si un nouveau système d'intelligence artificielle a causé un préjudice. Par le passé, les auteurs (Beckers, Chockler et Halpern) avaient une règle simple : Oui ou Non. L'IA a-t-elle causé un préjudice ? Si la réponse était « Oui », c'était tout.

Mais dans le monde réel, nous devons être plus précis. Nous ne voulons pas seulement savoir si un préjudice s'est produit ; nous voulons savoir à quel point il était grave afin de pouvoir choisir la meilleure option. Ce document traite de la construction d'une règle mathématique pour mesurer la « quantité » de préjudice, plutôt que de se contenter d'un interrupteur qui indique simplement « allumé » ou « éteint ».

1. La référence : Qu'est-ce que « Normal » ?

Pour mesurer un préjudice, vous avez besoin d'un point de départ. Pensez-y comme à un thermostat.

• L'utilité par défaut : C'est la température « normale » d'une pièce.
• Le résultat : C'est la température réelle après que le chauffage ou la climatisation a fonctionné.

Si la pièce est censée être à 21 °C (la valeur par défaut) et que le chauffage la porte à 24 °C, c'est un avantage. Si la climatisation la porte à 15 °C, c'est un préjudice. La quantité de préjudice est simplement la différence entre l'endroit où vous devriez être et l'endroit où vous vous êtes réellement retrouvé.

La nuance : Le document soutient que le « normal » n'est pas toujours zéro. Parfois, le « normal » est une fourchette.

• Analogie : Imaginez donner un pourboire à un serveur.
  • La fourchette : Un pourboire entre 15 % et 20 % est « normal ». Ce n'est ni bien ni mal ; c'est simplement attendu.
  • Préjudice : Si vous donnez 5 %, vous avez causé un préjudice (vous êtes en dessous du plancher).
  • Avantage : Si vous donnez 50 %, vous avez créé un avantage (vous êtes au-dessus du plafond).
  • Le point clé : On ne peut pas simplement dire « plus d'argent est toujours mieux ». Il existe un « point idéal » où rien ne se produit.

2. Le lancer de dés : Gérer l'incertitude

La vie est rarement certaine. Parfois, une opération chirurgicale guérit un patient ; parfois, elle le tue. Comment mesurer un préjudice lorsque le résultat est un pari ?

Le document examine la façon dont les gens pensent réellement au risque, ce qui est souvent étrange.

• Le problème de la « voiture sans chauffeur » : Imaginez une voiture autonome.
  • Option A : Rouler à la limite de vitesse. Il y a une chance sur un million d'avoir un accident mortel.
  • Option B : Rouler 20 % plus lentement. Il y a une chance sur deux millions d'avoir un accident mortel.
  • Les mathématiques : L'option B est plus sûre. Si vous faites simplement les calculs (utilité espérée), vous devriez toujours choisir B.
  • La réalité : Les gens préfèrent souvent l'option A. Pourquoi ? Parce que nos cerveaux traitent une chance sur un million comme « pratiquement nulle ». Nous ignorons les risques minuscules.

Les auteurs suggèrent d'utiliser un pondération des probabilités. Au lieu de traiter un risque de 1 % et un risque de 0,0001 % de manière linéaire, nous leur appliquons un « poids ».

• Analogie : Pensez à une loupe.
  • Parfois, nous utilisons une loupe qui fait paraître les risques minuscules énormes (comme craindre une attaque terroriste après en avoir entendu parler).
  • Parfois, nous utilisons un « variateur » qui fait disparaître les risques minuscules (comme ignorer le risque d'accident de voiture parce que nous conduisons tous les jours).
  • Pour mesurer le préjudice avec précision, nous devons tenir compte de la façon dont les humains réellement perçoivent ces probabilités, et non pas seulement des chiffres bruts.

3. Le problème du groupe : Équité et agrégation

Que se passe-t-il lorsqu'une politique blesse 1 000 personnes ? Faut-il simplement additionner la douleur ?

• Le piège de la « somme » : Si la politique A blesse 1 000 personnes au hasard de manière infime, et que la politique B blesse une personne spécifique de manière grave, une simple somme mathématique pourrait dire qu'elles sont égales.
• La question de l'équité : Intuitivement, nous ressentons différemment ces deux situations. Blesser 1 000 personnes au hasard semble différent de cibler une personne spécifique (ou un groupe spécifique, comme une communauté minoritaire).

Le document propose une pénalité d'équité.

• Analogie : Imaginez une cafétéria scolaire.
  • Si la cafétéria donne accidentellement un mauvais repas à 100 élèves au hasard, c'est agaçant.
  • Si la cafétéria ne donne des mauvais repas que aux élèves assis à la table 5, cela ressemble à du harcèlement.
  • Les auteurs suggèrent que notre « calculateur de préjudice » devrait ajouter une pénalité massive si une politique affecte de manière disproportionnée un groupe spécifique et identifiable. Il ne s'agit pas seulement du nombre total de personnes blessées, mais de qui est blessé.

4. Le débat sur la médecine de précision

Le document relie ces idées à un débat récent en médecine concernant la « médecine de précision » (adapter les traitements à des gènes spécifiques).

• Le conflit : Certains experts disent : « Traitez le patient si l'avantage moyen est positif. » D'autres disent : « Non, nous devons prioriser l'évitement du préjudice pour l'individu, même si l'avantage moyen est positif. »
• Le point de vue des auteurs : Ils montrent que ce débat n'est en fait qu'une version spécifique des problèmes qu'ils ont déjà résolus.
  • L'approche « Avantage moyen » ignore la « référence » (ce qui se passe si nous ne faisons rien).
  • L'approche « Éviter le préjudice » repose souvent sur une définition spécifique de la causalité (le test du « Mais pour » : « Serait-il mort mais pour le traitement ? »).
  • Les auteurs soutiennent que le débat médical manque de la nuance du contexte. Ce qu'est un « préjudice » dépend de la vie du patient avant le traitement. Si un patient est déjà en train de mourir, un traitement risqué pourrait ne pas être « préjudiciable » même s'il le tue, car l'alternative était la mort de toute façon.

5. La partie difficile : Les mathématiques sont délicates

Enfin, le document admet que le calcul de cela est très difficile sur le plan informatique.

• Analogie : Imaginez essayer de résoudre un immense Sudoku où chaque fois que vous déplacez un chiffre, les règles du puzzle changent légèrement.
• Les auteurs prouvent que déterminer exactement « combien » de préjudice s'est produit est un problème qui prendrait à un super-ordinateur beaucoup de temps pour être résolu dans le pire des cas.
• Cependant : Ils soutiennent que dans la vie réelle, les puzzles ne sont généralement pas si grands. La plupart des décisions impliquent un nombre gérable de variables, nous pouvons donc toujours utiliser ces définitions en pratique.

Résumé

Ce document construit un outil sophistiqué pour mesurer le préjudice. Il va au-delà des simples réponses « Oui/Non » pour demander :

1. Combien le résultat est-il pire par rapport à la référence « normale » ?
2. Comment ajuster pour la façon dont les humains perçoivent le risque (ignorer les risques minuscules vs les craindre) ?
3. Comment nous assurer que nous ne ciblerons pas injustement des groupes spécifiques ?

En répondant à ces questions, les auteurs espèrent aider les systèmes d'IA, les médecins et les décideurs politiques à prendre des décisions qui s'alignent mieux avec l'intuition humaine sur ce qui est véritablement « préjudiciable ».

Résumé technique

Résumé technique : Quantification du préjudice

Énoncé du problème
Alors que les systèmes d'intelligence artificielle influencent de plus en plus des domaines critiques tels que la santé, le recrutement et la conduite autonome, définir et mesurer le « préjudice » demeure un défi majeur. Les cadres réglementaires existants, tels que la loi européenne sur l'IA, exigent l'évaluation à la fois de la gravité et de la probabilité du préjudice, pourtant la littérature philosophique décrit souvent le concept de préjudice comme un « fatras frankensteinien » d'explications contradictoires. Les travaux antérieurs des auteurs ont établi une définition qualitative du préjudice (déterminant si un préjudice est survenu ou non) basée sur des modèles causaux et une utilité par défaut. Cependant, les applications pratiques nécessitent une notion quantitative du préjudice pour comparer les interventions, agréger les préjudices au sein des populations et tenir compte de l'incertitude. L'article comble le fossé entre la causalité qualitative et les métriques quantitatives requises pour l'élaboration des politiques et la prise de décision éthique.

Méthodologie
Les auteurs développent un cadre quantitatif fondé sur des modèles causaux structurels et la définition de la causalité effective de Halpern-Pearl. La méthodologie procède en plusieurs étapes :

1. Préjudice quantitatif dans un contexte déterministe :
   Les auteurs définissent le préjudice quantitatif ($QH$) pour un agent unique dans un contexte fixe. Il est calculé comme la différence entre l'utilité du résultat réel et une ligne de base, bornée par une « utilité par défaut » ($d$). Plus précisément, si une action $\vec{X}=\vec{x}$ cause un résultat $O=o$ plutôt qu'un résultat contrastif $O=o'$, le préjudice est $\max(0, \min(d, u(o')) - u(o))$. Cette formulation garantit que le préjudice n'est enregistré que si l'utilité réelle est inférieure à la fois à l'utilité contrastive et à l'utilité par défaut.

2. Gestion de l'incertitude (pondération des probabilités) :
   Pour traiter l'incertitude concernant les contextes, l'article passe d'un préjudice attendu simple au Préjudice Quantitatif Attendu Pondéré (WEQH). Reconnaissant que la prise de décision humaine s'écarte souvent de la maximisation stricte de l'utilité attendue (par exemple, en surpondérant les faibles probabilités ou en les sous-pondérant selon l'expérience), les auteurs intègrent une fonction de pondération des probabilités $w$. Le WEQH est la somme des probabilités pondérées des contextes multipliée par le préjudice quantitatif dans ces contextes. Cela permet au modèle de capturer des phénomènes tels que la préférence pour éviter des événements catastrophiques rares (surpondération) ou ignorer des risques négligeables dans les activités quotidiennes (sous-pondération).

3. Agrégation du préjudice sociétal et équité :
   L'article critique l'approche « évidente» consistant simplement à sommer les préjudices individuels, notant qu'elle ne tient pas compte de l'équité et de l'impact disproportionné sur certaines sous-populations. Les auteurs proposent un Modèle d'utilité collective qui introduit un terme de pénalité ($\alpha$) si un groupe identifiable prédéfini ($G$) subit un préjudice moyen significativement plus élevé ($\beta$) que la moyenne de la population. Ce mécanisme permet au cadre de pénaliser les politiques qui concentrent le préjudice sur des groupes spécifiques, même si le préjudice agrégé total est faible.

4. Asymétrie préjudice vs bénéfice :
   Contrairement aux analyses coûts-avantages standard qui traitent le bénéfice comme l'opposé symétrique du préjudice, les auteurs proposent un intervalle par défaut $D = [d_h, d_b]$. Les résultats inférieurs à $d_h$ constituent un préjudice, les résultats supérieurs à $d_b$ constituent un bénéfice, et les résultats à l'intérieur de l'intervalle sont neutres. Cela capture l'intuition qu'il existe une plage « sûre » de résultats où ni préjudice ni bénéfice ne sont encourus.

5. Analyse de la complexité :
   L'annexe analyse la complexité computationnelle de la détermination et du calcul du préjudice. Décider si un préjudice survient (qualitatif) s'avère DP-complet, tandis que calculer l'étendue du préjudice quantitatif est $FP^{NP[\log n]}$-complet. Les auteurs notent que, bien que ces classes suggèrent une intraitabilité dans le pire des cas, les applications pratiques avec de petits ensembles de variables ou des considérations de symétrie peuvent rendre le problème faisable.

Contributions et résultats clés

• Définition formelle : L'article fournit la première définition formelle et quantitative du préjudice intégrant des modèles causaux, la théorie de l'utilité et une ligne de base par défaut.
• Réfutation de l'agrégation simple : Les auteurs démontrent que la somme des préjudices attendus peut conduire à des résultats contre-intuitifs, en particulier concernant l'équité et la distribution des risques. Ils montrent comment la pondération des probabilités et les pénalités basées sur les groupes peuvent résoudre ces paradoxes (par exemple, le cycle de préjudice de Norcross).
• Comparaison avec RBT : L'article offre une comparaison détaillée avec l'approche de Richens, Beard et Thompson (RBT). Les auteurs soutiennent que la dépendance de RBT à la causalité « mais pour » et à une seule action par défaut (aucun traitement) conduit à des conclusions erronées, telles que l'implication que ne pas traiter un patient ne cause aucun préjudice. L'utilisation par les auteurs d'une définition de causalité plus générale et d'une utilité par défaut flexible produit des résultats plus nuancés et médicalement plausibles.
• Contexte de la médecine de précision : Le cadre est appliqué à un débat récent en médecine de précision (impliquant Dawid, Senn, Sarvet, Stensrud, Mueller et Pearl). Les auteurs montrent que les débats concernant les règles de traitement (par exemple, maximiser l'effet moyen du traitement par rapport à peser le bénéfice contre le préjudice) sont essentiellement des cas particuliers des problèmes plus larges d'utilité par défaut et de pondération des probabilités abordés dans leur cadre.

Portée et affirmations
L'article se positionne comme une étape fondamentale vers une approche formelle pour déterminer le préjudice dans la pratique, en particulier pour les systèmes d'IA et les politiques publiques. Les auteurs affirment modestement que ce travail constitue un « premier pas » plutôt qu'une solution complète. Ils soulignent que :

• La définition du préjudice quantitatif pour un agent unique dans un contexte fixe est simple, mais des subtilités émergent avec l'incertitude et l'agrégation.
• L'approche proposée pour l'équité (pénaliser le préjudice disproportionné) est une ébauche qui nécessite une validation empirique supplémentaire pour garantir qu'elle s'aligne sur les heuristiques humaines.
• La gestion de la pondération des probabilités (surpondération vs sous-pondération) est complexe et dépendante du contexte, exigeant des décideurs politiques qu'ils pèsent les considérations normatives et descriptives plutôt que de supposer une fonction de pondération universelle.
• Le cadre intègre le préjudice et la culpabilité, suggérant une voie vers une théorie complète de la responsabilité morale, bien que l'article se concentre principalement sur les mécanismes de quantification du préjudice.

En définitive, l'article soutient qu'une définition quantitative rigoureuse et fondée sur la causalité du préjudice est cruciale pour le déploiement éthique de l'IA et la formulation de réglementations telles que la loi européenne sur l'IA, permettant de dépasser le « désordre » des débats philosophiques qualitatifs pour aboutir à des métriques exploitables.