🤖 machine learning

Using predictive multiplicity to measure individual performance within the AI Act

Cet article soutient que la multiplicité prédictive — l'existence de multiples modèles ayant une précision similaire mais des prédictions individuelles conflictuelles — contredit les exigences de l'IA Act de l'UE pour les systèmes à haut risque, et propose des mesures spécifiques ainsi que des directives de reporting pour quantifier et divulguer ces désaccords afin d'assurer la conformité et la fiabilité.

Auteurs originaux : Karolin Frohnapfel, Mara Seyfert, Sebastian Bordt, Ulrike von Luxburg, Kristof Meding

Publié 2026-06-23

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Karolin Frohnapfel, Mara Seyfert, Sebastian Bordt, Ulrike von Luxburg, Kristof Meding

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous demandiez un prêt, un emploi ou un traitement médical. Vous espérez que le système informatique qui décide de votre sort soit une boule de cristal capable de voir la vérité parfaitement. Mais et si cette boule de cristal n'était pas un objet unique ? Et si c'était en fait une boîte entière de différentes boules de cristal, toutes fabriquées par la même entreprise, toutes prétendant être précises à 95 %, mais vous racontant toutes des choses légèrement différentes sur votre situation spécifique ?

C'est le problème central que l'article « Using predictive multiplicity to measure individual performance within the AI Act » traite. Voici une décomposition simple de leur argument, utilisant des analogies de la vie quotidienne.

1. Le Problème : L'effet « Rashomon »

Dans le monde de l'IA, il existe un phénomène appelé multiplicité prédictive. Voyez cela comme un groupe de juges experts examinant le même dossier.

Le Scénario : Vous avez 100 juges experts. Ils sont tous d'accord sur 90 % des cas. Ils sont tous « précis » globalement.
Le Rebondissement : Lorsqu'ils examinent votre cas spécifique, 50 juges disent « Oui » et 50 juges disent « Non ».
La Réalité : Comme il n'existe pas de modèle unique « meilleur », le fournisseur d'IA aurait pu facilement choisir un autre modèle dans sa boîte à outils qui vous aurait donné le résultat opposé, même si ce modèle était tout aussi « précis » globalement.

Les auteurs soutiennent que cette arbitraire est dangereuse. Si votre vie dépend de la décision, il ne devrait pas importer quel modèle parmi les modèles « aussi bons » l'ordinateur a choisi de prendre. Si les modèles ne sont pas d'accord sur vous, le système est essentiellement en train de jouer à pile ou face pour votre cas spécifique.

2. La Loi : L'IA Act de l'UE

L'article examine ce problème à travers le prisme de l'IA Act de l'UE, une nouvelle loi en Europe qui réglemente l'IA à haut risque (comme le recrutement, la santé ou le crédit).

L'Exigence : La loi stipule que les entreprises qui construisent ces systèmes d'IA doivent prouver qu'ils sont précis.
La Lacune : Généralement, les entreprises se contentent de dire : « Notre système est précis à 90 % sur l'ensemble du jeu de données. »
L'Intuition de l'Article : La loi exige en réalité que les fournisseurs fassent état de performances pour des personnes spécifiques, et non seulement pour la moyenne du groupe. Les auteurs soutiennent que si différents modèles « bons » ne sont pas d'accord sur une personne spécifique, le système n'est pas fiable pour cette personne, même si le score global semble excellent.

3. La Solution : Mesurer le « Désaccord »

Pour corriger cela, les auteurs proposent une nouvelle façon de mesurer la performance. Au lieu de simplement demander : « Le modèle a-t-il raison ? », ils demandent : « À quel point les autres bons modèles sont-ils en désaccord avec celui-ci ? »

Ils introduisent deux outils simples (métriques) pour mesurer cela :

Le Ratio de Conflit (Le compteur de « Tir à la corde ») :
Imaginez un tir à la corde pour votre cas spécifique. Si 100 modèles tirent sur la corde, combien tirent vers le « Oui » par rapport au « Non » ?
- Si 99 tirent vers le « Oui » et 1 vers le « Non », le conflit est faible. Vous pouvez faire confiance au « Oui ».
- Si 50 tirent vers le « Oui » et 50 vers le « Non », le conflit est à son maximum. Le système est confus à votre sujet.
- L'Objectif : Si le ratio de conflit est élevé, le système devrait signaler cette personne pour une révision humaine, plutôt que de laisser l'ordinateur décider.
L'ambiguïté $\delta$ (Le « Compte de Confusion ») :
C'est une façon de compter combien de personnes dans tout le groupe se trouvent dans cet état de « confusion ». Cela aide l'entreprise à voir si son système est généralement fiable ou s'il est un désordre pour une grande partie des gens.

4. Comment faire : L'approche « Ad-Hoc »

Vous pourriez penser : « Pour trouver tous ces différents modèles, je dois en tester des millions ! » Cela prendrait une éternité.
Les auteurs ont trouvé un raccourci ingénieux. Vous n'avez pas besoin de tester tous les modèles possibles. Il vous suffit d'entraîner un petit groupe de modèles en apportant de minuscules changements aléatoires au processus, comme :

Changer légèrement l'ordre des données.
Ajouter un peu de « bruit » (aléatoire) aux chiffres.
Utiliser des réglages légèrement différents (comme changer la température sur une cuisinière).

Ils ont testé cela et ont découvert que même un petit groupe de modèles entraînés de cette manière suffit à révéler où le système est confus. C'est comme demander à quelques chefs différents de cuisiner le même plat avec des ingrédients légèrement différents ; si tous sont d'accord sur le goût, tout va bien. S'ils se disputent, vous savez qu'il y a un problème.

5. La Recommandation : Une poignée de main entre le Fabricant et l'Utilisateur

L'article conclut par une suggestion pratique sur la manière dont l'IA Act devrait fonctionner dans la vie réelle :

Pour les Fabricants d'IA (Fournisseurs) : Ne vous contentez pas de remettre un seul modèle « boîte noire ». Donnez aux personnes qui utilisent le système (les Déployeurs) une « boîte à outils » de plusieurs modèles également bons.
Pour les Utilisateurs d'IA (Déployeurs) : Avant de prendre une décision finale sur une personne, vérifiez le « Ratio de Conflit ».
- Faible Conflit : Les modèles sont d'accord. Procédez à la décision automatisée.
- Conflit Élevé : Les modèles se battent. Arrêtez. Faites intervenir un humain pour prendre la décision finale.

Résumé

L'article soutient que la précision n'est pas seulement un chiffre ; c'est une histoire de cohérence. Si un système d'IA ne peut pas s'entendre avec lui-même à votre sujet, il ne devrait pas être autorisé à prendre une décision qui change votre vie sans qu'un humain ne surveille ses arrières. En mesurant à quel point différents « bons » modèles sont en désaccord, nous pouvons rendre l'IA plus sûre et plus digne de confiance sous les nouvelles lois européennes.

Résumé technique : Utiliser la multiplicité prédictive pour mesurer la performance individuelle dans le cadre de l'IA Act

Énoncé du problème
Le document traite du phénomène de la multiplicité prédictive (également connue sous le nom d'effet Rashomon), où plusieurs modèles d'apprentissage automatique distincts atteignent une précision statistique globale comparable mais produisent des prédictions divergentes pour des cas individuels spécifiques. Si une précision agrégée élevée suggère une fiabilité générale, elle ne garantit pas des résultats dignes de confiance pour des individus précis. Cette arbitraire est particulièrement problématique dans les domaines à enjeux élevés (ex. : emploi, santé, éducation) où les décisions impactent directement les droits humains et le bien-être.

Les auteurs soutiennent que ce problème crée un défi réglementaire au regard de la Loi sur l'IA de l'UE (IA Act). L'Acte impose aux systèmes d'IA à haut risque d'atteindre un « niveau de précision approprié » (Article 15) et exige que les fournisseurs rapportent des mesures de performance non seulement au niveau du jeu de données, mais aussi pour des personnes spécifiques (Articles 11 et 13, Annexe IV). Le document postule que si plusieurs modèles d'une précision similaire divergent sur le cas d'un individu, le système ne peut être considéré comme fiable pour cet individu, violant potentiellement les dispositions de l'IA Act relatives à la précision et à la transparence.

Méthodologie
Le document emploie une double approche : une analyse juridique doctrinale de l'IA Act et un cadre computationnel pour mesurer la multiplicité prédictive.

Analyse juridique :
- Les auteurs analysent les articles 11, 13 et 15 de l'IA Act en utilisant une interprétation textuelle, systématique et téléologique.
- Ils établissent que la « précision » dans l'Acte se réfère au concept plus large de performance par rapport à la finalité prévue du système, s'étendant au-delà des mesures statistiques standards.
- Crucialement, ils interprètent les exigences de transparence comme imposant des évaluations de performance pour des individus spécifiques, et non seulement pour des statistiques agrégées de jeux de données.
Cadre technique :
Pour opérationnaliser l'exigence juridique d'évaluation de la performance individuelle, les auteurs proposent de quantifier le désaccord entre les modèles au sein d'un ensemble de Rashomon (l'ensemble de tous les modèles atteignant une précision dans un seuil $\epsilon$ du meilleur modèle).
- Ratio de conflit ( $c_R(x)$ ) : Une métrique pour les points de données individuels $x$ . Elle mesure la fraction de modèles dans l'ensemble de Rashomon qui prédisent une étiquette différente de la majorité. Une valeur de 0,5 indique un conflit maximal (la moitié prédit 0, l'autre moitié prédit 1) ; 0 indique un accord unanime.
- $\delta$ -Ambiguïté ( $A_\delta(R, D)$ ) : Une métrique au niveau du jeu de données représentant la fraction d'individus dont le ratio de conflit dépasse un seuil $\delta$ . Elle généralise l'ambiguïté standard en tenant compte du degré de conflit, et non de sa simple présence.
- Approche ad hoc par approximation : Puisque l'énumération complète de l'ensemble de Rashomon est informatiquement irréalisable pour des modèles complexes, les auteurs proposent une approche ad hoc. Celle-ci consiste à entraîner plusieurs modèles en faisant varier :
  - La multiplicité paramétrique : hyperparamètres, graines aléatoires (seeds) et architecture du modèle.
  - La multiplicité du jeu de données : bootstrapping, bruit des caractéristiques et sous-échantillonnage des caractéristiques.
    L'ensemble de modèles performants qui en résulte sert d'approximation de l'ensemble de Rashomon pour calculer les ratios de conflit.

Résultats clés
Les auteurs valident leur approche via des expériences sur des données synthétiques, le jeu de données d'emploi de l'American Community Survey (ACS), et plusieurs jeux de données du monde réel (COMPAS, Student Dropout, European Social Survey).

Importance de la multiplicité du jeu de données : Les expériences démontrent qu'ignorer la multiplicité du jeu de données (entraîner tous les modèles sur le même échantillon de données) sous-estime considérablement la multiplicité prédictive. L'intégration de variations de jeux de données (ex. : bootstrapping) est cruciale pour découvrir les cas conflictuels.
Efficacité de l'approche ad hoc : L'approche ad hoc, même avec un nombre relativement faible de modèles (ex. : 200–500), approxime étroitement les ratios de conflit et l'ambiguïté $\delta$ des méthodes exhaustives (comme l'algorithme TreeFarms pour les arbres de décision).
Convergence : Les métriques telles que l'ambiguïté standard et l'ambiguïté $\delta$ convergent rapidement à mesure que la taille de l'ensemble de Rashomon augmente, suggérant qu'un ensemble de modèles petit et diversifié est suffisant pour capturer la multiplicité pertinente.
Application réelle : Sur le jeu de données d'emploi ACS, les approches intégrant la multiplicité du jeu de données (spécifiquement le bootstrapping) ont réussi à identifier une proportion plus élevée d'individus présentant des ratios de conflit élevés par rapport aux approches utilisant des données fixes.

Signification et revendications
Le document affirme être le premier à relier directement la multiplicité prédictive aux exigences de conformité de l'IA Act de l'UE. Ses principales contributions sont :

Interprétation juridique : Il soutient que l'exigence de l'IA Act de rapporter la précision pour des « personnes spécifiques » implique la nécessité d'évaluer la fiabilité individuelle, ce que la multiplicité prédictive fournit comme cadre de mesure.
Outils de conformité pratique : Il introduit les ratios de conflit et l'ambiguïté $\delta$ comme outils concrets et informatiquement réalisables pour permettre aux fournisseurs d'évaluer la performance individuelle et aux déployeurs d'identifier les cas à haut risque.
Recommandations exploitables :
- Pour les fournisseurs : Ils doivent délibérément rechercher des modèles d'une précision comparable (en utilisant l'approche ad hoc) et fournir aux déployeurs des informations sur les prédictions conflictuelles.
- Pour les déployeurs : Ils doivent utiliser les ratios de conflit pour identifier les individus soumis à une ambiguïté élevée. Pour ces cas, le document recommande de faire intervenir une supervision humaine plutôt que de s'appuyer uniquement sur des décisions automatisées, garantissant ainsi que les décisions sont bien fondées.

Les auteurs maintiennent une position modeste, reconnaissant que leur approche ad hoc est une approximation et que la définition exacte d'une « précision appropriée » dépendra de futures normes harmonisées. Cependant, ils affirment que la prise en compte de la multiplicité prédictive est essentielle pour garantir que les décisions assistées par l'IA sont fiables et pour favoriser la confiance dans les systèmes d'IA à haut risque.