🤖 machine learning

The Costs of Pretending That There Are Data-Generating Probability Distributions in the Social World

Ce papier soutient que l'hypothèse de distributions de probabilité génératrices de données n'existe pas dans le monde social, que son usage est nuisible et qu'il convient de privilégier des cadres alternatifs centrés directement sur les populations pertinentes.

Auteurs originaux : Benedikt Höltgen, Robert C. Williamson

Publié 2026-04-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Benedikt Höltgen, Robert C. Williamson

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de prédire l'avenir en regardant le passé. C'est ce que font les algorithmes d'intelligence artificielle (IA) pour nous aider à prendre des décisions : qui aura un emploi, qui risque de faire défaut sur un prêt, ou qui pourrait commettre une infraction.

Ce papier, écrit par deux chercheurs, pose une question fondamentale : est-ce que l'avenir est vraiment écrit dans une "recette mathématique" cachée que nous essayons de découvrir ?

Voici l'explication de leur idée, sans jargon technique, avec quelques images pour mieux comprendre.

1. Le mythe de la "Recette Universelle" (La distribution de données)

Aujourd'hui, la plupart des experts en IA agissent comme s'il existait une "Vraie Recette" (ce qu'ils appellent une distribution de données génératrice).

L'analogie : Imaginez que vous jouez à un jeu de dés. Vous savez qu'un dé équilibré a une "vraie" probabilité de 1/6 pour chaque chiffre. Si vous lancez le dé assez de fois, vous finirez par trouver cette vérité. Les chercheurs pensent souvent que la société fonctionne comme ce dé : il existe une vérité cachée sur le comportement humain, et notre but est de la "déchiffrer" en regardant assez de données.

Le problème soulevé par les auteurs :
La société humaine n'est pas un casino. Les gens ne sont pas des dés.

Pourquoi ? Parce que les gens changent, les contextes changent, et les données que nous collectons sont toujours incomplètes.
L'image : Si vous essayez de prédire si une personne va faire faillite en se basant sur une "recette" mathématique, vous supposez que cette personne est un point de données statique. Mais en réalité, si vous changez légèrement la façon dont vous regardez cette personne (son âge, son lieu de résidence, son année d'observation), la "recette" change radicalement. Il n'y a pas de vérité unique à découvrir, car la réalité est trop fluide et dépend de nos choix.

2. Le danger de croire à l'Objectivité

Le plus grand danger, selon les auteurs, est que cette croyance en une "Vraie Recette" donne une fausse impression d'objectivité.

L'analogie du "Miroir Magique" : Quand un algorithme dit : "Cette personne a 80 % de risque de commettre un crime", cela sonne comme un fait scientifique, comme une loi de la physique. On pense que l'algorithme "voit" la vérité.
La réalité : L'algorithme ne voit pas la vérité. Il construit un reflet. Ce reflet dépend entièrement de comment nous avons choisi de construire le miroir (quelles données avons-nous prises ? Comment avons-nous défini "crime" ? Quelle période de temps avons-nous regardée ?).
Le risque : En croyant que l'algorithme suit une "réalité objective", les décideurs (banques, police, gouvernements) évitent de se poser la question : "Pourquoi avons-nous choisi ces critères ?". Ils pensent que la machine a raison parce qu'elle "reproduit la réalité", alors qu'elle ne fait que reproduire nos propres choix de modélisation, parfois biaisés.

3. La solution : Arrêter de chercher la "Recette", commencer à regarder le "Groupe"

Les auteurs proposent de changer de lunettes. Au lieu de chercher une loi universelle cachée, nous devrions regarder directement les groupes de personnes réels.

L'analogie du "Panier de fruits" :
- L'approche actuelle (Gen-D) : On imagine un panier infini de fruits parfait, et on essaie de deviner la "vraie" saveur moyenne de tous les fruits de l'univers.
- L'approche proposée : On regarde le panier de fruits que nous avons réellement devant nous aujourd'hui. On dit : "Dans ce panier spécifique, 3 pommes sur 10 sont pourries. Si nous prenons un autre panier l'année prochaine, ce sera peut-être différent."
Pourquoi c'est mieux ? Cela nous force à être honnêtes. Nous admettons que notre prédiction ne s'applique qu'à ce groupe précis, à ce moment précis. Cela nous empêche de dire "C'est la vérité absolue sur cette personne".

4. Ce que cela change pour nous

Si nous abandonnons l'idée de la "Vraie Recette", trois choses changent :

Plus de responsabilité : Puisqu'il n'y a pas de vérité divine à découvrir, les humains qui créent les algorithmes doivent assumer leurs choix. Ils doivent expliquer : "Nous avons choisi de prédire le risque de chômage basé sur ces critères précis, et voici pourquoi."
Plus d'humilité : On arrête de penser que l'IA est un oracle infaillible. On reconnaît que les prédictions sont des outils utiles, mais imparfaits, qui dépendent de notre façon de voir le monde.
Plus de justice : On réalise qu'il n'y a pas un seul "modèle parfait" à trouver. Souvent, plusieurs modèles différents peuvent être aussi performants, mais donner des résultats très différents pour les individus. Reconnaître cela permet de choisir des modèles qui sont plus justes, même s'ils ne sont pas "mathématiquement parfaits" selon une théorie abstraite.

En résumé

Ce papier nous dit : Arrêtez de faire semblant que la société est un jeu de dés avec des règles fixes.

Les gens sont complexes et changeants. Croire qu'il existe une "probabilité vraie" cachée derrière chaque individu est une illusion qui nous rend aveugles aux choix que nous faisons en créant ces technologies. Au lieu de chercher à "découvrir" la vérité, nous devrions construire des outils qui nous aident à prendre de meilleures décisions pour des groupes spécifiques, tout en restant conscients que nous sommes les architectes de ces outils, et non de simples observateurs d'une vérité mathématique.

1. Problématique

L'article remet en question l'hypothèse fondamentale omniprésente en apprentissage automatique (ML) et en statistiques, selon laquelle les données observées sont échantillonnées à partir d'une vraie distribution de probabilité génératrice de données (Gen-D).

Contexte : La plupart des travaux théoriques en ML, y compris ceux sur l'équité algorithmique, reposent sur le cadre i.i.d. (indépendant et identiquement distribué) et l'idée d'approximer une distribution sous-jacente $P(Y|X)$ ou un classifieur de Bayes optimal.
Problème central : Les auteurs soutiennent que dans les contextes sociaux (prédictions concernant des humains), de telles distributions « vraies » n'existent pas. Les probabilités y sont construites et non découvertes.
Conséquences de l'hypothèse erronée : Le maintien de ce cadre fictif crée une illusion d'objectivité, obscurcit les choix de modélisation (comme le choix de l'espace d'entrée), et conduit à des interprétations erronées des compromis entre équité et précision, ainsi qu'à une méconnaissance de la multiplicité des modèles (le fait que plusieurs modèles performants puissent donner des prédictions individuelles très différentes).

2. Méthodologie

Les auteurs adoptent une approche mixte combinant l'analyse philosophique, l'analyse théorique de l'apprentissage et la validation empirique :

Argumentation Philosophique et Théorique :
- Ils réfutent l'existence de probabilités objectives dans les systèmes sociaux, s'opposant à l'analogie avec les jeux de hasard ou la mécanique quantique (qui ne s'appliquent pas aux échelles macro-sociales).
- Ils démontrent que l'hypothèse Gen-D n'est pas nécessaire pour formaliser l'apprentissage et la généralisation.
Cadre Théorique Alternatif (Populations Finies) :
- Au lieu de supposer un échantillonnage avec remise d'une distribution infinie, ils proposent un cadre basé sur des populations finies.
- Ils adaptent la théorie de l'apprentissage de Vapnik (lemme de symétrisation et bornes de généralisation) pour fonctionner avec un tirage sans remise d'un ensemble fini de points de données.
- Ils démontrent mathématiquement que l'erreur de généralisation peut être bornée en comparant l'erreur sur un sous-ensemble d'entraînement à l'erreur sur le reste de la population finie, sans invoquer de distribution sous-jacente.
Analyse Empirique :
- Utilisation de jeux de données réels (notamment ACS Income pour la prédiction de revenus et des données sur le défaut de crédit).
- Expérience de multiplicité : Ils montrent que la prédiction de modèles optimisés change significativement (jusqu'à 10% des prédictions varient de plus de 10%) selon la fenêtre temporelle choisie pour l'entraînement (ex: 1 an vs 4 ans) ou la sous-population considérée.
- Ils analysent l'impact du choix des attributs (abstraction) sur les mesures d'équité et de précision.

3. Contributions Clés

Démystification de la distribution génératrice (Gen-D) : Affirmation que dans les sciences sociales, les probabilités sont des constructions dépendantes du modèle et non des entités physiques à découvrir.
Théorème de généralisation sur populations finies : Démonstration que la théorie de l'apprentissage classique peut être reformulée sans hypothèse de distribution, en utilisant des mesures de comptage sur des populations finies (Théorème 3). Cela valide l'apprentissage sans recourir à des métaphysiques probabilistes.
Critique de l'objectivité algorithmique : Mise en lumière du fait que l'hypothèse Gen-D sert de couverture pour masquer les choix subjectifs des ingénieurs (choix des features, définition de la population cible, fonction de perte), donnant une fausse impression de neutralité scientifique.
Réinterprétation de l'équité et de la multiplicité :
- La multiplicité des modèles n'est pas un problème d'approximation d'une vérité unique, mais une conséquence fondamentale de l'absence de distribution vraie.
- Les compromis équité-précision ne sont pas des limites théoriques inévitables (liées à la distribution de Bayes), mais des choix de conception qui peuvent souvent être contournés.
Problème de la classe de référence : Soulignement que le choix de l'abstraction (quels attributs inclure dans $X$ ) détermine la similarité entre les individus et donc les prédictions, un aspect souvent ignoré car le cadre Gen-D présume que l'espace d'entrée est donné.

4. Résultats

Instabilité des prédictions : Les expériences montrent que les prédictions de modèles « optimaux » sont hautement sensibles aux choix de la population d'entraînement (année, état géographique). Par exemple, changer la fenêtre temporelle de 1 à 4 ans modifie significativement les prédictions pour environ 10% des individus, même avec des modèles de haute précision.
Inadéquation du cadre i.i.d. : Le fait que les données sociales ne soient pas échantillonnées avec remise (un individu ne peut pas être « prédit » deux fois de la même manière dans le futur) rend l'hypothèse de distribution statique inadaptée.
Fausse objectivité : Les auteurs montrent que des systèmes réels (comme ceux des services d'emploi autrichiens) utilisent le langage de la « vraie probabilité » pour justifier des décisions, alors qu'ils ne font qu'optimiser une perte moyenne sur des données construites.
Théorème de bornes : Les nouvelles bornes de généralisation prouvent que l'apprentissage fonctionne sur des ensembles finis sans besoin d'une distribution sous-jacente, rendant le cadre Gen-D superflu pour la théorie de l'apprentissage.

5. Signification et Implications

Pour la recherche en ML : Il est urgent d'abandonner le langage de l'« estimation de la distribution vraie » au profit d'une approche plus modeste : trouver un modèle qui fonctionne bien pour une tâche spécifique et une fonction de perte donnée sur une population définie.
Pour l'équité algorithmique : Reconnaître l'absence de distribution vraie permet de mieux comprendre que les compromis équité-précision ne sont pas des lois naturelles, mais des résultats de choix de modélisation. Cela ouvre la voie à des algorithmes moins discriminatoires sans perte de performance.
Responsabilité et Gouvernance : En rejetant l'illusion d'objectivité, les auteurs appellent à une plus grande transparence sur les choix de conception (abstraction, collecte de données, définition de la population). Cela favorise une responsabilité accrue (accountability) des développeurs de systèmes d'IA.
Changement de paradigme : L'article propose de passer d'une vision de l'IA comme « découverte de la vérité » à une vision de l'IA comme « construction d'outils de décision » adaptés à des contextes sociaux spécifiques, nécessitant une justification explicite de chaque choix de modélisation.

En résumé, l'article plaide pour l'abandon du cadre des distributions génératrices de données dans les contextes sociaux, non pas parce que cela rend le ML impossible, mais parce que ce cadre est scientifiquement infondé et socialement dangereux car il masque la nature construite et subjective des prédictions algorithmiques.