Résumé Technique : Théorie de l'Apprentissage Performatif

1. Énoncé du Problème

Les systèmes d'apprentissage automatique ont évolué de simples analyseurs passifs de données vers des agents qui façonnent activement le monde. Dans de nombreux domaines, le déploiement de modèles prédictifs influence les résultats mêmes qu'ils visent à prévoir, un phénomène connu sous le nom de prédictions performatives (PP). Bien que les travaux antérieurs (par exemple, Perdomo et al., 2020 ; Brown et al., 2022) aient formalisé la PP et étudié la stabilité et l'optimalité des modèles sous des boucles de rétroaction au niveau de la population, une lacune critique subsiste : la généralisation sous la performativité.

Plus précisément, la littérature existante n'aborde pas de manière adéquate la capacité de généralisation des modèles, à partir d'un échantillon fini vers une population lorsque :

1. L'échantillon lui-même réagit aux prédictions du modèle (par exemple, des utilisateurs en phase de test bêta changeant de comportement suite aux recommandations d'une application).
2. La population réagit aux prédictions.
3. Les deux réagissent, potentiellement de manières conflictuelles.

La question centrale est de savoir si, et comment, les modèles entraînés sur des échantillons performatifs peuvent se généraliser à une population performative, et quels sont les seuils théoriques de cette erreur de généralisation.

2. Méthodologie et Cadre de Référence

Les auteurs introduisent la Théorie de l'Apprentissage Performatif (PLT), en intégrant les prédictions performatives dans la théorie statistique de l'apprentissage. Le cadre généralise le cadre standard en considérant l'évolution de la distribution de l'échantillon ($\hat{d}_t$) et de la distribution de la population ($d_t$) au cours du temps $t$.

Définitions Clés et Hypothèses

• Transition État de l'État (Stateful Transition) : L'évolution de la distribution est régie par une carte de transition $Tr$ inconnue, où $d_t = Tr(d_{t-1}, \theta_t)$. Cela généralise les modèles sans état où $d_t$ dépend uniquement de $\theta_t$.
• Minimisation du Risque : L'étude considère à la fois la Minimisation du Risque Répétée (RRM) sur la population et la Minimisation de l'Erreur Empirique Répétée (RERM) sur l'échantillon.
• Conditions : L'analyse repose sur les hypothèses standards de la littérature sur la PP :
  • Convexité Forte : La fonction de perte $\ell$ est $\gamma$-fortement convexe en paramètres $\theta$.
  • Sensibilité de Wasserstein : La carte de transition $Tr$ est $(\varepsilon, p)$-conjointement sensible, ce qui signifie que la distance de Wasserstein entre les distributions varie linéairement avec le changement des paramètres et des distributions précédentes.
  • Régularité : La perte est Lipschitzienne en termes de données et continûment dérivable en paramètres.

Approche Théorique

Les auteurs dérivent des bornes de généralisation en analysant la distance de Wasserstein entre les distributions. Ils utilisent :

• Bornes de Convergence : En s'appuyant sur Fournier & Guillin (2015) pour borner la distance entre l'échantillon initial et la véritable population.
• Bornes de Décalage Intra-Échantillon : En dérivant des bornes sur la mesure dans laquelle la distribution de l'échantillon dévie en raison des effets performatifs au sein de la boucle d'entraînement.
• Nombres de Recouvrement : En utilisant des intégrales d'entropie de nombres de recouvrement (Kolmogorov & Tikhomirov, 1959) plutôt que des complexités de Rademacher, afin de gérer la nature dynamique du support de la distribution.
• Dualité dans l'Espace de Wasserstein : En classant les prédictions auto-négatives (population) et auto-réalisatrices (échantillon) comme des fonctionnelles de risque min-max et min-min respectivement, permettant l'utilisation de la théorie des processus empiriques pour un apprentissage localement robuste à la distribution et favorable.

3. Contributions Clés et Résultats

Le papier traite de quatre questions de recherche spécifiques (RQ1–RQ4) concernant la généralisation sous différents scénarios de performativité :

RQ1 : Généralisation sous la Performativité de l'Échantillon

• Scénario : Un modèle est réentraîné sur un échantillon qui réagit aux prédictions, mais la population ne réagit pas (ou n'est pas encore observée).
• Résultat (Théorème 3.7) : Les auteurs prouvent une borne supérieure sur l'excès de risque $R(d_0, \hat{\theta}_T) - \inf R(d_0, \theta)$.
• Insight Clé : La borne dépend du taux de réponse performative ($m/n$, la fraction d'unités de l'échantillon changeant de comportement). Si $m = o(n)$, la borne tend vers zéro quand $n \to \infty$. Cependant, si l'échantillon réagit fortement, la borne augmente, indiquant un arbitrage : manipuler l'échantillon pour améliorer les résultats dégrade la capacité à apprendre des propriétés généralisables à partir de cet échantillon.

RQ2 : Généralisation sous la Performativité Totale

• Scénario : Un modèle est entraîné sur un échantillon, puis déployé sur une population qui réagit aux prédictions.
• Résultat (Théorèmes 3.10 & 3.13) : Des bornes sont dérivées pour l'excès de risque performatif (erreur sur la population décalée) et l'écart de généralisation (différence entre le risque sur la population décalée et l'échantillon décalé).
• Insight Structurel : Dans le pire des cas, l'échantillon crée une "chambre d'écho empirique" par des prédictions auto-réalisatrices (confirmant de manière trompeuse le modèle), tandis que la population auto-négative ces prédictions (agissant de manière opposée). Cela crée un écart fondamental entre la performance d'entraînement et la performance hors échantillon.
• Corollaire 3.11 : Un insight pratique suggère que les garanties de généralisation les plus serrées sont obtenues en utilisant l'ajustement initial ($\hat{\theta}_0$) sur des données hors échantillon tout en estimant le décalage de la population à partir des décalages observés de l'échantillon, plutôt qu'en réentraînant de manière répétée sur l'échantillon déformé.

RQ3 : Excès de Risque Performatif Cumulé

• Scénario : Un modèle est entraîné sur un échantillon, puis déployé sur une population où il est réentraîné de manière répétée sur la population changeante.
• Résultat (Théorème 3.16) : Le papier fournit des bornes sur l'erreur cumulée au fil du temps. L'analyse montre que l'erreur accumulée est pilotée par le décalage initial échantillon-population et la dynamique de la population qui en découle.

RQ4 : Écart Inférentiel

• Scénario : Comparaison entre le minimiseur de risque empirique (entraîné sur des échantillons) et le minimiseur de risque théorique (entraîné sur la population).
• Statut : Le papier note que cela est partiellement répondu par des travaux récents (Li et al., 2025b) pour les cas asymptotiques ($n \to \infty$) et identifie l'analyse en échantillon fini pour la performativité état de l'état comme une direction ouverte.

4. Illustration Empirique

Les auteurs illustrent leurs bornes en utilisant des données administratives réelles de l'Agence Fédérale de l'Emploi allemande (1975–2017) concernant le profilage des demandeurs d'emploi.

• Configuration : Un modèle de régression logistique prédit le risque de chômage de longue durée. Les individus à haut risque sont affectés à une formation professionnelle, ce qui (si elle est efficace) réduit leur risque de chômage, créant ainsi un effet performatif.
• Résultats : Les bornes quantifient avec succès l'écart de généralisation. À mesure que la fraction de demandeurs d'emploi affectés à la formation ($\xi$) augmente, le terme performatif dans la borne croît, démontant l'arbitrage changement-apprentissage : plus le modèle modifie la population (en affectant davantage de formations), moins ses prédictions deviennent fiables pour la population générale.

5. Signification et Revendications

Le papier affirme initier l'étude de la capacité d'apprentissage sous la performativité. Ses principales contributions sont :

1. Fondation Théorique : Il établit le premier ensemble de bornes de généralisation pour les prédictions performatives qui tiennent compte des échantillons finis et de la distinction entre les réactions de l'échantillon et de la population.
2. Arbitrage Fondamental : Il formalise un arbitrage entre l'intervention (changer le monde via les prédictions) et l'inférence (apprendre à partir des données résultantes). Plus un modèle influence son environnement, plus il devient difficile de généraliser à partir des données qui en résultent.
3. Mécanisme de Chambre d'Écho : Il identifie un mécanisme spécifique où les échantillons peuvent "tromper" les modèles par des prophéties auto-réalisatrices, tandis que les populations "négatent" ces prophéties, entraînant des écarts de généralisation gonflés.
4. Conseils Pratiques : Il offre une recommandation contre-intuitive mais théoriquement fondée : face à la performativité, s'appuyer sur l'ajustement initial du modèle combiné à des estimations du décalage (dérivées des réactions de l'échantillon) peut offrir des garanties plus serrées que le réentraînement continu sur des données déformées.

Les auteurs maintiennent un ton modeste, reconnaissant que leurs bornes reposent sur des conditions de régularité spécifiques (convexité forte, continuité Lipschitzienne) et que la carte de transition $Tr$ est traitée comme une boîte noire. Ils positionnent ce travail comme une étape fondamentale vers la compréhension des limites des systèmes prédictifs dans des domaines à enjeux élevés tels que les services d'emploi, la finance ou la justice pénale, où les prédictions façonnent activement les résultats.