📊 statistics

Reconciling Bayesian and frequentist approaches to robustness against outliers

Cet article réconcilie les approches bayésienne et fréquentiste de la robustesse face aux valeurs aberrantes en démontrant que les estimateurs M fréquentistes reposent souvent sur des modèles à queue lourde impropres inaccessibles à l'inférence bayésienne standard, et propose d'adopter le cadre bayésien généralisé pour permettre l'utilisation de ces outils tout en garantissant des distributions a posteriori propres et en assurant une cohérence théorique avec les résultats fréquentistes.

Auteurs originaux : Philippe Gagnon, Alain Desgagné

Publié 2026-07-24

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Philippe Gagnon, Alain Desgagné

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Duel des Grands Détectives de la Donnée

Imaginez que vous êtes un détective essayant de résoudre un mystère en examinant une pile d'indices. La plupart des indices racontent une histoire claire et cohérente : un suspect a couru à gauche, puis à droite, puis s'est caché dans un buisson. Mais ensuite, vous trouvez quelques notes étranges. L'une dit que le suspect s'est envolé vers la lune, une autre prétend qu'il s'est transformé en grille-pain. Dans le monde de la statistique, ces notes bizarres sont appelées valeurs aberrantes (ou outliers). Ce sont des points de données qui ne correspondent pas au schéma, souvent à cause d'une erreur ou d'un événement chaotique et rare. Si vous essayez de tracer une ligne droite à travers tous les indices — y compris ceux du grille-pain volant — votre ligne sera déviée de façon spectaculaire et votre conclusion sur le parcours du suspect sera fausse.

Pour corriger cela, les statisticiens ont développé deux équipes principales de détectives : les Bayésiens et les Fréquentistes. Tous deux veulent ignorer les notes délirantes pour se concentrer sur l'histoire réelle, mais ils utilisent des boîtes à outils différentes. Les Fréquentistes sont comme des ingénieurs qui construisent une « éponge » spéciale qui absorbe les notes folles et les rétrécit jusqu'à ce qu'elles n'aient plus d'importance. Les Bayésiens sont comme des artistes qui redessinent la carte du monde pour qu'il soit plus facile d'accepter l'existence de grille-pains volants, mais seulement si la carte est dessinée très soigneusement. Pendant longtemps, ces deux équipes ont pensé résoudre le même problème, mais elles utilisaient en réalité des cartes qui ne correspondaient pas tout à fait. Ce document traite de la découverte de pourquoi leurs cartes étaient différentes et de comment enfin dessiner une seule carte qui fonctionne pour tout le monde.

Le Choc des Cartes

L'histoire commence par une question simple : comment ignorer les points de données du « grille-pain volant » sans jeter tout le puzzle ?

L'équipe Fréquentiste a un outil favori appelé biweight de Tukey. Imaginez cela comme une règle magique qui, dès qu'un point de donnée s'éloigne trop de la foule, cesse simplement de s'en soucier. Si un point est un peu bizarre, la règle lui donne une petite impulsion. S'il est follement bizarre (comme le grille-pain), la règle dit : « J'en ai fini avec toi », et lui assigne un poids de zéro. C'est incroyablement efficace pour ignorer le bruit. Cependant, il y a un piège : cette règle magique ne suit pas les règles strictes de la probabilité. C'est ce que les mathématiciens appellent un modèle « impropre ». C'est comme une recette qui fonctionne parfaitement pour faire un délicieux gâteau, mais qui n'énumère pas réellement les ingrédients d'une manière qui totalise un nombre entier.

L'équipe Bayésienne, quant à elle, est très exigeante sur ses recettes. Elle insiste sur le fait que chaque modèle doit être « propre » (proper), ce qui signifie qu'il doit suivre des règles de probabilité strictes où tout s'additionne parfaitement. Pour gérer les valeurs aberrantes, ils utilisent des modèles à queues lourdes (comme la distribution t de Student ou la LPTN). Voyez cela comme des cartes avec des bords très larges et souples. Si un point de donnée est éloigné, la carte s'étire pour l'inclure, mais plus elle va loin, moins elle a d'influence. Le problème est que même les queues les plus « lourdes » que ces Bayésiens sont autorisés à utiliser ne sont pas tout à fait assez lourdes pour ignorer complètement les notes du grille-pain volant. Ils laissent encore un peu de bruit fou s'immiscer dans la réponse finale.

Les auteurs de ce document ont réalisé que les Fréquentistes utilisaient un outil super puissant et légèrement « illégal » (l'impropre biweight de Tukey) que les Bayésiens n'avaient pas le droit de toucher. À cause de cela, lorsque les deux équipes regardaient les mêmes données désordonnées, elles obtenaient des réponses différentes. Les Fréquentistes obtenaient une ligne nette qui ignorait parfaitement les valeurs aberrantes. Les Bayésiens, coincés avec leurs cartes « propres », obtenaient toujours une ligne légèrement tirée vers les valeurs aberrantes.

Combler le fossé avec le « Bayes Généralisé »

Le document propose une solution qui ressemble un peu à une faille juridique. Les auteurs suggèrent que les Bayésiens devraient adopter un nouveau cadre appelé Bayes Généralisé. Ce cadre est comme un permis spécial qui permet à l'équipe bayésienne d'utiliser les outils « impropres » (comme le biweight de Tukey) que les Fréquentistes adorent, tant qu'ils les associent à une croyance de départ « propre » (un prior).

Voyez les choses ainsi : l'artiste bayésien refuse habituellement de peindre avec un pinceau qui laisse couler la peinture partout (le modèle impropre). Mais avec ce nouveau permis, il peut utiliser le pinceau qui dégouline si il pose d'abord une toile propre (le prior propre). Le résultat ? La peinture dégouline, mais l'image finale est toujours une image parfaite et complète.

Les auteurs ont testé cette idée avec des données réelles, notamment un ensemble de données sur des rats courant dans un labyrinthe et un autre sur des demandes d'assurance. Dans les deux cas, la méthode bayésienne traditionnelle était toujours déviée par les valeurs aberrantes. Mais lorsqu'ils ont utilisé la nouvelle approche du Bayes Généralisé avec le biweight de Tukey, les résultats bayésiens ont obtenu des résultats similaires à ceux du praticien fréquentiste, et les lignes de régression estimées étaient essentiellement les mêmes. Les valeurs aberrantes étaient efficacement ignorées, et l'influence des notes du « grille-pain volant » était considérablement réduite.

Ce que disent les mathématiques

Le document ne se contente pas de montrer que cela fonctionne sur un ordinateur ; il le prouve avec des mathématiques de haut niveau. Ils ont montré qu'à mesure que les valeurs aberrantes s'éloignent de plus en plus (comme le grille-pain s'envolant dans l'espace profond), le modèle bayésien utilisant cette nouvelle méthode approche d'un état où il cesse de les écouter. Les mathématiques prouvent que le modèle devient « totalement robuste » dans cette limite asymptotique, ce qui signifie que les valeurs aberrantes ont un effet négligeable sur la réponse finale, à condition que le nombre de valeurs aberrantes ne dépasse pas un certain seuil (le point de rupture de l'estimateur de l'échelle).

Ils ont également déterminé comment calibrer l'incertitude. Habituellement, lorsque vous utilisez ces outils « impropres », il est difficile de savoir à quel point vous pouvez être confiant dans votre réponse. Les auteurs ont développé un moyen d'ajuster un bouton de « température » (appelé paramètre de tempérage) afin que les intervalles de confiance (la plage des réponses probables) soient juste corrects — ni trop larges, ni trop étroits. Ils ont effectué des simulations avec des milliers de faux ensembles de données pour montrer que cette méthode fonctionne de manière fiable, donnant des réponses tout aussi dignes de confiance que les anciennes méthodes standards, mais bien meilleures pour ignorer le bruit.

Ce qu'il faut retenir

La principale conclusion est que le fossé entre les deux équipes statistiques était causé par une différence de règlement : les Fréquentistes pouvaient utiliser des modèles « impropres » pour ignorer parfaitement les valeurs aberrantes, tandis que les Bayésiens ne le pouvaient pas. En adoptant le cadre du Bayes Généralisé, les Bayésiens peuvent désormais utiliser les mêmes outils puissants que les Fréquentistes. Cela signifie que, que vous soyez un Fréquentiste ou un Bayésien, vous pouvez désormais obtenir des résultats similaires et hautement précis, même lorsque vos données sont remplies de grille-pains volants et de notes délirantes. Le document suggère qu'il ne s'agit pas d'un simple ajustement mineur, mais d'une façon de réconcilier complètement les deux approches, donnant à chacun accès aux meilleurs outils pour la tâche à accomplir.

Résumé technique : Réconcilier les approches bayésienne et fréquentiste de la robustesse face aux valeurs aberrantes

Énoncé du problème
L'article traite d'un décalage fondamental entre les approches bayésienne et fréquentiste classiques concernant la robustesse face aux valeurs aberrantes (outliers) dans l'analyse de régression. Bien que les deux paradigmes visent à limiter l'influence des valeurs aberrantes, ils divergent sur l'exigence de propriété du modèle.

Approche fréquentiste : Repose sur les estimateurs M, qui modifient la fonction de log-vraisemblance (ou sa dérivée) pour réduire le poids des valeurs aberrantes. Crucialement, les fréquentistes n'exigent pas que la fonction de perte modifiée corresponde à une densité de probabilité (PDF) propre. Un exemple notable est l'estimateur M de Tukey (biweight), où la fonction de perte devient constante au-delà d'un certain seuil, produisant ainsi une distribution impropre.
Approche bayésienne : Exige traditionnellement que la vraisemblance soit dérivée d'un modèle propre. Pour obtenir de la robustesse, les bayésiens remplacent les distributions à queues légères (ex: Normale) par des alternatives à queues lourdes (ex: Student's $t$ , Log-Pareto-tailed Normal ou LPTN). Cependant, les bayésiens traditionnels ne peuvent pas utiliser de modèles impropres comme le biweight de Tukey.

Cette restriction limite l'outillage du praticien bayésien par rapport au fréquentiste. Les auteurs démontrent que cette limitation conduit à des résultats d'estimation significativement différents dans des scénarios réels, particulièrement lorsque la contamination par les valeurs aberrantes est sévère. Dans ces cas, l'approche bayésienne traditionnelle (même avec des modèles à queues extrêmement lourdes comme le LPTN) reste plus influencée par les valeurs aberrantes que le contrepart de l'estimateur M fréquentiste.

Méthodologie
L'article propose une réconciliation en adoptant le cadre Bayésien Généralisé (Bissiri et al., 2016), qui permet l'utilisation de modèles impropres à condition d'utiliser des distributions a priori propres pour garantir une distribution postérieure généralisée propre.

Construction de la distribution postérieure généralisée :
Les auteurs appliquent ce cadre à la fonction de perte du biweight de Tukey. Ils définissent une densité postérieure généralisée pour les coefficients de régression $\beta$ (avec un paramètre d'échelle $\hat{\sigma}$ fixé et estimé via un estimateur M robuste) comme suit :
$\pi(\beta | y) \propto \exp\left(-w \sum_{i=1}^n \rho\left(\frac{y_i - x_i^T \beta}{\hat{\sigma}}\right)\right) \pi(\beta)$
où $\rho = -\log g$ correspond à la perte du biweight de Tukey, $\pi(\beta)$ est un a priori propre, et $w > 0$ est un paramètre de tempérance introduit pour le calibrage.
Analyse théorique :
L'article fournit une étude théorique approfondie du contrepart bayésien généralisé de l'estimateur M du biweight de Tukey, incluant :

Caractérisation de la robustesse : Sous un cadre asymptotique où les valeurs aberrantes s'éloignent du cœur des données, les auteurs prouvent que la distribution postérieure généralisée converge vers une distribution basée uniquement sur les données non aberrantes (robustesse totale), à condition que l'estimateur d'échelle soit également robuste.
Consistance forte : La distribution postérieure généralisée se concentre autour de la valeur réelle du paramètre à mesure que la taille de l'échantillon $n \to \infty$ .
Résultat de Bernstein–von Mises (BvM) : Les auteurs établissent un théorème BvM, montrant que la distribution postérieure généralisée se comporte asymptotiquement comme une distribution normale centrée sur un estimateur consistant. Ce résultat est crucial pour calibrer le paramètre de tempérance $w$ afin d'assurer une quantification de l'incertitude significative (ex: intervalles de crédibilité avec une couverture fréquentiste correcte).

Calibrage de l'incertitude :
Pour garantir que la distribution postérieure généralisée fournisse une quantification de l'incertitude significative, les auteurs proposent de fixer le paramètre de tempérance $w = E[\rho''(\epsilon)]^{-1}$ , en supposant que le cœur des données suit une distribution normale standard. Cela aligne la covariance asymptotique de la distribution postérieure généralisée avec celle de la régression linéaire normale bayésienne standard.

Résultats clés et preuves empiriques
L'article valide ses affirmations théoriques à travers deux exemples de données réelles :

Jeu de données "Shock" (Régression linéaire simple) :

Observation : L'estimateur M du biweight de Tukey (fréquentiste) et le contrepart bayésien généralisé produisent des droites de régression presque identiques qui ignorent efficacement les valeurs aberrantes.
Contraste : Les modèles bayésiens traditionnels (Student's $t$ et LPTN) produisent des estimations significativement influencées par les valeurs aberrantes, résultant en des droites de régression différentes. Même avec le modèle LPTN (qui est théoriquement "totalement robuste" asymptotiquement), l'influence des valeurs aberrantes en échantillon fini est prononcée par rapport à l'estimateur biweight.
Résolution : L'approche bayésienne généralisée produit des résultats indiscernables de l'estimateur M fréquentiste.

Estimation des réserves (Triangle de sinistralité d'assurance) :

Observation : Dans une régression linéaire complexe à 20 paramètres, la différence entre l'estimation M du biweight de Tukey et l'estimation LPTN bayésienne traditionnelle est significative (somme des différences absolues des coefficients = 0,79).
Contraste : Les estimations bayésiennes traditionnelles sont plus influencées par les valeurs aberrantes, menant à des prédictions différentes pour les sinistres futurs.
Résolution : L'approche bayésienne généralisée s'aligne à nouveau sur l'estimateur M fréquentiste, excluant efficacement les valeurs aberrantes identifiées et correspondant aux résultats obtenus par le praticien fréquentiste.

Signification et contributions
L'article revendique les contributions suivantes :

Identification d'un fossé fondamental : Il souligne que l'exigence de modèles propres dans l'analyse bayésienne traditionnelle empêche l'accès à des outils de robustesse puissants comme l'estimateur M du biweight de Tukey, conduisant à un échec de la "résolution de conflit" où les estimations bayésiennes restent sensibles aux valeurs aberrantes.
Réconciliation via le Bayes Généralisé : Il démontre que l'adoption du cadre Bayésien Généralisé permet aux praticiens bayésiens d'accéder à toute la gamme des outils robustes fréquentistes, atteignant une réconciliation complète des deux approches.
Fondation théorique pour les modèles impropres : Il fournit la première étude théorique étendue (caractérisation de la robustesse, consistance forte et résultats BvM) pour le contrepart bayésien généralisé d'un estimateur robuste populaire.
Calibrage pratique : Il offre une méthode fondée sur des principes (via le résultat BvM) pour calibrer la distribution postérieure généralisée afin d'obtenir une quantification de l'incertitude significative, répondant ainsi à un défi courant de l'inférence bayésienne généralisée.

Les auteurs concluent que bien que l'accent soit mis sur la régression linéaire, la différence fondamentale concernant la propriété du modèle et ses conséquences sur la robustesse s'étend probablement à des contextes de modélisation plus larges. L'article ne prétend pas résoudre tous les problèmes de robustesse, mais cible spécifiquement la réconciliation des méthodes robustes classiques fréquentistes avec l'inférence bayésienne par l'acceptation de modèles impropres au sein d'un cadre généralisé.