Résumé technique : Sélectionner ou ne pas sélectionner : des priors prédictivement cohérents plutôt que la sélection de modèles

Énoncé du problème

Dans les flux de travail de modélisation bayésienne, les praticiens sont souvent confrontés à un arbitrage entre complexité du modèle et capacité de généralisation. Le folklore statistique suggère que la sélection de modèles plus simples (parsimonie) est nécessaire pour éviter le surapprentissage (overfitting), particulièrement dans les régimes de données finies. Cependant, la sélection de modèles elle-même est une source d'instabilité et peut introduire un biais induit par la sélection, favorisant potentiellement des modèles qui surapprennent ou sous-apprennent selon les critères utilisés.

Le problème central abordé est de déterminer quand la sélection de modèles est nécessaire par rapport aux cas où elle est inutile, voire nuisible, pour la performance prédictive hors échantillon. Les auteurs examinent si le besoin perçu de sélectionner des modèles plus simples provient de la structure même du modèle ou de spécifications de priors médiocres qui ne parviennent pas à rester raisonnables à mesure que la complexité du modèle augmente. Plus précisément, ils examinent comment le choix des priors affecte la stabilité de la performance prédictive lors de l'ajout de covariables ou de l'augmentation de la complexité non linéaire.

Méthodologie

Cadre théorique

L'article formalise le concept de priors prédictivement cohérents. Les auteurs définissent une séquence de modèles imbriqués $\{M_d\}$ avec une complexité croissante $d$ (par exemple, le nombre de prédicteurs ou de fonctions de base). Ils introduisent deux propriétés clés pour les priors dans cette séquence :

1. Cohérence prédictive de second ordre : Une séquence de priors est prédictivement cohérente si la variance de la distribution du signal induit (la composante systématique $\eta_d$) reste globalement bornée et converge vers une limite finie lorsque $d \to \infty$. Formellement, $\sup_{d} \text{Var}_{q_d}(\eta_d) \leq C$ et $\lim_{d \to \infty} \text{Var}_{q_d}(\eta_d) = L$. Cela garantit que l'ajout de composantes au modèle ne provoque pas l'explosion de la distribution prédictive a priori ou ne la rend pas absurde.
2. Parsimonie prédictive : Une condition plus faible exigeant que la divergence de Kullback-Leibler (KL) entre les distributions de signal induites successives soit sommable. Les auteurs démontrent que la parsimonie prédictive seule est insuffisante pour empêcher l'explosion de la variance (par exemple, des priors normaux indépendants satisfont la parsimonie mais échouent à la cohérence).

Les auteurs les opposent aux priors normaux indépendants standards (par exemple, $\beta_j \sim \mathcal{N}(0, \tau^2)$), qu'ils montrent échouent souvent à la cohérence prédictive car la variance totale du signal croît linéairement avec le nombre de prédicteurs ($d\tau^2$), conduisant à des distributions prédictives a priori implausibles.

Conception expérimentale

Les auteurs évaluent ces concepts à travers quatre contextes expérimentaux utilisant des données simulées :

1. Ajout de covariables en régression logistique : Un régime dense où le processus générateur de données (DGP) inclut toutes les covariables. Ils comparent des priors normaux indépendants à des priors R2D2 (qui placent un prior sur le $R^2$ bayésien).
2. Sélection par étapes (Forward Stepwise Selection) : Un régime parcimonieux où seule une sous-partie des covariables est pertinente. Ils comparent la sélection "forward" utilisant des priors normaux indépendants aux priors R2D2, parallèlement à l'inférence par projection prédictive (projpred).
3. Augmentation de la complexité non linéaire : Un cadre à prédicteur unique avec un degré de polynôme ou des fonctions de base croissants (polynômes bruts, polynômes orthogonaux, splines à plaques minces et processus gaussiens approximatifs dans l'espace de Hilbert).
4. Essais contrôlés randomisés (ECR) : Un contexte d'inférence causale estimant les effets de traitement tout en conditionnant sur des covariables de haute dimension. Ils comparent des priors joints (R2D2 sur tous les coefficients) à des priors scindés (R2D2 pour les covariables, normal indépendant pour le traitement).

La performance est mesurée par la densité prédictive logarithmique attendue (elpd) sur des données de test indépendantes, estimée via PSIS-LOO-CV lorsqu'aucune donnée de test n'est disponible.

Contributions clés

1. Formalisation des priors prédictivement cohérents : L'article fournit une définition mathématique rigoureuse pour les priors qui maintiennent des implications prédictives stables à mesure que la complexité du modèle croît. Il distingue la "parsimonie" (pénaliser la complexité) de la "cohérence prédictive" (contrôler l'échelle de la distribution prédictive a priori).
2. Démonstration de la nocivité de la sélection : Les auteurs montrent que lorsqu'on utilise des priors prédictivement cohérents, sélectionner un modèle plus simple est souvent inutile. Dans de nombreuses expériences, le modèle complet complexe avec un prior cohérent égale ou surpasse les modèles sélectionnés plus simples. Inversement, lorsque la sélection de modèles semble "aider" (c'est-à-dire qu'un modèle plus simple est plus performant), cela indique souvent que le prior du modèle complexe était mal spécifié (par exemple, plaçant une masse excessive sur des valeurs implausibles), plutôt que la structure du modèle étant intrinsèquement défectueuse.
3. R2D2 et les priors dans l'espace des fonctions comme solutions : L'article opérationnalise la cohérence prédictive via :
   • Les priors R2D2 : En plaçant un prior sur la proportion de variance expliquée ($R^2$), la variance induite sur les coefficients s'ajuste automatiquement pour prévenir l'explosion de la variance à mesure que les prédicteurs sont ajoutés.
   • Les priors dans l'espace des fonctions : Les processus gaussiens et les splines pénalisées sont montrés comme satisfaisant naturellement la cohérence prédictive en bornant la variance marginale de la fonction.
4. Implications pour l'inférence causale : Dans l'expérience des ECR, l'article révèle qu'un prior R2D2 conjoint peut introduire un biais dans l'estimation de l'effet de traitement à mesure que le nombre de covariables ($p$) augmente, en raison d'un rétrécissement (shrinkage) excessif du coefficient de traitement. Cela souligne que si la cohérence prédictive est cruciale pour la prédiction, l'inférence causale peut nécessiter de scinder les priors pour éviter un rétrécissement involontaire sur des paramètres d'intérêt spécifiques.

Résultats

• Régression linéaire et logistique : Dans les expériences d'ajout de covariables, les modèles avec des priors normaux indépendants ont montré un déclin marqué de la performance prédictive hors échantillon (elpd) à mesure que le nombre de prédicteurs augmentait, en raison de l'explosion de la variance a priori. En revanche, les modèles avec des priors R2D2 ont maintenu une performance stable jusqu'à la taille réelle du modèle.
• Sélection "Forward" : Avec des priors normaux indépendants, la sélection "forward" s'arrête souvent prématurément pour éviter le surapprentissage, mais les modèles résultants sont toujours moins performants que le modèle complet avec un prior R2D2. Le prior R2D2 permet d'utiliser toutes les covariables sans dégradation de la performance.
• Modélisation non linéaire : La régression polynomiale brute avec des priors indépendants présentait une explosion de la variance prédictive a priori et une détérioration de la performance de test à des degrés plus élevés. Les splines à plaques minces pénalisées et les HSGP (qui sont prédictivement cohérents) sont restés stables.
• Inférence causale : Dans l'expérience ECR, le prior R2D2 conjoint a conduit à un sérieux biais descendant dans l'estimation de l'effet de traitement à mesure que le nombre de covariables ($p$) augmentait, entraînant une mauvaise couverture. Le prior "scindé" (R2D2 pour les covariables, normal fixe pour le traitement) a atteint le meilleur équilibre, fournissant une réduction de variance pour les covariables sans introduire de biais.

Signification et affirmations

L'article soutient que la dépendance traditionnelle à la sélection de modèles pour gérer la complexité est souvent un contournement d'une mauvaise spécification de prior. Les auteurs affirment que les priors prédictivement cohérents permettent aux modélisateurs d'étendre en toute sécurité les modèles pour inclure toute l'information disponible sans crainte du surapprentissage, à condition que les priors soient spécifiés pour maintenir une distribution prédictive a priori sensée.

Les points clés pour les praticiens incluent :

• Spécification de prior conjointe : Les hypothèses d'indépendance entre les composantes du modèle ne sont pas une option par défaut sûre ; elles peuvent impliquer des priors conjoints hautement informatifs et irréalistes.
• Vérifications prédictives a priori : Vérifier les quantités conjointes (comme le $R^2$ a priori) est essentiel pour détecter quand les priors placent trop de masse sur des valeurs absurdes.
• Réévaluation de la sélection : Si la sélection de modèles favorise un modèle plus simple, cela peut être l'indication d'un mauvais prior sur le modèle complexe plutôt que d'un véritable besoin de parsimonie.
• Le contexte compte : Bien que la cohérence prédictive soit vitale pour la prédiction, l'inférence causale nécessite une considération prudente de ce qui doit subir un rétrécissement. Un prior conjoint qui est prédictivement cohérent pour le résultat peut néanmoins être biaisé pour certains paramètres causaux.

Les auteurs concluent que l'objectif doit être de spécifier des priors qui restent sensés dans l'espace prédictif à mesure que les modèles deviennent plus complexes, plutôt que d'imposer la parcimonie au niveau des composantes par la sélection. Cette approche soutient des flux de travail d'expansion de modèles plus sûrs et plus itératifs.