Empirical Bayes data integreation for multi-response regression

1. Problématique et Contexte

L'article s'inscrit dans le domaine des études d'association à l'échelle du tissu (TWAS - Tissue-Wide Association Studies), motivé par la nécessité d'intégrer des données provenant de multiples sources biologiques (par exemple, l'expression génique dans différents tissus comme le cerveau ou le cœur).

• Le défi : Les méthodes existantes pour prédire l'expression génique à partir de données de génotype (SNPs) traitent souvent chaque tissu indépendamment, ignorant ainsi les informations partagées entre les tissus.
• Les limitations des approches actuelles : La plupart des méthodes statistiques avancées (régression à rang réduit, pénalisation $L_1$ ou $L_2$) reposent sur des hypothèses structurelles fortes concernant la matrice des coefficients de régression (par exemple, hypothèse de parcimonie ou de faible rang). Or, dans les données biologiques réelles, ces structures sont difficiles à vérifier et souvent absentes. De plus, les méthodes Bayésiennes complètes (Full Bayes) sont souvent trop coûteuses en calcul pour les grands jeux de données.
• L'objectif : Développer une méthode d'intégration de données flexible, évolutif (scalable) et performante, quelle que soit la structure sous-jacente des paramètres (qu'elle soit parcimonieuse, dense, à faible rang ou non), sans nécessiter de spécification a priori complexe.

2. Méthodologie Proposée

Les auteurs proposent une approche Bayésienne Empirique (EB) basée sur un estimateur de régression linéaire multi-réponse.

A. Cadre du Modèle

Le problème est formulé comme une régression linéaire où, pour chaque tissu $t$, on observe un vecteur de réponse $y^{(t)}$ et un vecteur de prédicteurs $x$. L'estimateur des moindres carrés ordinaires (OLS) $\hat{\beta}^{(t)}$ est considéré comme une observation bruitée du vrai coefficient $\beta^{(t)}$.
Le modèle global s'écrit :
$$\hat{B} = B + U$$
où $\hat{B}$ est la matrice des estimateurs OLS, $B$ la matrice des vrais coefficients, et $U$ un bruit gaussien avec une matrice de covariance connue $Q$.

B. Estimation par Rétrécissement Linéaire (Global)

L'idée centrale est de traiter l'estimation de la matrice $B$ comme un problème d'estimation de moyenne matricielle.

1. Lien avec l'estimation de covariance : Les auteurs établissent un lien théorique crucial : minimiser la perte de Frobenius pour estimer $B$ est équivalent, dans la classe des estimateurs à rétrécissement linéaire, à estimer la matrice de covariance marginale $\Sigma$ (ou son inverse) sous une perte de « économie relative » (relative savings loss).
2. Estimateur de Covariance Optimal : Ils développent un estimateur de covariance invariant par rotation qui rétrécit les valeurs propres de la matrice de covariance empirique. Contrairement aux méthodes de Ledoit et Wolf (2004, 2018, 2022) qui se concentrent sur d'autres pertes, cette méthode est optimisée spécifiquement pour la perte relative de l'estimation de l'inverse de la covariance.
3. Règle de rétrécissement : L'estimateur final de $B$ est obtenu par :
   $$\hat{B}_{EB} = \hat{B}(I - \hat{C})$$
   où $\hat{C}$ dépend de l'estimateur de l'inverse de la covariance marginale. Cette règle rétrécit les valeurs singulières de la matrice des données.

C. Choix du Paramètre de Lissage (Data-Driven)

Un défi majeur est le choix du paramètre de lissage (bandwidth) nécessaire pour l'estimateur de covariance.

• Les auteurs utilisent la technique SURE (Stein's Unbiased Risk Estimator) pour développer une estimation presque sans biais du risque.
• Le paramètre de lissage est choisi automatiquement en minimisant cette estimation de risque, rendant la méthode entièrement adaptative aux données sans hypothèse structurelle préalable.

D. Extension Locale (Mélange de Gaussiennes)

Pour capturer des structures de prior plus complexes (par exemple, un mélange de signaux forts et faibles), l'approche est étendue à un rétrécissement linéaire local.

• Le prior est modélisé comme un mélange de distributions Gaussiennes.
• L'estimateur devient une combinaison pondérée de règles de rétrécissement linéaire, où les poids sont déterminés par les probabilités a posteriori.
• Une méthode MCMC (Data Augmentation) est utilisée pour estimer les paramètres du mélange, évitant ainsi de devoir spécifier manuellement une structure de prior complexe.

3. Contributions Clés

1. Théorie Asymptotique : Développement de règles de rétrécissement asymptotiquement optimales pour l'estimation de la matrice de covariance inverse sous une perte de « économie relative », valable aussi bien pour $n > p$ (nombre de tissus > nombre de variables) que $n < p$.
2. Indépendance Structurelle : La méthode fonctionne efficacement sans supposer que la matrice des coefficients est parcimonieuse ou à faible rang, contrairement aux méthodes de régression pénalisée classiques.
3. Scalabilité : L'approche Bayésienne Empirique est beaucoup moins coûteuse en calcul que les méthodes Bayésiennes complètes (Full Bayes), permettant son application à de grands jeux de données génomiques.
4. Estimation Adaptative : Introduction d'une sélection automatique du paramètre de lissage via SURE, améliorant les performances par rapport aux choix par défaut.

4. Résultats Expérimentaux

Les auteurs ont évalué leur méthode (notamment l'estimateur global ULS et local LLS) par rapport à des méthodes de référence :

• UTMOST (régression pénalisée pour TWAS),
• ISA (Autoencodeurs stables itératifs),
• MASH (Rétrécissement adaptatif multivarié, approche Bayésienne Empirique).

Simulations :

• Des expériences ont été menées sur des données simulées avec diverses structures de vérité terrain (faible rang, parcimonie approximative, prior en « Horseshoe », mélange).
• Résultat : La méthode proposée surpasse ou égale les autres méthodes dans la plupart des scénarios, en particulier pour l'erreur quadratique moyenne (MSE). Elle montre une robustesse remarquable lorsque la structure sous-jacente est inconnue ou complexe (ex: mélange de signaux), là où les méthodes structurées (UTMOST, ISA) échouent ou varient fortement.

Données Réelles (GTEx) :

• Application sur les données du projet GTEx (Genotype-Tissue Expression), impliquant 32 tissus et 3 201 gènes.
• Prédiction : La méthode proposée (LS) obtient les meilleures performances de prédiction (PMSE) pour les gènes avec un nombre limité de SNPs, surpassant OLS, UTMOST et MASH.
• Interprétabilité : Les heatmaps des effets estimés montrent que la méthode proposée préserve la variabilité des effets entre les tissus, contrairement à MASH qui tend à fusionner les effets ou à UTMOST qui les force vers zéro.

5. Signification et Impact

Cet article apporte une solution théoriquement fondée et pratiquement applicable au problème de l'intégration de données multi-sources en génomique.

• Flexibilité : En évitant les hypothèses de parcimonie ou de faible rang, la méthode s'adapte à la complexité réelle des données biologiques où les effets génétiques peuvent être distribués de manière hétérogène.
• Efficacité Computationnelle : Elle offre un compromis idéal entre la flexibilité des modèles Bayésiens et la rapidité des méthodes fréquentistes.
• Généralité : Bien que motivée par les TWAS, la méthodologie s'applique à tout problème de régression multi-réponse en finance, bio-informatique ou modèles de courbes de croissance, où l'on dispose de plusieurs vecteurs de réponse liés aux mêmes prédicteurs.

En conclusion, cette approche Bayésienne Empirique représente une avancée significative pour l'analyse intégrative de données omiques, offrant des estimateurs robustes, adaptatifs et performants sans nécessiter de connaissances a priori sur la structure des paramètres.