Résumé technique : Réduction adaptative neuronale (Nash) pour la régression structurée en haute dimension

1. Définition du problème

L'article traite des limites des méthodes traditionnelles de régression linéaire parcimonieuse (par exemple, Lasso, Ridge) lorsqu'elles sont appliquées à des données de haute dimension ($p \gg n$) où les covariables présentent des propriétés structurelles ou proviennent de sources hétérogènes. Les méthodes classiques appliquent généralement des pénalités uniformes à l'ensemble des covariables, ce qui est sous-optimal lorsque les prédicteurs possèdent des types distincts (par exemple, différentes modalités génétiques) ou des relations structurelles (par exemple, proximité spatiale, connectivité de graphe, ou appartenance à un groupe).

Les approches existantes qui tentent d'exploiter des informations secondaires des covariables (telles que Group Lasso, Fused Lasso, ou IPF-Lasso) souffrent souvent de deux principaux inconvénients :

1. Rigidité spécifique à l'application : Elles reposent sur des structures de pénalité prédéfinies (par exemple, regroupements spécifiques ou topologies de graphes) qui peuvent ne pas capturer des dépendances complexes et non linéaires dans les données.
2. Inefficacité computationnelle : Les méthodes intégrant des informations secondaires via l'inférence Bayésienne Empirique (EB) nécessitent souvent une validation croisée pour la sélection des hyperparamètres, ou, dans le cas de l'inférence variationnelle, deviennent computationnellement intraitables. Plus précisément, l'inférence variationnelle par ascension de coordonnées standard (CAVI) couplée à des priors basés sur des réseaux de neurones nécessite $O(p)$ passages en arrière du réseau de neurones par balayage, les rendant impraticables pour de grands $p$ (par exemple, $10^4$ prédicteurs).

L'objectif est de développer un cadre unifié qui apprend automatiquement la forme de la pénalité et la quantité de régularisation basées sur des informations secondaires spécifiques aux covariables, sans validation croisée, tout en maintenant une évolutivité computationnelle.

2. Méthodologie : Réduction adaptative neuronale (Nash)

2.1 Formulation du modèle

Nash modélise la réponse $y$ et les prédicteurs $X$ via un modèle linéaire gaussien :
$$y | X, \beta, \sigma^2 \sim \mathcal{N}(X\beta, \sigma^2)$$
Crucialement, le prior sur les coefficients de régression $\beta_j$ n'est pas fixe mais dépend d'informations secondaires $d_j$ associées à la $j$-ième covariable :
$$\beta_j \sim g(d_j, \theta)$$
Ici, $g(\cdot, \cdot)$ est une fonction flexible (paramétrée par $\theta$) qui mappe les informations secondaires $d_j$ vers une distribution a priori. Les informations secondaires $d_j$ peuvent être des données arbitraires traitables par un réseau de neurones (par exemple, indicateurs de groupe, indices continus, matrices de graphe, ou images).

2.2 Inférence Bayésienne Empirique Variationnelle Découpée (Split VEB)

La contribution algorithmique centrale est une nouvelle approche d'Inférence Bayésienne Empirique Variationnelle Découpée (Split VEB). Le CAVI standard appliqué directement au modèle cible couple l'apprentissage du prior (mise à jour de $\theta$) avec l'inférence a posteriori (mise à jour de $\beta$). Si $g$ dépend des informations secondaires via un réseau de neurones, la mise à jour de $\theta$ nécessite de réévaluer l'a posteriori pour chaque coordonnée $j$, entraînant $p$ passages dans le réseau de neurones par balayage.

Pour découpler ces étapes, Nash introduit un modèle augmenté avec une variable latente $b_j$ :

1. $\beta_j | b_j \sim \mathcal{N}(b_j, \sigma_0^2)$
2. $b_j \sim g(d_j, \theta)$

Ce « goulot d'étranglement gaussien » permet de décomposer la borne inférieure de l'évidence (ELBO) en deux étapes découplées :

• Étape 1 (Mise à jour de l'a posteriori) : Mise à jour de l'a posteriori variationnel $q(\beta)$ et $q(b)$ en utilisant les paramètres de prior actuels. Cette étape implique des mises à jour conjuguées simples (calculs de type MCO) et ne nécessite pas le réseau de neurones.
• Étape 2 (Apprentissage du prior) : Mise à jour des paramètres du réseau de neurones $\theta$ en maximisant la vraisemblance marginale des variables latentes $b_j$ étant donné les moyennes a posteriori actuelles $\bar{\beta}_j$. Cela est formulé comme un problème de Moyennes Normales Empiriques Bayésiennes Modérées par Covariables (cEBNM).

Gain d'efficacité clé : Parce que l'étape d'apprentissage du prior (Étape 2) opère sur les statistiques suffisantes agrégées ($\bar{\beta}_j$) plutôt que sur les coordonnées individuelles, le réseau de neurones est mis à jour une seule fois par balayage d'ascension de coordonnées via un seul passage avant-arrière par lots. Cela réduit la complexité computationnelle de l'étape M de $O(p)$ passages séquentiels à $O(1)$ passage par lots, réalisant un gain de vitesse de 74$\times$ à 106$\times$ par rapport au CAVI direct pour $p \in [10^2, 10^4]$.

2.3 Flexibilité du prior

Le cadre prend en charge diverses familles de priors $g$ :

• Réseaux de densité de mélange (MDN) : Produisent un mélange de gaussiennes (spike-and-slab) où les poids de mélange, les moyennes et les variances sont des fonctions de $d_j$. Cela permet des schémas de réduction adaptative (par exemple, différents niveaux de parcimonie pour différents groupes).
• Réseaux de neurones sur graphes (GNN) : Pour des informations secondaires structurées en graphe, Nash peut apprendre des pénalités qui encouragent la régularité ou la parcimonie basées sur la topologie du graphe (par exemple, imitant Fused Lasso ou l'étendant à des graphes complexes).
• Modèles probabilistes généraux : Tout modèle où la vraisemblance marginale et les moments a posteriori sont traitables peut être intégré.

3. Contributions clés

1. Premier apprentissage de pénalité basé sur les réseaux de neurones : À la connaissance des auteurs, Nash est le premier cadre de régression linéaire à paramétrer la distribution a priori sur les effets de régression comme une fonction arbitraire des informations secondaires des covariables en utilisant des réseaux de neurones.
2. Algorithme Split VEB : L'introduction d'une couche gaussienne latente pour découpler l'apprentissage du prior de l'inférence a posteriori. Cela rend les priors basés sur les réseaux de neurones traitables pour la régression en haute dimension, réduisant le coût de l'étape M de $O(p)$ à une seule mise à jour par lots.
3. Cadre unifié : Nash généralise les méthodes existantes (Group Lasso, Fused Lasso, IPF-Lasso) et les étend pour gérer des structures de pénalité non linéaires et pilotées par les données, sans nécessiter de spécification manuelle des formes de pénalité ou de validation croisée.
4. Modularité : La méthode est modulaire ; les utilisateurs doivent seulement fournir un solveur pour le problème cEBNM sous leur famille de prior choisie, permettant l'intégration d'approches d'apprentissage automatique diverses (par exemple, XGBoost, GNN).

4. Résultats expérimentaux

4.1 Études de simulation

• Comparaison de référence : Nash a été comparé à sept méthodes (Mr.ASH, Elastic Net, Lasso, Ridge, SCAD, MCP, L0Learn) dans divers contextes de simulation (variations de parcimonie, rapport signal-sur-bruit, dimensionalité et corrélation).
• Performance : Nash a égalé l'état de l'art (Mr.ASH) dans presque tous les contextes et l'a surpassé dans plusieurs scénarios de prédicteurs corrélés. Il a nettement surpassé les méthodes classiques dans des contextes avec des profils de signal hétérogènes.
• Expériences avec informations secondaires : Dans des expériences synthétiques avec des groupes connus et des indices continus, Nash avec informations secondaires (Nash-mdn) a nettement surpassé les méthodes sans informations secondaires (Nash-no-cov) et les méthodes traditionnelles (Group Lasso, IPF-Lasso).
  • Ablation : Le remplacement du réseau de neurones par une transformation linéaire (Nash-linear) a dégradé la performance dans les contextes d'indices continus, confirmant la nécessité d'une modélisation non linéaire pour les structures complexes.
  • Robustesse : Le mélange des informations secondaires (Nash-shuffled) a donné une performance équivalente à l'absence d'informations secondaires, confirmant que le modèle ne surajuste pas le bruit.

4.2 Efficacité computationnelle

• Accélération : Les expériences ont montré une accélération de 74$\times$ à $p=100$ et de 106$\times$ à $p=10\,000$ pour l'étape M par rapport au CAVI direct.
• Évolutivité : L'étape M de Nash s'échelonne approximativement de manière linéaire avec $p$ (passage par lots unique), tandis que le CAVI direct s'échelonne de manière super-linéaire en raison du traitement séquentiel. À $p=10\,000$, le CAVI direct nécessitait plus de quatre minutes par étape M, le rendant impraticable, tandis que Nash nécessitait environ 2,5 secondes.

4.3 Applications sur données réelles

Nash a été évalué sur quatre jeux de données avec informations secondaires :

1. SNP500 : Prédiction des rendements d'AAPL utilisant le secteur industriel comme information secondaire.
2. Airpassenger : Prédiction du nombre de passagers utilisant l'indice temporel.
3. GSE40279 : Prédiction de l'âge à partir de données de méthylation utilisant les annotations des sondes.
4. TCGA : Prédiction de l'expression de BRCA1 utilisant les voies KEGG.

• Résultats : Nash (spécifiquement Nash-mdn) a constamment obtenu un RMSE inférieur par rapport aux références (Mr.ASH, Lasso, Ridge, XGBoost, MLP) et à Nash sans informations secondaires. Notamment, dans le jeu de données GSE40279 (n=679, p=489 503), Nash a obtenu l'erreur la plus faible (5,03) comparé à Mr.ASH (5,25) et Ridge (7,21).

4.4 Débruitage d'images (MNIST)

Nash a été appliqué au débruitage d'images MNIST en utilisant un prior « Fused » paramétré par un Réseau de Neurones sur Graphes (GNN) pour modéliser l'adjacence des pixels.

• Performance : Nash-fused a surpassé les méthodes classiques de débruitage (Fused Lasso, Variation Totale, Moyennes Non-Locales) et Noise2Self en termes de RMSE.
• Efficacité : L'approche basée sur GNN était substantiellement plus rapide que le modèle Noise2Self basé sur CNN.

5. Signification et affirmations

L'article affirme que Nash fournit un cadre unifié, expressif et computationnellement efficace pour la régression en haute dimension qui exploite les informations secondaires.

• Adaptabilité : Il élimine le besoin de validation croisée en apprenant la structure de pénalité directement à partir des données.
• Généralité : Il englobe diverses techniques de régularisation existantes (Ridge, Lasso, Group Lasso, Fused Lasso) comme cas particuliers ou approximations au sein d'un cadre probabiliste unique.
• Évolutivité : L'algorithme Split VEB rend possible l'application de priors complexes basés sur des réseaux de neurones à des problèmes comportant des dizaines de milliers de prédicteurs, un régime où les approches variationnelles précédentes étaient computationnellement prohibitives.

Limites reconnues :

• L'implémentation actuelle est restreinte aux vraisemblances gaussiennes.
• Elle nécessite un solveur cEBNM traitable pour la famille de prior choisie, nécessitant soit des solutions sous forme fermée, soit des approximations rapides pour le log-vraisemblance marginale, ce qui peut ne pas être disponible pour tous les modèles probabilistes.