Résumé Technique : Régression Quantile Multi-Fidélité (MFQR)

1. Énoncé du Problème

Dans de nombreux domaines scientifiques (par exemple, la conception moléculaire, la science des matériaux), les données de haute fidélité (HF) — telles que les essais de liaison en laboratoire humide ou les simulations haute résolution — sont précises mais rares et coûteuses à collecter. À l'inverse, les données de faible fidélité (LF) — telles que les scores de docking moléculaire ou les simulations sur grille grossière — sont abondantes mais constituent des proxies imparfaits. Bien que l'apprentissage multi-fidélité ait été largement appliqué pour estimer les moyennes conditionnelles, l'estimation des quantiles conditionnels reste un défi.

La régression quantile est essentielle pour la quantification de l'incertitude, en particulier pour les données hétéroscédastiques ou asymétriques. Cependant, avec des tailles d'échantillons HF limitées ($n_H$), les estimateurs de quantiles conditionnels souffrent d'une variance élevée, évoluant inversement à la densité conditionnelle au niveau du quantile cible. Cela conduit à des estimations de quantiles instables et à des intervalles de prédiction larges et peu fiables, même lors de l'utilisation de la prédiction conforme pour garantir une couverture marginale. Les méthodes multi-fidélité existantes ciblent principalement les fonctions de moyenne ou supposent des relations autorégressives simples, qui ne se traduisent pas directement par la nature complexe et dépendante du niveau des quantiles conditionnels.

2. Méthodologie

Les auteurs proposent la Régression Quantile Multi-Fidélité (MFQR), un cadre à deux étapes, agnostique du modèle. L'innovation centrale est un Lien Quantile Local qui reformule le problème d'estimation.

2.1 Le Lien Quantile Local (Hypothèse 1)

La méthode postule que pour un niveau de quantile HF cible $\tau$ et une covariable $x$, le quantile HF $Q_H(\tau | x)$ peut être représenté comme un quantile LF évalué à un niveau de probabilité dépendant de la covariable $u_\tau(x)$ :
$$Q_H(\tau | x) = Q_L(u_\tau(x) | x)$$
Ici, $u_\tau(x) \in (0, 1)$ est une « fonction de niveau ». Si les distributions conditionnelles LF et HF partagent des formes similaires, $u_\tau(x)$ peut varier plus suavement dans l'espace des covariables que la fonction de quantile HF originale $Q_H(\tau | x)$.

2.2 L'Estimateur Enveloppe

La première étape construit un estimateur « enveloppe » en transformant le problème en l'estimation de $u_\tau(x)$ :

1. Transformation des Réponses HF : En utilisant un estimateur de CDF conditionnelle LF $\hat{F}_L(\cdot | x)$, les réponses HF $Y^H_i$ sont enveloppées en pseudo-réponses : $\hat{U}_i = \hat{F}_L(Y^H_i | X^H_i)$.
2. Estimation de la Fonction de Niveau : Une régression quantile est effectuée sur l'échantillon HF $\{(X^H_i, \hat{U}_i)\}$ pour estimer le quantile conditionnel des réponses enveloppées : $\hat{u}_\tau(x) = \hat{Q}_{U|X}(\tau | x)$.
3. Retour en Arrière : L'estimateur enveloppe final est obtenu en inversant la CDF LF : $\tilde{q}_\tau(x) = \hat{F}_L^{-1}(\hat{u}_\tau(x) | x)$.

Avantage Théorique : Sous des modèles structurels où la différence de fidélité est une distorsion d'échelle localisée, la cible enveloppée $u_\tau(x)$ ne dépend que de la fonction de distorsion relative. Si cette distorsion est plus lisse que les fonctions de moyenne ou d'échelle sous-jacentes pilotant le quantile HF, l'estimateur enveloppe atteint un taux de convergence plus rapide (variance plus faible) que la régression quantile HF directe.

2.3 Cadre de Correction

Pour traiter les régimes où l'enveloppe est sous-optimale (par exemple, lorsque les données LF sont non informatives ou que le lien quantile local est faible), les auteurs introduisent un cadre de correction proximale :

• Correction en Une Étape : Une mise à jour de type Newton est appliquée à l'estimateur enveloppe en utilisant l'équation du quantile HF. Cela corrige le biais en déplaçant l'estimation vers la solution de $\hat{F}_H(q | x) = \tau$. La taille du pas est ajustée par pliage croisé (cross-fitting) pour minimiser la perte en forme de pinball.
• Correction Multi-Étapes : Si le lien quantile local échoue significativement, des mises à jour Newton itératives sont appliquées pour converger vers la racine du quantile empirique HF, à condition que l'initialisation se trouve dans le bassin de Newton.

Le cadre utilise le pliage croisé sur les données HF rares pour éviter le surapprentissage lors de l'étape de correction.

3. Contributions Clés

1. Nouvelle Reformulation : L'article introduit le « lien quantile local », transformant l'estimation des quantiles HF en l'estimation d'une fonction de niveau plus lisse $u_\tau(x)$ à l'échelle de la probabilité.
2. Caractérisation Théorique : Les auteurs fournissent des taux de convergence montrant que l'estimateur enveloppe surpasse la régression HF directe lorsque la fonction de distorsion est plus lisse que la surface du quantile HF. Ils caractérisent également lorsque l'étape de correction apporte une amélioration supplémentaire, spécifiquement lorsque la CDF HF peut être estimée avec précision même avec de petites tailles d'échantillons.
3. Agnosticisme du Modèle : La méthode ne nécessite pas de formes paramétriques spécifiques ni l'accès aux données d'entraînement LF brutes pendant l'étape HF ; elle requiert uniquement un estimateur de la CDF conditionnelle LF. Cela permet l'intégration avec des modèles LF préentraînés.
4. Robustesse : Le cadre inclut des mécanismes de correction (une étape et multi-étapes) qui assurent la robustesse même lorsque les données LF sont « désinformatives » (c'est-à-dire lorsque l'hypothèse d'enveloppe tient mal).

4. Résultats Expérimentaux

Les auteurs évaluent MFQR sur des données synthétiques et cinq ensembles de données scientifiques (Acroléine, Thymine, o-HBDI, Équation de Burgers, et Énergie de Formation).

• Régime Informatif : Lorsque les distributions LF et HF ont des formes similaires, l'estimateur enveloppe réduit considérablement l'Erreur Quadratique Moyenne (MSE) et la largeur de l'intervalle de prédiction par rapport aux bases de référence HF uniquement. La fonction de niveau $u_\tau(x)$ est presque plate, confirmant le gain théorique en lissité.
• Régime Non Informatif : Lorsque les données LF introduisent une hétéroscédasticité absente des données HF, l'enveloppe seule offre des gains modestes. Cependant, la correction en une étape réduit drastiquement la MSE (par exemple, ~78 % de réduction dans un exemple synthétique) et resserre les intervalles en exploitant l'équation du quantile HF pour corriger le biais de l'enveloppe.
• Régime Désinformatif : Lorsque les fonctions de moyenne LF et HF diffèrent de manière non linéaire, l'enveloppe non corrigée performe mal. La correction multi-étapes récupère avec succès une performance comparable à l'estimation HF directe en ciblant itérativement l'équation du quantile HF.
• Ensembles de Données Scientifiques : À travers les ensembles de données moléculaires et d'équations aux dérivées partielles (PDE), MFQR et MFQR + OS produisent systématiquement les intervalles de prédiction conforme les plus étroits (réduction de la largeur de 20 à 39 %) tout en maintenant une couverture nominale de 90 %.

5. Signification et Revendications

L'article revendique que MFQR fournit une solution robuste et agnostique du modèle pour la quantification de l'incertitude dans des contextes scientifiques où les données sont rares. Sa signification réside dans :

• Combler le Fossé : Il étend l'apprentissage multi-fidélité des moyennes conditionnelles aux quantiles conditionnels, répondant à un besoin critique d'intervalles de prédiction fiables pour la prise de décision (par exemple, la découverte de médicaments).
• Efficacité : En exploitant la lissité de la fonction de niveau, il réduit la complexité d'échantillonnage requise pour estimer les quantiles HF.
• Adaptabilité : La conception à deux étapes (enveloppe + correction) assure que la méthode reste efficace que les données LF soient hautement informatives ou potentiellement trompeuses.
• Praticité : Le cadre est compatible avec les modèles LF existants (y compris les modèles de fondation) et ne nécessite pas de réentraînement sur des données LF brutes, le rendant adapté aux scénarios où les étiquettes HF constituent le principal goulot d'étranglement.

Les auteurs concluent que si la méthode est la plus puissante lorsque les distributions LF et HF partagent des similarités structurelles, les étapes de correction assurent qu'elle ne dégrade pas les performances dans des régimes défavorables, offrant ainsi un outil fiable pour la découverte scientifique.