Résumé technique : Renforcement de l'inférence bayésienne par des priors fiables informés par l'IA

Énoncé du problème

Les systèmes prédictifs modernes, en particulier l'apprentissage automatique (ML) et les modèles de fondation, peuvent générer des sorties informatives concernant des grandeurs scientifiques d'intérêt. Dans des contextes limités en données, exploiter ces sorties pour l'élaboration de priors bayésiens offre une voie vers une efficacité statistique significative. Cependant, une tension fondamentale existe : si un prior informatif dérivé d'un système ML peut concentrer la masse postérieure et réduire la variance, il risque de propager des erreurs systématiques (mauvaise calibration) du modèle ML vers la distribution postérieure. Si les croyances du système ML sont biaisées, un prior fort peut déplacer la postérieure loin du vrai paramètre, rendant l'inférence peu fiable. Le défi central consiste à intégrer des informations générées par l'IA pour améliorer l'efficacité sans sacrifier la validité inférentielle ni introduire de biais incontrôlés.

Méthodologie

Les auteurs proposent un cadre pour l'élaboration de priors informés par l'IA qui atténue cette tension en « rectifiant » la loi induite par l'IA avant qu'elle ne soit utilisée pour construire un prior. La méthodologie repose sur trois composantes clés :

1. Construction d'une mesure de base rectifiée :
   Au lieu d'utiliser la distribution brute des données imputées par l'IA ($P_{AI}$) comme mesure de base pour un prior de processus de Dirichlet (DP), les auteurs introduisent un rectificateur ($T_\eta$). Il s'agit d'une application dépendante des données qui transforme $P_{AI}$ en une mesure de base rectifiée $P_{\hat{\eta}_m} = T_{\hat{\eta}_m}(P_{AI})$.

   • Le rectificateur est appris à l'aide d'un petit échantillon de calibration étiqueté ($m$).
   • L'objectif est d'aligner l'équation d'estimation induite par la mesure rectifiée avec celle du véritable processus générateur de données ($P_0$). Plus précisément, la méthode cherche à minimiser l'écart de score $\|(P_0 - P_{\hat{\eta}_m})g_{\theta_0}\|$, où $g_\theta$ est le gradient de la fonction de perte.
   • Deux stratégies principales de rectification sont discutées :
     • Mappage quantile : Pour des résultats univariés, cela transporte la distribution marginale des résultats imputés par l'IA pour qu'elle corresponde aux données de calibration tout en préservant l'ordre des rangs.
     • Rectification ciblée : Cela aligne des moments spécifiques pertinents pour la fonction de perte (par exemple, l'appariement des moyennes pour une perte d'erreur quadratique) afin de garantir que l'équation de score corresponde sous la vraie distribution.

2. Prior et postérieure IA rectifiés :
   La mesure rectifiée $P_{\hat{\eta}_m}$ sert de mesure de base pour un prior de processus de Dirichlet : $P_0 \sim \text{DP}(\alpha, P_{\hat{\eta}_m})$.

   • Le paramètre de concentration $\alpha$ (mis à l'échelle comme $\gamma = \alpha/n$) contrôle la force du prior par rapport aux données étiquetées.
   • L'échantillonnage postérieur est effectué via le bootstrap postérieur, qui exploite la conjugaison du prior DP. Cela permet un échantillonnage parallèle embarrassant en minimisant une somme pondérée de pertes sur les données étiquetées et les données synthétiques générées à partir de la mesure de base rectifiée.

3. Cadre théorique :
   Les auteurs établissent des propriétés asymptotiques pour la postérieure IA rectifiée.

   • Asymptotiques gaussiennes : Sous une force de prior non nulle, la distribution postérieure converge vers une distribution gaussienne centrée sur une cible oracle mixte.
   • Caractérisation du biais : Le biais de centrage d'ordre dominant est explicitement dérivé comme une fonction de l'écart de score $(P_0 - P_{\hat{\eta}_m})g_{\theta_0}$. La théorie montre que si le rectificateur réduit cet écart à $O_p(m^{-1/2})$, le biais résultant est contrôlé et comparable aux fluctuations postérieures standard, à condition que la taille de l'échantillon de calibration $m$ soit suffisante.

Contributions clés

• Cadre de rectification : L'article introduit une procédure générale pour corriger les lois induites par l'IA à l'aide de données de calibration étiquetées, les transformant en mesures de base fiables pour la construction de priors.
• Garanties théoriques : Les auteurs dérivent la distribution asymptotique de la postérieure IA rectifiée et fournissent une expression d'ordre premier pour son biais de centrage. Cela clarifie les conditions dans lesquelles les priors informés par l'IA restent fiables même lorsque la force du prior est non nulle.
• Rectificateurs pratiques : L'article fournit des stratégies de rectification concrètes et implémentables, notamment le mappage quantile et l'appariement de moments, adaptées à différentes structures de problèmes (par exemple, résultats univariés vs régression).
• Validation empirique : La méthodologie est validée sur trois domaines distincts :
  1. Expression génique : Inférence sur les quantiles des niveaux d'expression génique utilisant des données imputées par un transformateur.
  2. Régression démographique : Estimation des coefficients de régression âge-revenu utilisant des données de recensement et des prédictions d'arbres de décision boostés par gradient.
  3. Classification des maladies cutanées : Une tâche de classification en aval utilisant un LLM (GPT-5.5) pour imputer les probabilités de classes pour des maladies érythémato-squameuses.

Résultats

Les résultats empiriques démontrent que le prior IA rectifié surpasse nettement à la fois les approches standard (utilisant uniquement des données étiquetées) et les priors IA non corrigés (utilisant des mesures de base brutes de l'IA) :

• Validité de l'inférence : Dans les expériences d'expression génique et de régression âge-revenu, le prior IA brut a souffert d'un biais sévère, entraînant des intervalles de crédibilité avec une couverture proche de zéro (par exemple, 0 % de couverture pour le quantile 0,25 dans l'expression génique) et des scores d'intervalle élevés. En revanche, le prior IA rectifié a restauré la couverture à des niveaux proches du nominal (environ 90 %) et a obtenu des scores d'intervalle compétitifs par rapport à l'inférence propulsée par la prédiction (PPI++) et aux méthodes classiques.
• Performance prédictive : Dans la tâche de classification des maladies cutanées, le prior IA rectifié a permis à un apprenant profond bayésien d'obtenir des gains significatifs en précision de test sur une large gamme de forces de prior ($\gamma \in [0.01, 64]$). Le prior IA brut n'a montré que des améliorations marginales dans une fenêtre étroite de $\gamma$ et était très sensible à la calibration, tandis que le prior rectifié a fourni des améliorations de performance robustes et additives (gain de précision d'environ 4,9 % par rapport à la ligne de base uniquement étiquetée).
• Robustesse à la force du prior : L'approche rectifiée découple les avantages de réduction de variance des priors informatifs du risque de biais systématique, permettant aux praticiens d'utiliser des priors plus forts sans craindre d'invalider l'inférence.

Signification et revendications

L'article revendique que sa contribution principale est de rendre les systèmes prédictifs modernes utilisables comme sources de connaissances a priori fiables. En déplaçant l'accent de la calibration du paramètre de force du prior vers la rectification de la mesure de base, les auteurs soutiennent qu'on peut obtenir le « meilleur des deux mondes » : la réduction de variance d'un prior informatif sans le biais systématique d'un modèle mal calibré.

Les auteurs positionnent ce travail comme une solution à la « tension » entre efficacité et fiabilité dans les statistiques augmentées par l'IA. Ils soulignent que leur méthode permet l'intégration d'informations externes (comme les sorties de LLM ou des modèles ML complexes) d'une manière philosophiquement cohérente avec la mise à jour bayésienne (où les données corrigent les croyances) tout en étant pratiquement robuste à la mauvaise spécification du modèle. Le travail suggère que, avec une rectification appropriée, les systèmes IA peuvent être fiables pour guider l'inférence dans des régimes pauvres en données, accélérant potentiellement les découvertes dans des domaines tels que la génomique et le diagnostic clinique où les étiquettes de référence sont rares.

L'article reste modeste concernant les limites, notant que le choix du rectificateur dépend du problème et que l'approche de mappage quantile est spécifique aux résultats univariés. Ils suggèrent des travaux futurs sur la sélection de modèles de rectificateur et des approches entièrement bayésiennes pour propager l'incertitude issue de l'estimation du rectificateur.