Optimal Inference with Black-box Predictions

Résumé Technique : Inférence Optimale avec des Prédictions Boîte Noire

Énoncé du Problème
Ce travail traite du défi consistant à réaliser des tests d'hypothèses statistiques valides et efficaces dans des contextes de haute dimension lorsque des prédictions auxiliaires de type « boîte noire » de la distribution des données sont disponibles. Plus précisément, les auteurs étudient le modèle de séquence gaussienne où l'on observe $n$ échantillons $X_1, \dots, X_n \sim N(\theta, I_d/n)$ et $m$ prédictions boîte noire fixes $\{\hat{\theta}_1, \dots, \hat{\theta}_m\}$ de la moyenne inconnue $\theta \in \mathbb{R}^d$. L'objectif est de tester l'hypothèse nulle $H_0: \theta = 0$ contre une hypothèse alternative $H_1: \|\theta\|_2 \geq \epsilon$.

Une tension centrale existe : si des prédictions informatives peuvent concentrer la puissance statistique sur des directions spécifiques, des prédictions médiocres peuvent induire un test en erreur. Crucialement, dans la pratique, la précision (rayon d'erreur) de ces prédictions est inconnue. L'article cherche à caractériser les limites de l'information théorique pour l'inférence dans ce contexte et à développer des tests capables de s'adapter à des précisions de prédiction inconnues sans sacrifier la validité.

Méthodologie et Cadre de Travail
Les auteurs emploient un cadre minimax pour analyser la difficulté de distinguer $H_0$ de $H_1$. Ils définissent le cadre « oracle » où les précisions des prédictions $r = (r_1, \dots, r_m)$ sont connues, et le cadre « adaptatif » où elles sont inconnues.

1. Inférence Oracle : Lorsque les précisions sont connues, l'hypothèse alternative est localisée à l'intersection des boules $B_r = \bigcap_{i=1}^m B(\hat{\theta}_i, r_i)$. Les auteurs caractérisent le taux de séparation optimal $\epsilon^*(r)$ basé sur la géométrie de l'intersection $S_\epsilon \cap B_r$ (où $S_\epsilon$ est la sphère de rayon $\epsilon$).

   • Ils introduisent $\gamma_*(\epsilon, r)$, la longueur de la plus petite projection de la moyenne alternative sur l'espace engendré par les prédictions.
   • Ils définissent une « similitude cosinus dans le pire des cas » $CS(\epsilon, r)$ pour mesurer l'alignement entre la moyenne des données et l'espace des prédictions.
   • Le test oracle optimal bascule entre un test de chi-deux standard (lorsque les prédictions sont peu informatives) et un test de rapport de vraisemblance ou basé sur la projection (lorsque les prédictions sont informatives).

2. Inférence Adaptative (Prédictions Orthogonales) : Lorsque les prédictions sont orthogonales et que les précisions sont inconnues, les auteurs proposent un test adaptatif qui agrège les projections sur toutes les directions de prédiction en utilisant une statistique de chi-deux sur l'espace engendré par les prédictions. Ils analysent le « écart d'adaptativité » (adaptivity gap) : le coût en taille d'échantillon imposé par le fait que le test ne peut pas pondérer les directions selon leurs précisions inconnues.

3. Inférence Adaptative (Prédictions Arbitraires) : Pour les prédictions non orthogonales (par exemple, issues du même modèle via le rééchantillonnage), les tests de projection standards sont sous-optimaux car ils traitent toutes les directions de l'espace de manière égale. Les auteurs proposent un test de projection intrinsèque. Cette méthode pondère les projections en fonction des valeurs singulières de la matrice de prédiction $\hat{U}$, en utilisant spécifiquement la matrice de similitude cosinus au carré $\Sigma = \hat{U}^T \hat{U}$. Le test statistique dépend de la dimension intrinsèque de $\Sigma^2$, définie par $Int(\Sigma^2) = \text{Tr}(\Sigma^2) / \|\Sigma^2\|_{op}$, plutôt que de la dimension ambiante de l'espace des prédictions.

Contributions Clés et Résultats

• Limites Oracle (Théorèmes 1 & 2) : Les auteurs caractérisent la complexité d'échantillonnage optimale pour un test oracle. Le taux dépend de la similitude cosinus dans le pire des cas entre la vraie moyenne et l'espace des prédictions.

  • Si la similitude est faible ($CS \lesssim d^{-1/4}$), la prédiction n'offre aucun avantage, et le taux reste celui sans prédiction, soit $n \gtrsim \sqrt{d}/\epsilon^2$.
  • Si la similitude est élevée, l'oracle atteint des taux indépendants de la dimension $n \gtrsim 1/\gamma_*^2$, réduisant efficacement le problème à un test unidimensionnel.
  • Si la prédiction est extrêmement précise (sphères disjointes), des taux paramétriques $n \gtrsim 1/\|\theta^*\|^2$ sont atteints.

• Coût de l'Adaptation pour les Prédictions Orthogonales (Théorèmes 3 & 4) : Pour les prédictions orthogonales, les auteurs établissent qu'un test adaptatif nécessite une taille d'échantillon augmentée d'un facteur $\sqrt{m}$ par rapport à l'oracle.

  • Le taux adaptatif est $n \gtrsim \sqrt{m}/\gamma_*^2$.
  • Cet écart provient du fait que le test adaptatif doit rechercher des déviations à travers les $m$ directions orthogonales, alors que l'oracle peut les agréger en une seule direction optimale.
  • Les auteurs prouvent que cette dépendance en $\sqrt{m}$ est optimale parmi les courbes de séparation satisfaisant une propriété d'invariance naturelle (Propriété 1), montrant qu'aucun « repas gratuit » n'est possible pour les prédictions orthogonales.

• Adaptation pour les Prédictions Arbitraires (Théorème 5) : Pour les prédictions non orthogonales, les auteurs montrent que le coût de l'adaptation dépend de la dimension intrinsèque ($Int(\Sigma^2)$) plutôt que du nombre de prédictions $m$ ou du rang de l'espace engendré.

  • Le test adaptatif utilisant la projection intrinsèque atteint des taux $n \gtrsim \sqrt{Int(\Sigma^2)}/\tilde{\gamma}_*^2$.
  • Puisque $Int(\Sigma^2) \leq \text{rang}(\hat{U})$, les prédictions non orthogonales (qui ont souvent tendance à se regrouper) peuvent réduire considérablement le coût d'adaptativité par rapport au cas orthogonal.
  • L'article démontre que lorsque les prédictions partagent une information substantielle (faible dimension intrinsèque), les méthodes adaptatives peuvent surpasser les méthodes concurrentes qui ignorent cette structure.

Signification et Revendications
L'article affirme fournir un principe unificateur pour intégrer les prédictions boîte noire dans les tests d'hypothèses. Ses principales contributions sont :

1. Caractérisation des Limites : Il établit les limites de l'information théorique de l'inférence avec des prédictions boîte noire, en distinguant les régimes où les prédictions sont utiles de ceux où elles ne le sont pas, en fonction de l'alignement géométrique.
2. Quantification des Coûts d'Adaptation : Il quantifie rigoureusement le « coût de l'adaptation » (la pénalité de taille d'échantillon pour l'ignorance de la précision de la prédiction). Il révèle que pour les prédictions orthogonales, ce coût est proportionnel à $\sqrt{m}$, mais que pour les prédictions corrélées, il est proportionnel à la dimension intrinsèque de l'ensemble des prédictions.
3. Algorithmes Pratiques : Il propose des tests adaptatifs pratiques (tests basés sur la projection et sur la projection intrinsèque) qui ajustent automatiquement l'allocation de la puissance. Ces tests sont valides quel que soit la qualité des prédictions (maintenant le contrôle de l'erreur de Type I) mais atteignent une puissance optimale lorsque les prédictions sont informatives.

Les auteurs positionnent ce travail dans le contexte plus large de l'inférence agnostique à la structure et de l'inférence basée sur la prédiction (prediction-powered inference), en étendant ces concepts aux tests d'hypothèses. Ils soulignent que si les prédictions peuvent améliorer l'efficacité, la stratégie optimale dépend de manière critique de la relation géométrique entre les prédictions et la vérité inconnue, et que l'adaptativité à une qualité inconnue entraîne un coût spécifique et quantifiable.