Résumé Technique : Inférence Flexible pour les Gagnants avec Validité Conditionnelle

Énoncé du Problème

Dans de nombreux flux de travail empiriques, les chercheurs sélectionnent un ensemble d'options les plus performantes (les gagnants) basées sur des critères pilotés par les données — tels que les effets de traitement estimés les plus importants, la meilleure performance du modèle ou l'importance des caractéristiques la plus élevée — et rapportent ensuite les estimations d'effet pour ces unités sélectionnées. Comme les mêmes données sont utilisées à la fois pour la sélection et l'estimation, les estimations post-sélection naïves souffrent de la « malédiction du gagnant » (winner's curse), conduisant à des résultats systématiquement trop optimistes et à des intervalles de confiance dont la couverture est inférieure au niveau nominal.

Bien que la littérature existante propose des solutions, celles-ci font face à des compromis importants :

• Inférence Simultanée/Marginale : Les méthodes garantissant la validité en moyenne sur tous les résultats de sélection possibles échouent souvent à fournir une inférence valide pour les gagnants spécifiques observés dans un jeu de données donné.
• Inférence Conditionnelle : Les approches conditionnelles existantes (par exemple, la méthode polyédrique, la division des données/data splitting) sont souvent restreintes à des modèles paramétriques spécifiques, adaptées à des règles de sélection particulières, ou produisent des intervalles excessivement larges et instables, particulièrement lorsque les concurrents sont proches.

Le défi central est de développer une méthode qui fournit des garanties de couverture conditionnelle (validité pour les gagnants spécifiques sélectionnés à partir des données observées) sans sacrifier la qualité de la sélection ni produire des intervalles déraisonnablement larges, tout en restant applicable aux contextes non paramétriques.

Méthodologie

Les auteurs proposent une méthode d'inférence conditionnelle flexible basée sur un schéma de randomisation exponentielle adaptatif aux données. L'idée centrale est de remplacer la règle de sélection déterministe « dure » (sélectionner les $k$ meilleurs éléments ayant les scores les plus élevés) par une règle de sélection randomisée qui échantillonne les gagnants selon une distribution de probabilité proportionnelle à leurs scores.

1. Schéma de Sélection Randomisée

Au lieu de sélectionner déterministement l'ensemble $E^*$ qui maximise le score $s_E(T)$, la méthode échantillonne un ensemble de gagnants $\hat{E}$ à partir de la collection de tous les sous-ensembles de taille $k$, $\mathcal{E}_k$, en utilisant une distribution de probabilité discrète :
$$P[\hat{E} = E \mid T = t] = \frac{\exp\left(\frac{s_E(t)}{\tau \cdot \sigma_s(t)}\right)}{\sum_{E' \in \mathcal{E}_k} \exp\left(\frac{s_{E'}(t)}{\tau \cdot \sigma_s(t)}\right)}$$
où :

• $s_E(t)$ est le score additif d'un sous-ensemble donné $E$ selon les données $t$.
• $\sigma_s(t)$ est la dispersion des scores à travers tous les sous-ensembles, assurant l'invariance d'échelle.
• $\tau$ est un paramètre de température contrôlant le niveau de randomisation.

Étalonnage sans réglage (Tuning-Free Calibration) : Le document introduit une notion de regret pour étalonner $\tau$ sans réglage manuel. En fixant un budget de regret $q$ spécifié par l'utilisateur (la perte acceptable de qualité de sélection par rapport à la règle standard top-$k$), la température est déterminée automatiquement comme étant $\tau \leq q / \log |\mathcal{E}_k|$. Cela garantit que la sélection randomisée correspond étroitement à la règle standard top-$k$ tout en permettant une inférence valide.

2. Flux de Travail d'Inférence

Une fois qu'un ensemble de gagnants $E_o$ est observé, la méthode construit des intervalles de confiance conditionnels valides pour les effets $\mu_{E_o}$. Le flux de travail comprend trois étapes :

1. Conditionnement pour Éliminer les Paramètres Nuisibles : Les auteurs identifient des statistiques suffisantes $T^\perp_{j_o}$ (orthogonales au paramètre cible $\mu_{j_o}$) telles que la densité conditionnelle de la statistique cible $T_{j_o}$ étant donné l'événement de sélection $\{\hat{E} = E_o\}$ et $T^\perp_{j_o}$ soit exempte de paramètres nuisibles.
2. Densité Conditionnelle à Forme Fermée : Une contribution théorique clé est que, en raison de la conception spécifique du mécanisme exponentiel, la probabilité de sélection conditionnelle $P[\hat{E} = E_o \mid T = t]$ est disponible sous forme fermée. Contrairement à la méthode polyédrique, qui nécessite de caractériser l'événement de sélection comme un polyèdre, cette approche n'a pas besoin d'une description analytique de l'événement de sélection. La densité conditionnelle est dérivée comme suit :
   $$f(t \mid \hat{E}=E_o, T^\perp_{j_o}=t^\perp) \propto \phi(t; \mu_{j_o}, \sigma^2_{j_o}) \times \Lambda_{E_o}(t, t^\perp)$$
   où $\Lambda_{E_o}$ est le poids de sélection dérivé du mécanisme exponentiel.
3. Construction du Pivot : Un pivot est construit en appliquant la transformée intégrale de probabilité à cette densité conditionnelle. Ce pivot suit une distribution Uniforme(0,1) conditionnellement à l'événement de sélection, ce qui permet la construction de p-valeurs et d'intervalles de confiance exacts par inversion.

3. Théorie Asymptotique

La méthode est étendue aux contextes non paramétriques où les statistiques de sélection sont asymptotiquement linéaires. Sous des conditions de régularité modérées (dérivées de scores bornées et représentation asymptotiquement linéaire des statistiques), le pivot est démontré comme étant asymptotiquement valide. Cela permet d'appliquer la méthode aux résultats binaires (tests A/B/n), aux modèles de classement (Bradley–Terry–Davidson) et à l'importance des caractéristiques non paramétriques, même lorsque les données sous-jacentes ne sont pas gaussiennes.

4. Mise en Œuvre Efficace

Le calcul de la constante de normalisation pour le mécanisme exponentiel implique de sommer sur un nombre exponentiel de sous-ensembles. Les auteurs exploitent la structure additive des scores pour exprimer cette somme comme un polynôme symétrique élémentaire, qui peut être évalué en temps $O(pk)$ grâce à la programmation dynamique. Cela permet un échantillonnage efficace et le calcul des poids de sélection pour l'inférence.

Résultats Clés

Le document évalue la méthode proposée "Randomized PSI" par rapport à trois lignes de base : la règle standard top-$k$ sans correction, le "Polyhedral PSI" (conditionnel mais souvent large), et la "Division des Données/Data Splitting" (conditionnel mais perd en qualité de sélection).

1. Qualité de la Sélection : La méthode proposée atteint un regret proche de zéro, sélectionnant les gagnants presque aussi bien que la règle standard top-$k$. En revanche, la division des données entraîne un regret nettement plus élevé car elle n'utilise qu'un sous-ensemble des données pour la sélection.
2. Couverture : La méthode atteint la couverture conditionnelle nominale (par exemple, 95 %) pour les gagnants sélectionnés. Elle surpasse les lignes de base marginales (comme la "Correction Zoom") qui ne parviennent pas à fournir une validité conditionnelle.
3. Longueur de l'Intervalle : La méthode proposée produit des intervalles de confiance considérablement plus courts que l'approche polyédrique. Dans les simulations gaussiennes, les intervalles polyédriques se sont révélés jusqu'à 496 % plus longs dans certains contextes. Bien que la division des données produise des intervalles de longueur similaire, elle le fait au prix d'une faible qualité de sélection.
4. Applicabilité Non Paramétrique : La méthode traite avec succès les données non gaussiennes (résultats binaires, comparaisons appariées et importance des caractéristiques boîte noire) en s'appuyant sur des garanties asymptotiques, là où de nombreuses méthodes conditionnelles existantes sont restreintes à des modèles gaussiens ou paramétriques spécifiques.

Signification et Revendications

Les auteurs affirment que leur travail comble les lacunes critiques de la littérature sur l'inférence post-sélection :

• Flexibilité : La méthode est largement applicable aux contextes non paramétriques avec des statistiques asymptotiquement linéaires, couvrant diverses applications comme les essais cliniques, l'évaluation de classements de modèles (leaderboards) et l'importance des caractéristiques.
• Validité Conditionnelle sans Tractabilité Analytique : Elle fournit une inférence conditionnelle exacte (ou asymptotiquement exacte) sans nécessiter une caractérisation analytique de l'événement de sélection, une limitation majeure des méthodes conditionnelles précédentes.
• Compromis Équilibrés : Elle résout la tension entre la qualité de la sélection et la puissance inférentielle. En utilisant un schéma de randomisation sans réglage guidé par le regret, elle garantit que les gains en puissance inférentielle (intervalles plus courts) ne se font pas au détriment de la sélection de gagnants sous-optimaux.
• Utilité Pratique : La méthode produit des intervalles numériquement stables et courts qui sont pratiquement utiles, contrairement aux intervalles souvent infinis ou instables produits par les approches conditionnelles existantes lorsque les concurrents sont proches.

L'article conclut que cette approche de randomisation offre un cadre prometteur pour les recherches futures, non seulement pour traiter la malédiction du gagnant, mais aussi pour des problèmes plus larges d'inférence post-sélection, incluant les comparaisons entre gagnants et dauphins (runners-up).