📊 statistics

Post-Selection Distributional Model Evaluation

Cet article présente le cadre PS-DME, une méthode statistique fondée sur les valeurs-e qui permet d'évaluer de manière fiable la distribution des indicateurs de performance des modèles après une sélection préalable, en contrôlant le taux de couverture fausse et en évitant les biais liés à l'utilisation des mêmes données pour la sélection et l'estimation.

Auteurs originaux : Amirmohammad Farzaneh, Osvaldo Simeone

Publié 2026-03-25

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Amirmohammad Farzaneh, Osvaldo Simeone

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎯 Le Problème : Choisir la meilleure voiture dans un garage rempli

Imaginez que vous êtes un chef de garage et que vous avez 2 000 voitures (des modèles d'intelligence artificielle) devant vous. Chaque voiture a des caractéristiques différentes : certaines sont très rapides mais consomment beaucoup d'essence, d'autres sont lentes mais économes.

Votre but est de trouver la meilleure voiture pour vos clients. Mais il y a un piège : vous ne connaissez pas exactement comment elles se comporteront sur la route (la "vraie" performance). Vous devez les tester sur un échantillon de route (vos données).

Le problème classique :
Si vous utilisez la même route pour :

Choisir les 10 meilleures voitures (pré-sélection).
Évaluer leur performance réelle (estimer leur distribution).

...vous allez tricher ! C'est comme si vous regardiez le résultat d'un examen pour choisir les élèves, puis vous utilisiez le même examen pour donner leurs notes finales. Vous risquez d'être trop optimiste et de croire que les voitures sont meilleures qu'elles ne le sont vraiment. C'est ce qu'on appelle le biais de sélection.

💡 La Solution : PS-DME (L'Inspecteur de Vérité)

Les auteurs, Amirmohammad Farzaneh et Osvaldo Simeone, proposent une nouvelle méthode appelée PS-DME (Post-Selection Distributional Model Evaluation).

Imaginez que PS-DME est un inspecteur de la vérité très rigoureux qui utilise une astuce mathématique géniale (les "e-values") pour vous dire : "Même si vous avez choisi ces voitures en regardant les résultats, voici une garantie mathématique que leur performance réelle se trouve bien dans cette fourchette."

Comment ça marche ? (L'analogie du "Jeu de l'ombre")

L'approche traditionnelle (Le "Découpage de la Pizza") :
Pour éviter de tricher, la méthode classique consiste à couper votre route en deux.
- Une moitié sert à choisir les voitures.
- L'autre moitié sert à tester les gagnants.
- Le problème : Vous n'avez qu'une demi-pizza pour tester. C'est petit, et votre estimation est floue (les bandes de confiance sont larges). Vous ne savez pas exactement si la voiture est rapide ou non.
L'approche PS-DME (Le "Miroir Magique") :
La méthode PS-DME dit : "Non, on va utiliser toute la route pour choisir ET pour tester !"
- Normalement, c'est interdit car on triche.
- Mais PS-DME utilise un "bouclier mathématique" (les e-values) qui corrige instantanément la triche.
- Le résultat : Vous avez une image beaucoup plus nette et précise de la performance. Vos "bandes de confiance" (la zone où se trouve la vraie performance) sont beaucoup plus fines que celles de la méthode traditionnelle.

📊 Pourquoi c'est révolutionnaire ?

Dans le monde réel, on ne veut pas juste savoir si une voiture est "bonne" ou "mauvaise". On veut comprendre tous les scénarios possibles.

Exemple concret : Imaginez un assistant vocal (LLM) qui répond à vos questions.
- Parfois, il répond en 1 seconde (super rapide).
- Parfois, il met 10 secondes (trop lent).
- L'ancien système vous disait : "En moyenne, c'est 5 secondes".
- PS-DME vous dit : "Je peux vous garantir à 95 % de certitude que 90 % du temps, la réponse sera entre 2 et 6 secondes, même si vous avez choisi ce modèle en regardant les données."

Cela permet aux ingénieurs de faire des choix éclairés : "Je préfère ce modèle un peu plus lent, car il est beaucoup plus fiable (il ne plante jamais au-delà de 5 secondes)."

🧪 Les Résultats (Ce qu'ils ont prouvé)

Les auteurs ont testé leur méthode sur trois terrains de jeu :

Des données synthétiques (des maths pures) : PS-DME a gagné haut la main, offrant des prédictions plus précises.
Des modèles de langage (LLM) : Pour générer du code SQL, PS-DME a permis de choisir des configurations qui fonctionnent mieux et plus sûrement que les méthodes classiques.
Les réseaux de télécoms : Pour gérer le trafic internet, la méthode a permis de garantir que les réseaux ne s'effondrent pas, même avec peu de données disponibles.

🏁 En résumé

Ce papier nous dit : "Arrêtez de gaspiller vos données en les coupant en deux !"

Grâce à une nouvelle astuce mathématique (PS-DME), vous pouvez utiliser toutes vos données pour sélectionner le meilleur modèle ET évaluer sa performance avec une certitude absolue. C'est comme si vous pouviez goûter à toute la soupe pour choisir la meilleure cuillère, tout en ayant la garantie mathématique que le goût que vous avez ressenti est bien celui de la vraie soupe, et pas une illusion.

C'est une avancée majeure pour rendre l'intelligence artificielle plus fiable, transparente et efficace dans le monde réel.

1. Problématique et Contexte

Les méthodes formelles d'évaluation de modèles actuelles se concentrent généralement sur la certification qu'un modèle satisfait un niveau cible prédéfini d'un indicateur de performance clé (KPI), tel qu'un risque maximal toléré. Cependant, dans de nombreuses applications pratiques (par exemple, le déploiement d'agents de modèles de langage sur des appareils mobiles ou l'optimisation de réseaux de télécommunications), le niveau de risque cible optimal n'est pas connu a priori.

Les utilisateurs souhaitent souvent explorer les compromis complets entre la performance et la fiabilité à l'instant de test. Cela nécessite d'estimer la distribution complète (et non seulement une moyenne) du KPI pour plusieurs modèles candidats.

Le défi principal réside dans le biais de sélection post-sélection :

Les utilisateurs pré-sélectionnent un sous-ensemble de modèles prometteurs parmi un grand pool de candidats en utilisant les mêmes données.
Ils tentent ensuite d'estimer les distributions de KPI (fonctions de répartition cumulées ou CDF) de ces modèles sélectionnés sur les mêmes données.
L'application naïve de bandes de confiance classiques sur des modèles sélectionnés de manière dépendante des données conduit à des estimations trop optimistes et à une invalidité statistique (taux de couverture incorrect).

2. Méthodologie : PS-DME

Les auteurs proposent un nouveau cadre appelé PS-DME (Post-Selection Distributional Model Evaluation). Ce cadre permet une évaluation distributionnelle statistiquement valide après une pré-sélection de modèles arbitraire et dépendante des données.

A. Objectif Formel

Pour un ensemble de modèles pré-sélectionnés $\mathcal{K}$ , l'objectif est de construire des bandes de confiance $[L_k(x), U_k(x)]$ pour la vraie CDF $F_k(x)$ de chaque modèle $k \in \mathcal{K}$ , telles que le Taux de Fausses Couvertures (FCR - False Coverage Rate) soit contrôlé :
$\text{FCR} = \mathbb{E}\left[ \frac{1}{\max(|\mathcal{K}|, 1)} \sum_{k \in \mathcal{K}} \mathbb{1}\{F_k \notin [L_k, U_k]\} \right] \leq \delta$
où $\delta$ est un niveau de risque utilisateur.

B. Approches Comparées

L'article compare deux stratégies principales :

SS-DME (Sample-Splitting) : Une méthode de base qui divise les données en deux ensembles disjoints : un pour la sélection de modèles et un pour l'inférence distributionnelle. Bien que valide, cette approche réduit la taille de l'échantillon disponible pour l'estimation des bandes de confiance, ce qui peut élargir les intervalles.
PS-DME (Proposée) : Une méthode qui réutilise l'intégralité du jeu de données à la fois pour la sélection et pour l'inférence. Pour corriger le biais de sélection induit par cette réutilisation, PS-DME s'appuie sur la théorie des valeurs-e (e-values).

C. Mécanisme Technique de PS-DME

Utilisation des valeurs-e : Contrairement aux p-values, les valeurs-e permettent une sélection post-hoc du niveau de signification. PS-DME utilise des fonctions d'étalonnage (e-calibrators) pour transformer les statistiques de test en valeurs-e.
Construction des bandes : Pour chaque modèle sélectionné, les bornes de la bande de confiance sont calculées en inversant le test d'hypothèse basé sur la valeur-e. La largeur de la bande $\epsilon_k$ dépend de la taille totale de l'échantillon $n_k$ et d'un facteur de correction post-sélection lié à la fonction d'étalonnage choisie (ex: famille de puissance $f_\tau(p) = (1-\tau)p^{-\tau}$ ).
Théorème de Validité : Il est prouvé que pour n'importe quelle règle de sélection dépendante des données, PS-DME garantit que le FCR est inférieur ou égal à $\delta$ .

D. Efficacité Échantillonnaire

Une contribution théorique majeure est la comparaison explicite des largeurs de bandes entre SS-DME et PS-DME. Les auteurs démontrent que PS-DME est plus efficace (bandes plus étroites) lorsque le gain dû à l'utilisation de la taille d'échantillon complète ( $n_k$ ) compense le coût du facteur de correction post-sélection. Cette condition est formalisée mathématiquement et dépend du ratio de division des données dans la méthode SS-DME.

3. Résultats Expérimentaux

Les auteurs valident PS-DME sur trois types de données :

Données Synthétiques (Régression Linéaire) :
- Dans un environnement contrôlé, PS-DME et SS-DME respectent toutes deux le contrôle du FCR, tandis qu'une méthode naïve (N-PS-DME, sans correction) échoue.
- PS-DME produit des bandes de confiance significativement plus étroites que SS-DME, permettant d'identifier des KPI garantis (ex: erreur quadratique) plus faibles et donc préférables. L'avantage est particulièrement marqué lorsque les données de calibration sont rares.
Décodage de Modèles de Langage (LLM) - Tâche Text-to-SQL :
- Application sur le benchmark Spider avec le modèle Qwen2.5-7B.
- Comparaison de 43 configurations de décodage (stratégies greedy, Best-of-n, itératif).
- PS-DME permet de sélectionner des stratégies offrant de meilleures performances garanties (scores F1 plus élevés) pour un niveau de fiabilité donné, surpassant systématiquement SS-DME en termes de KPI garanti.
Évaluation des Réseaux de Télécommunications (O-RAN) :
- Analyse des temps de latence et de l'occupation des buffers dans un réseau cellulaire 5G simulé.
- PS-DME fournit des garanties plus fortes sur l'occupation du buffer (KPI négatif) par rapport à SS-DME, en particulier dans les régimes à faible taux d'échec (queue de distribution).
- L'expérience montre que dans les régimes à faible échantillonnage, le fractionnement des données (SS-DME) dégrade fortement les garanties, tandis que PS-DME maintient une haute efficacité.

4. Contributions Clés

Cadre PS-DME : Introduction d'un protocole formel pour l'évaluation distributionnelle de modèles après sélection arbitraire, garantissant le contrôle du FCR.
Réutilisation des Données : Démonstration que l'utilisation complète des données pour la sélection et l'inférence, couplée aux valeurs-e, est statistiquement valide et souvent plus efficace que le fractionnement des données (sample splitting).
Analyse Théorique : Établissement de conditions explicites (via des inégalités de largeur de bande) déterminant quand PS-DME surpasse SS-DME.
Validation Multi-Domaines : Preuve de concept sur des tâches variées (régression, LLM, réseaux), montrant l'applicabilité du cadre à des problèmes réels de compromis performance-fiabilité.

5. Signification et Impact

Ce travail est significatif car il répond à un besoin critique dans le déploiement de l'IA et des systèmes complexes : la capacité d'explorer des compromis performance-fiabilité sans être limité par une connaissance a priori des seuils de risque acceptables.

Pour les ingénieurs : PS-DME offre un outil robuste pour comparer des configurations de modèles (ex: hyperparamètres, stratégies de décodage) en tenant compte de l'incertitude statistique, même après avoir sélectionné les meilleurs candidats sur les mêmes données.
Pour la recherche : L'article étend la littérature sur l'inférence post-sélection (généralement focalisée sur des métriques scalaires ou des risques moyens) vers l'estimation de distributions complètes (CDF), permettant une analyse plus fine des queues de distribution (ex: latences extrêmes, taux de panne rares).
Efficacité : En évitant le gaspillage de données inhérent au fractionnement, PS-DME est particulièrement pertinent pour les applications où les données de test sont coûteuses ou limitées.

En résumé, PS-DME permet une exploration statistiquement sûre de l'espace des compromis entre performance et fiabilité, facilitant la prise de décision pour le déploiement de modèles robustes.