Résumé Technique : Taille Optimale de l'Échantillon de Test en Validation Croisée

Énoncé du Problème

La validation croisée (CV) est une procédure standard pour la sélection de modèles et le réglage des paramètres, pourtant le choix de la taille de l'échantillon de test (ou, de manière équivalente, le nombre de plis $K$) est généralement dicté par la convention (par exemple, $K=5, 10$, ou un fractionnement 80/20) plutôt que par un critère fondé sur des principes. Cet article identifie un compromis fondamental inhérent à la procédure de CV : l'augmentation de la taille de l'échantillon d'entraînement ($n$) améliore la précision du modèle (réduisant le biais prédictif), tandis que la diminution de la taille de l'échantillon de test ($m$) augmente la variance (l'incertitude) de l'estimation de la performance.

Dans de nombreux contextes modernes — particulièrement avec des modèles flexibles, des données de haute dimension ou des courbes de performance plates — de faibles changements de $K$ peuvent conduire à des modèles sélectionnés différents et à des conclusions scientifiques divergentes, même lorsque les pertes estimées sont presque identiques. Le problème central est que l'incertitude d'évaluation dans la CV à $K$ plis n'est pas universellement estimable à partir des données observées sans hypothèses supplémentaires (Bengio et Grandvalet, 2004), laissant les chercheurs sans règle générale, finie et spécifique aux données, pour équilibrer la précision et la certitude de l'évaluation.

Méthodologie

Les auteurs formalisent la sélection de la taille de l'échantillon de test comme un problème de décision ciblant la performance prédictive pure (la performance nette du bruit irréductible) plutôt que la perte empirique brute. La méthodologie procède à travers quatre étapes principales :

1. Caractérisation Théorique de l'Incertitude

L'article dérive des expressions en échantillon fini pour la variance de l'estimateur sans biais de la perte pure.

• Erreurs Symétriques : Sous l'hypothèse que les erreurs $\epsilon_i$ sont distribuées symétriquement (par exemple, gaussiennes), les auteurs dérivent une expression exacte de la variance de la perte.
• Erreurs Asymétriques : Pour les cas généraux (par exemple, distributions Gamma, résultats binaires), ils dérivent une borne supérieure conservatrice.
• Idée Clé : La variance de la perte est montrée comme étant une fonction du biais du modèle, de l'erreur irréductible ($\sigma^2$) et de la taille de l'échantillon de test ($m$). Spécifiquement, la variance est proportionnelle à $1/m$ et au carré du biais du modèle. Les auteurs notent que bien que la CV à $K$ plis fasse la moyenne de pertes corrélées, la variance d'un seul pli sert de borne supérieure valide et conservatrice pour l'estimation complète des $K$ plis.

2. Cadre d'Utilité Moyenne-Variance

Pour déterminer le compromis optimal, les auteurs adoptent un cadre d'utilité attendue de von Neumann-Morgenstern. Ils définissent une fonction d'utilité qui pénalise à la fois l'espérance de la perte et la variance de cette perte :
$$\text{Utilité}(n, m) = - \left( E[\hat{L}_k] + \text{Var}[\hat{L}_k] \right)$$
Cette formulation traite le paramètre du bruit irréductible $\sigma^2$ comme un « bouton » ajustable reflétant la tolérance de l'analyste pour l'incertitude d'évaluation.

3. Stratégie d'Estimation

La stratégie proposée pour trouver le $m$ optimal (et donc $K$) implique :

1. Estimation de la Courbe de Perte : Estimer la perte de prédiction empirique à trois points d'ancrage : la CV Leave-One-Out ($m \approx 1$), la CV Leave-Most-Out ($m \approx N/2$), et un point intermédiaire (par exemple, 5 plis). Ces points sont utilisés pour interpoler une courbe de perte $E\hat{L}(m)$ en fonction de la taille de l'ensemble de test.
2. Calcul de la Courbe de Variance : En utilisant les bornes théoriques dérivées, la courbe de variance $V\hat{L}(m)$ est calculée en fonction de la perte estimée et du $\sigma^2$ supposé.
3. Optimisation : La taille optimale de l'échantillon de test est la valeur de $m$ qui minimise la somme de la perte estimée et de sa borne de variance (maximisant l'utilité).

4. La Frontière de Pareto

En faisant varier le bruit irréductible supposé $\sigma^2$, les auteurs construisent une frontière de Pareto. Cette carte illustre le $K$ optimal pour différents régimes de bruit, permettant aux chercheurs de visualiser comment la division optimale change en fonction de leurs hypothèses sur la qualité des données.

Résultats Clés

Les analyses empiriques à travers de multiples domaines (biologie, ingénierie des matériaux, sciences sociales) et modèles (régression linéaire, forêts aléatoires) produisent les conclusions suivantes :

• Dépendance au Contexte : Le $K$ optimal n'est pas universel ; il varie considérablement selon le jeu de données spécifique, la classe de modèle et le niveau de bruit irréductible supposé.
• Complexité du Modèle : Les modèles complexes (ex: Forêts Aléatoires) nécessitent généralement des ensembles d'entraînement plus grands (un $K$ plus petit) pour réduire le biais, tandis que les modèles plus simples (ex: Régression Linéaire) peuvent tolérer des ensembles de test plus grands (un $K$ plus grand) pour réduire la variance d'évaluation.
• Échec des Conventions : Les choix conventionnels (ex: $K=5$) sont souvent sous-optimaux. Dans plusieurs expériences, $K=5$ n'a jamais été le choix optimal pour les modèles complexes, et pour les modèles simples, il n'était optimal que sous certaines hypothèses de bruit.
• Rétro-ingénierie de $\sigma^2$ : Le cadre permet aux chercheurs de « rétro-concevoir » le niveau de bruit implicite supposé par une division conventionnelle. Les auteurs ont constaté que les divisions standards impliquent souvent des niveaux de bruit incohérents avec la performance du modèle observée (impliquant par exemple que $\sigma^2$ est trop élevé pour que les données puissent supporter la faible erreur observée), suggérant que les choix de $K$ conventionnels peuvent être inappropriés pour des problèmes spécifiques.
• Impact Scientifique : Dans une application de génomique à haute dimension (attribution de signatures mutationnelles TCGA), le choix de $K$ a modifié l'ensemble des signatures mutationnelles « fiablement présentes ». Les régimes de haute incertitude (favorisant un petit $K$) ont exclu des signatures qui étaient détectées sous des régimes de faible incertitude (favorisant un grand $K$), démontrant que $K$ agit comme un levier sur la parcimonie et l'inférence scientifique en aval.

Signification et Revendications

L'article prétend remplacer la convention du « taille unique » de la validation croisée par un cadre explicite aux hypothèses et spécifique au contexte. Ses principales contributions sont :

1. Compromis Explicite : Il rend explicite le compromis implicite entre la précision de l'entraînement et la certitude de l'évaluation, fournissant une règle de décision transparente basée sur l'utilité pour sélectionner $K$.
2. Théorie en Échantillon Fini : Il fournit des expressions exactes de la variance en échantillon fini (sous l'hypothèse de symétrie) et des bornes supérieures générales, comblant une lacune où la théorie précédente n'offrait que des descriptions asymptotiques ou des orientations pour des cas spécifiques.
3. Outil de Diagnostic : En traitant $\sigma^2$ comme un paramètre, le cadre permet une analyse de sensibilité. Les chercheurs peuvent identifier des plages de $K$ robustes où les conclusions tiennent compte de différentes hypothèses de bruit ou détecter quand une division conventionnelle implique un niveau de bruit irréaliste.
4. Rigueur Scientifique : Les auteurs soutiennent que puisque la CV fait souvent partie du pipeline inférentiel (déterminant quels mécanismes ou variables sont « soutenus »), le choix de $K$ doit être une décision scientifique alignée sur la connaissance du domaine concernant la qualité des données, plutôt qu'un paramètre de calcul par défaut.

L'article conclut que bien que les valeurs exactes de $K$ optimal soient difficiles à fixer universellement, le cadre démontre que les divisions optimales s'alignent rarement sur les conventions extrêmes (comme la LOOCV ou la division en 2 plis) et sont rarement fixées à des valeurs standards comme 5 ou 10 dans tous les contextes. Au lieu de cela, les chercheurs devraient identifier des plages raisonnables de tailles d'échantillons de test adaptées à leurs données et caractéristiques de modèles spécifiques.