Résumé Technique : Franchir la crise de la validation via la validation croisée

1. Énoncé du problème : La crise de la validation

Le progrès moderne de l'apprentissage automatique repose largement sur l'étalonnage empirique pour évaluer et comparer les algorithmes d'apprentissage. Cependant, ce processus est confronté à une « crise de la validation » pilotée par deux facteurs cumulatifs :

1. Variabilité statistique : Les métriques d'évaluation sont intrinsèquement bruitées en raison du caractère aléatoire de la division des données, de l'ordre des échantillons, de l'initialisation des poids et de l'optimisation des hyperparamètres.
2. Rareté des données : De nombreux domaines critiques (par exemple, l'imagerie médicale, le traitement du langage naturel) dépendent de jeux de données avec des tailles d'échantillons limitées. La méta-recherche indique que plus de 50 % des jeux de données les plus utilisés sur OpenML contiennent moins de 1 000 échantillons.

Dans les régimes à faibles échantillons, la variance des estimations de performance est élevée. Par conséquent, les divisions uniques entraînement/test (hold-out) produisent souvent des classements peu fiables, où les avancées réelles sont obscurcies par le bruit, et où des algorithmes aux performances statistiquement indiscernables sont classés de manière incorrecte. Bien que la validation croisée (CV) soit un outil standard pour atténuer cela en moyennant les résultats sur plusieurs divisions, elle est fréquemment sous-utilisée dans la pratique moderne (moins de 14 % des études d'apprentissage automatique en santé effectuent une CV) en raison du coût computationnel perçu et d'un manque de directives claires sur le nombre de divisions nécessaires.

2. Méthodologie et cadre théorique

2.1 Formalisme de l'étalonnage

L'article distingue entre l'étalonnage de fonctions de décision statiques et l'étalonnage d'algorithmes d'apprentissage. Pour les algorithmes d'apprentissage, l'objectif est d'estimer le Score Oracle ($R^*_{n_{tr}}(F_\lambda)$), défini comme la performance de généralisation attendue sur tous les ensembles d'entraînement possibles de taille $n_{tr}$ et tous les états aléatoires internes de l'algorithme (seeds).

Les auteurs utilisent la Validation Croisée de Monte-Carlo (MCCV), également appelée rééchantillonnage aléatoire répété, où le jeu de données est découpé de manière répétée en ensembles d'entraînement et de test. L'estimateur $\hat{R}_K$ est la moyenne de $K$ évaluations indépendantes.

2.2 Décomposition de la variance

La variance de l'estimateur MCCV est décomposée en deux composantes :
$$\text{Var}[\hat{R}_K] = \frac{1}{K}\sigma^2_{HO} + \frac{K-1}{K}\tau$$
Où :

• $\sigma^2_{HO}$ est la variance d'une seule évaluation hold-out.
• $\tau$ est la covariance entre les évaluations sur différentes divisions, induite par la réutilisation de données finies (chevauchement entre les ensembles d'entraînement et de test à travers les divisions).

Lorsque $K \to \infty$, la variance ne disparaît pas mais converge vers $\tau$. Cette composante de variance irréductible provient de la nature finie du jeu de données.

2.3 Le concept de Gain d'Échantillon

Pour quantifier le bénéfice de l'augmentation de $K$, les auteurs introduisent le Gain d'Échantillon ($G^{\text{test}}_K$). Cette métrique mesure l'« augmentation virtuelle de données » réalisée par la validation croisée. Plus précisément, elle définit la Taille de Test Équivalente-Variance ($N^{\text{equiv}}_K$) : la taille qu'un ensemble de test hold-out unique devrait avoir pour atteindre la même variance d'estimation qu'une procédure de CV à $K$ divisions.

$$G^{\text{test}}_K = \frac{N^{\text{equiv}}_K}{n_{te}}$$
Une valeur de $G^{\text{test}}_K = 10$ implique que réaliser $K$ divisions réduit la variance d'estimation de manière équivalente à posséder un ensemble de test 10 fois plus grand que l'original.

2.4 Arrêt précoce via la redondance

Reconnaissant que le coût computationnel augmente linéairement avec $K$, l'article propose un score de redondance d'étude uniquement ($\hat{\omega}^{\text{study}}_K$). Cette métrique est calculable après seulement quelques divisions (par exemple, $k=2$ ou $3$) d'une seule exécution de CV. Elle mesure la corrélation entre les prédictions et les pertes de différents prédicteurs spécifiques à chaque division sur des observations d'étude partagées.

• Haute redondance : Indique que des divisions supplémentaires apporteront probablement des informations redondantes, suggérant un arrêt précoce.
• Basse redondance : Suggère que des divisions supplémentaires peuvent encore apporter une réduction significative de la variance.

3. Évaluation expérimentale

Les auteurs valident leurs conclusions à travers trois domaines utilisant des données synthétiques, la classification d'images histopathologiques (PatchCamelyon) et le réglage fin (fine-tuning) de NLP (Yelp Review Full).

3.1 Configuration expérimentale

• Données synthétiques : Tâches de régression avec des niveaux de bruit et des complexités de modèles variables (Ridge, GradientBoosting, MLP, etc.).
• Imagerie médicale : Classification de la métastase des ganglions lymphatiques par CNN (DenseNet, WideResNet, MobileNet, ViT) sur le jeu de données PatchCamelyon.
• NLP : Fine-tuning de BERT et XLM-RoBERTa sur le jeu de données Yelp Review Full.
• Protocole : Les expériences ont utilisé de grands « ensembles de benchmarking » (tenus à l'écart du jeu d'étude principal) pour approximer le score oracle avec un bruit négligeable, permettant une estimation précise de la réduction de la variance.

3.2 Résultats clés

1. Gains d'échantillons substantiels : L'augmentation du nombre de divisions produit des gains significatifs en puissance statistique.
   • Dans la régression synthétique, $K=200$ divisions a entraîné des gains d'échantillons d'environ 14 à 15 pour les modèles Ridge et MLP.
   • Les gains ont été observés comme persistants même au-delà de $K=5$ ou $K=10$, contredisant l'heuristique selon laquelle chaque échantillon n'a besoin d'être tenu à l'écart qu'une seule fois.
   • Les rendements décroissants sont apparus plus tard que prévu ; pour certains algorithmes (ex. Ridge, MLP), les gains ont continué de croître bien après $K=20$.
2. Dépendance à l'algorithme : Le taux de gain varie selon l'algorithme. Les ensembles basés sur les arbres (ExtraTrees, GradientBoosting) se stabilisent souvent plus rapidement que les réseaux de neurones ou les modèles linéaires, qui continuent de bénéficier d'un $K$ élevé.
3. Fiabilité du classement : La CV multi-splits améliore considérablement la fiabilité des classements comparatifs d'algorithmes.
   • Dans les expériences NLP, les évaluations à division unique ont classé XLM-RoBERTa au-dessus de BERT dans 70 à 80 % des cas, malgré un score moyen plus élevé pour BERT. Cela était dû au fait que XLM-RoBERTa présentait de graves valeurs aberrantes (outliers) à faible score.
   • À mesure que $K$ augmentait, la CV a correctement identifié la différence de performance moyenne, restaurant plus de manière fiable le classement quasi-oracle.
4. Efficacité de l'arrêt précoce : Le score de redondance calculé après seulement 2 ou 3 divisions était hautement prédictif de la possibilité d'obtenir de grands gains ($G^{\text{test}}_{20} \ge 10$). Une haute redondance après quelques divisions écartait presque totalement la possibilité de gains futurs importants.

4. Contributions principales

1. Quantification de l'efficacité de la CV : L'introduction du Gain d'Échantillon fournit une métrique interprétable pour quantifier la réduction de la variance de la validation croisée en unités de « échantillons de test supplémentaires ».
2. Preuves empiriques contre les heuristiques : Ce travail démontre que l'heuristique courante consistant à limiter les divisions (ex. $K=5$ ou $K=10$) est souvent trop conservatrice, particulièrement pour les modèles complexes et les petits jeux de données.
3. Procédure d'arrêt précoce pratique : Une méthode pour décider dynamiquement de poursuivre la validation croisée en fonction d'un score de redondance calculé à partir des premières divisions, équilibrant le coût computationnel et la fiabilité statistique.
4. Stabilité du classement : Preuve que la CV multi-splits est essentielle pour un classement robuste des algorithmes dans les régimes à faibles échantillons, évitant des conclusions trompeuses dues au bruit d'évaluation.

5. Signification et affirmations

L'article soutient que la validation croisée est un outil critique, bien que sous-utilisé, pour répondre à la crise de la validation en apprentissage automatique. En poussant la validation croisée vers un nombre plus élevé de divisions, les chercheurs peuvent obtenir un étalonnage robuste et fiable même avec des données limitées.

Les auteurs affirment que :

• Fiabilité : La CV multi-splits améliore considérablement la confiance dans la comparaison des algorithmes d'apprentissage, offrant souvent une puissance statistique équivalente à un ensemble de test 10 fois plus grand.
• Coût-Bénéfice : Bien que la CV augmente le coût computationnel, la métrique de « Gain d'Échantillon » permet aux praticiens de faire des compromis éclairés. Le score de redondance proposé permet une approche basée sur les données pour arrêter l'exécution lorsque les gains plafonnent.
• Nécessité : Dans les domaines où les données sont rares (ex. imagerie médicale), s'appuyer sur des divisions uniques entraînement/test est risqué et peut mener à des affirmations de supériorité erronées. L'article préconise la CV multi-splits comme pratique standard lorsque cela est techniquement possible, particulièrement lorsque les différences de performance entre algorithmes sont proches.

Le travail conclut que la sélection rigoureuse d'algorithmes dans les domaines à faibles échantillons nécessite de dépasser les évaluations à division unique pour embrasser les capacités de réduction de variance d'une validation croisée étendue.