A Set of Rules for Model Validation

Résumé Technique : Un ensemble de règles pour la validation de modèles

Énoncé du problème
La validation des modèles fondés sur les données est une composante critique des systèmes modernes de statistiques, d'apprentissage automatique et d'intelligence artificielle, mais elle demeure une source de risque concernant la fiabilité et la généralisation des modèles. Bien que les organismes de réglementation (par exemple, le NIST, l'IA Act de l'UE, l'ISO/IEC, l'ASTM) et les revues scientifiques aient de plus en plus insisté sur la nécessité de modèles dignes de confiance, la littérature existante se concentre souvent sur des listes de contrôle méthodologiques spécifiques (par exemple, la validation externe, la validation croisée) plutôt que sur des principes conceptuels sous-jacents. Par conséquent, les praticiens manquent souvent d'un cadre unifié pour concevoir des plans de validation robustes, rapporter les résultats de manière transparente ou évaluer correctement les limites et les risques inhérents à leurs stratégies. Un problème majeur est la tendance à surestimer la performance de généralisation en raison de la fuite de données (data leakage), d'une sélection inappropriée de l'ensemble de test ou de l'utilisation de mesures de performance qui ne s'alignent pas sur les contraintes d'application en conditions réelles.

Méthodologie
Cet article de perspective ne propose pas un nouvel algorithme ou un outil logiciel spécifique. Au lieu de cela, il synthétise un ensemble de cinq règles générales et conceptuelles pour la validation de modèles. Ces règles sont dérivées des définitions fondamentales de la validation en apprentissage automatique (évaluer la performance de généralisation à de nouvelles données indépendantes) et sont conçues pour guider la construction de schémas de validation. La méthodologie comprend :

1. Définir la validation : Distinguer la validation statistique classique (stabilité/signification des paramètres) de la validation en apprentissage automatique (performance de généralisation).
2. Formuler des règles : Proposer cinq directives spécifiques qui traitent de l'indépendance des données, de la représentativité de l'ensemble de test, de la sélection des métriques, de la comparaison avec des références (baselines) et de l'interprétation des résultats.
3. Analyse illustrative : Utiliser des exemples simulés (par exemple, la régression PLS sur des données non liées, la classification sur des ensembles de données déséquilibrés) et passer en revue des schémas de validation existants (spécifiquement une approche de double validation croisée pour la PLS-DA en métabolomique) pour démontrer comment ces règles s'appliquent en pratique et comment leurs violations conduisent à des conclusions erronées.

Contributions clés : Les cinq règles

• Règle 1 : Indépendance des données. L'ensemble de test utilisé pour évaluer la performance de généralisation doit être tiré indépendamment des données utilisées pour la construction du modèle (entraînement et sélection). Le papier souligne que l'« indépendance » est complexe ; elle exige qu'aucune information de l'ensemble de test ne fuite dans le processus de construction du modèle. Cela inclut de garantir que les étapes de prétraitement (par exemple, la mise à l'échelle, la sélection de variables) sont effectuées strictement à l'intérieur de la boucle d'entraînement (par exemple, en utilisant une validation croisée imbriquée) et non sur l'ensemble du jeu de données avant la division.
• Role 2 : Cohérence avec l'application réelle. L'ensemble de test, la population d'intérêt et l'application réelle doivent être cohérents. La stratégie de validation doit imiter les conditions pratiques dans lesquelles le modèle sera déployé. Cela inclut la prise en compte de l'exhaustivité des données (représenter la population entière, et non seulement un sous-ensemble biaisé) et des sources spécifiques de dépendance (par exemple, les effets de lot/batch effects, l'autocorrélation des séries temporelles, les mesures répétées). Si l'application réelle implique des données provenant de différents laboratoires ou de périodes différentes, l'ensemble de validation doit refléter cela pour éviter des estimations de performance gonflées.
• Règle 3 : Critères de performance objectifs et cohérents avec l'application. Les métriques de performance doivent être choisies en fonction des conséquences pratiques des erreurs dans l'application spécifique. Les métriques standards (par exemple, l'Exactitude, l'AUROC, le NMC) peuvent être instables ou trompeuses, particulièrement dans les ensembles de données déséquilibrés ou lorsque les faux positifs et les faux négatifs entraînent des coûts différents. Le papier soutient que le critère d'évaluation doit refléter la gravité des erreurs d'inférence (par exemple, accorder un poids plus élevé aux faux négatifs dans le diagnostic médical) et que la pertinence de la métrique doit être explicitement discutée.
• Règle 4 : Fourniture de références (baselines) pertinentes. Les résultats de validation doivent être comparés à des références pertinentes pour déterminer si un modèle offre un véritable pouvoir prédictif. Cela inclut :
  • Modèles nuls : Comparer avec un modèle de complexité nulle (par exemple, prédire la moyenne) ou par des permutations aléatoires pour s'assurer que le modèle ne capture pas du bruit.
  • Exemples nuls : Générer des ensembles de données où la relation entre les variables est connue comme étant inexistante (par exemple, des permutations aléatoires) pour détecter la fuite de données. Si un modèle performe bien sur des données nulles, le schéma de validation est défectueux.
• Règle 5 : Signification statistique et pratique. Les comparaisons entre modèles doivent considérer à la fois la signification statistique et l'utilité pratique. Rapporter uniquement des métriques de performance moyennes peut être trompeur en raison de l'incertitude ; par conséquent, des estimations d'incertitude (via le rééchantillonnage ou la validation croisée répétée) doivent être rapportées. De plus, une différence statistiquement significative de performance peut ne pas être pratiquement significative si le modèle plus complexe nécessite des ressources de calcul excessives, un effort d'étiquetage des données ou de l'énergie, surtout lorsque le gain de performance est marginal.

Résultats et conclusions illustratives
Le papier démontre l'application de ces règles à travers plusieurs exemples :

• Fuite de données : Il montre que l'exécution de la sélection de variables sur l'ensemble du jeu de données avant la division conduit à des estimations de performance trop optimistes, tandis que l'exécution de la sélection dans la boucle interne de la validation croisée révèle correctement l'absence de pouvoir prédictif dans des données non liées.
• Instabilité des métriques : Dans des simulations avec des données hautement déséquilibrées (1 % de classe minoritaire), le papier illustre que l'AUROC peut paraître stable alors que le Nombre de Mauvais Classifications (NMC) révèle que le modèle est moins performant qu'un classificateur naïf qui prédit toujours la classe majoritaire. Inversement, une métrique de mauvaise classification pondérée et alignée sur les coûts d'application fournit une évaluation plus réaliste.
• Nécessité des références : Dans un exemple PLS avec des variables non liées, la courbe de validation croisée suggérait un nombre optimal de variables latentes. Cependant, l'ajout d'une référence (PRESS à 0 variable latente) a révélé que le modèle n'offrait aucune amélioration prédictive par rapport à la moyenne, soulignant la nécessité des références pour éviter de sélectionner des modèles spécieux.
• Incertitude dans la comparaison : Dans une comparaison de quatre variantes de PLS, le papier montre que le « meilleur » modèle change selon les différentes répétitions de la validation croisée. Une analyse par boîte à moustaches (boxplot) révèle que, bien qu'un modèle ait une médiane légèrement plus élevée, la différence n'est pas statistiquement significative, et qu'un modèle plus simple pourrait être préféré pour des raisons pratiques.

Signification et revendications
Le papier affirme que bien qu'aucun schéma de validation ne soit parfait, l'adhésion à ces règles générales permet aux praticiens de concevoir des stratégies qui sont « suffisantes pour un usage pratique ». La portée réside dans le passage d'une adhésion rigide à des algorithmes spécifiques vers une approche fondée sur des principes qui :

1. Assure la transparence en exigeant le rapport des limites, des niveaux d'indépendance et de l'exhaustivité de l'ensemble de test.
2. Facilite la comparabilité en standardisant le rapport des références, des mesures d'incertitude et du contexte pratique des métriques de performance.
3. Fournit un cadre pour la détection de la fuite de données et du surapprentissage grâce à l'utilisation d'exemples nuls et de références appropriées.

L'auteur conclut que ces règles sont destinées à aider les praticiens à discuter ouvertement des limites de leurs stratégies de validation et à rapporter des métriques de performance claires et comparables, favorisant ainsi des modèles fondés sur les données plus dignes de confiance. Le papier ne prétend pas résoudre tous les défis de la validation, mais offre un outil conceptuel pour atténuer le risque de surestimer la performance de généralisation dans des pipelines de données complexes.