Résumé technique : Sélection statistiquement valide d'hyperparamètres

1. Définition du problème

La monographie traite de l'écart critique dans le déploiement de l'IA moderne entre l'optimisation empirique des hyperparamètres (HPO) et la fiabilité statistique. Bien que les méthodes standard d'HPO (par exemple, recherche par grille, optimisation bayésienne) minimisent efficacement le risque empirique sur un ensemble de validation, elles manquent de garanties formelles que l'hyperparamètre sélectionné respectera des contraintes de fiabilité spécifiques (par exemple, bornes de risque, limites de latence, métriques d'équité) sur la véritable distribution sous-jacente des données.

Le problème central est défini comme suit : Étant donné un ensemble fini de candidats aux hyperparamètres $\Lambda = \{\lambda_1, \dots, \lambda_K\}$ et un ensemble de données de calibration fini $D_{cal}$, l'objectif est de sélectionner un hyperparamètre $\hat{\lambda}$ tel que son risque réel $R(\hat{\lambda})$ soit garanti inférieur à un seuil $\alpha$ spécifié par l'utilisateur avec une haute probabilité ($1-\delta$). Crucialement, cette garantie doit être maintenue post-sélection, en tenant compte de la randomisation introduite par la recherche sur plusieurs candidats et de la taille finie des données de calibration.

2. Méthodologie : Le paradigme Learn-Then-Test (LTT)

Le document propose un cadre unifié appelé Learn-Then-Test (LTT), qui reformule la sélection d'hyperparamètres comme un problème de tests d'hypothèses multiples (MHT).

2.1 Cadre central

Au lieu de minimiser directement le risque empirique, le LTT associe à chaque candidat $\lambda_k$ une hypothèse nulle :
$$H_k: R(\lambda_k) > \alpha$$
L'objectif est de rejeter $H_k$ (certifier $\lambda_k$ comme fiable) uniquement s'il existe une preuve statistique suffisante que le risque réel ne dépasse pas $\alpha$.

Le flux de travail comprend :

1. Estimation du risque : Calcul des estimations du risque empirique $\hat{R}_n(\lambda_k)$ sur les données de calibration.
2. Construction de la preuve : Transformation de ces estimations en mesures de preuve statistique valides : p-valeurs ou e-valeurs.
3. Tests multiples : Application d'une procédure de MHT pour contrôler les taux d'erreur globaux (Taux d'erreur familial - FWER, ou Taux de fausses découvertes - FDR) sur l'ensemble des candidats.
4. Sélection : Sélection d'un hyperparamètre final à partir de l'ensemble certifié $\hat{\Lambda}$ (le sous-ensemble des hypothèses nulles rejetées) basé sur des objectifs secondaires (par exemple, précision, efficacité).

2.2 Machinerie statistique

La monographie développe les outils statistiques nécessaires à partir des principes fondamentaux :

• P-valeurs : Construites via des inégalités de concentration (par exemple, l'inégalité de Hoeffding) pour borner la probabilité d'observer un risque empirique significativement plus bas que le risque réel sous l'hypothèse nulle.
• E-valeurs : Introduites comme une mesure de preuve alternative satisfaisant $E[e_k | H_k] \le 1$. Les e-valeurs sont mises en avant pour leurs propriétés supérieures dans les contextes séquentiels et adaptatifs, notamment la validité post-hoc (validité indépendamment du moment où le test est arrêté) et la validité compositionnelle (capacité à combiner les preuves par moyenne ou multiplication).
• Contrôle de l'erreur :
  • Contrôle du FWER : Garantit qu'avec une probabilité $1-\delta$, aucun hyperparamètre non fiable n'est sélectionné (en utilisant des procédures telles que Bonferroni ou le Test de Séquence Fixe).
  • Contrôle du FDR : Garantit que la fraction attendue d'hyperparamètres non fiables dans l'ensemble sélectionné est au plus $\delta$ (en utilisant les procédures Benjamini-Hochberg ou e-BH).

3. Contributions clés et extensions

La monographie étend le cadre central LTT selon quatre directions principales pour répondre à des contraintes complexes du monde réel :

3.1 Au-delà du risque moyen (Fonctionnelles de fiabilité générales)

Le cadre est généralisé pour gérer des fonctionnelles de risque au-delà de la moyenne ($E[L]$).

• Contrôle du risque par quantile (QLTT) : Certifie qu'un quantile spécifique de la distribution de perte (par exemple, le 90e percentile de la latence) est inférieur à un seuil, protégeant ainsi contre les événements extrêmes (tail events).
• Contraintes d'information théorique (IB-LTT) : S'applique au problème du goulot d'étranglement de l'information (Information Bottleneck), certifiant que l'information mutuelle $I(T; Y)$ (pertinence) dépasse un seuil tout en optimisant la compression $I(X; T)$.

3.2 Sélection multi-objectifs

Le cadre traite des scénarios impliquant plusieurs contraintes de fiabilité simultanées ($LC$) et des objectifs auxiliaires ($L - LC$).

• Pareto Testing (PT) : Restreint les tests d'hypothèses à la frontière de Pareto estimée de l'ensemble des candidats. Il utilise une approche en deux étapes : (1) identifier la frontière de Pareto en utilisant un sous-ensemble de données ($D_{opt}$), et (2) appliquer le Test de Séquence Fixe (FST) sur la frontière ordonnée en utilisant un ensemble de données disjoint ($D_{MHT}$).
• Reliability Graph-Based Pareto Testing (RG-PT) : Incorpore des connaissances structurelles préalables (par exemple, longueur du prompt vs fiabilité) via un graphe orienté acyclique (DAG). Il utilise l'algorithme DAGGER pour traverser le graphe, permettant une exploration parallèle des chemins de fiabilité et améliorant l'efficacité par rapport à un ordonnancement linéaire.

3.3 Sélection adaptative et séquentielle

Pour réduire les budgets d'étiquetage et les coûts computationnels, la monographie introduit l'Adaptive LTT (aLTT).

• Mécanisme : Au lieu d'un lot fixe, les données arrivent séquentiellement. La procédure utilise des e-processus pour mettre à jour la preuve pour chaque candidat de manière dynamique.
• Inférence valide à tout instant (Anytime-Valid Inference) : En exploitant les e-valeurs, la procédure peut s'arrêter à n'importe quel moment dépendant des données (par exemple, une fois qu'un nombre cible de candidats fiables est trouvé) sans invalider les garanties statistiques.
• Politiques d'acquisition : Emploie des stratégies (par exemple, $\epsilon$-greedy) pour allouer les ressources d'évaluation aux candidats les plus prometteurs, interrompant précocement les moins performants.

3.4 Auto-évaluation avec vérité terrain limitée

Le cadre est adapté aux contextes où les étiquettes de vérité terrain sont coûteuses mais les étiquettes "auto-évaluées" (par exemple, via un LLM-as-a-judge) sont peu coûteuses.

• R-AutoEval / R-AutoEval+ : Combine le test par pari (e-processus) avec l'Inférence Propulsée par la Prédiction (PPI). Cela permet une sélection fiable en utilisant un mélange de données de vérité terrain rares et de données auto-évaluées abondantes, corrigeant ainsi le biais de l'auto-évaluateur.

4. Résultats expérimentaux

La monographie valide le cadre par des comparaisons empiriques sur trois applications distinctes :

1. Classification d'images (Fashion-MNIST) :

   • Configuration : Sélection de paramètres de régularisation pour une régression logistique.
   • Résultat : L'HPO empirique conventionnel (E-HPO) a violé le seuil de risque cible ($\alpha=0.2$) dans 53 % des essais. Le LTT a contrôlé le taux de violation à 3 %, bien en dessous de la cible $\delta=0.2$.

2. Planification sans fil (Wireless Scheduling) :

   • Configuration : Sélection d'hyperparamètres pour un planificateur de paquets basé sur l'apprentissage afin de minimiser le délai.
   • Résultat : L'E-HPO a entraîné un délai moyen dépassant le seuil de 10ms dans 66 % des essais. Le LTT a maintenu le taux de violation en dessous de la cible.
   • Extension : Dans le cadre multi-objectif (contrôlant les délais pour deux classes de QoS simultanément), le PT a réussi à contrôler les deux contraintes, alors que le LTT à objectif unique a échoué à garantir la contrainte non optimisée.

3. Ingénierie de prompts (LLMs) :

   • Configuration : Sélection de modèles de prompts pour l'analyse de sentiment avec des contraintes sur la précision et la longueur du prompt.
   • Résultat : Le RG-PT, en exploitant les structures de fiabilité préalables, a systématiquement identifié des prompts plus courts et fiables par rapport au LTT et au PT, tout en maintenant les mêmes garanties de FDR.

5. Signification et affirmations

La thèse soutient que sa contribution principale est de déplacer le paradigme de la sélection d'hyperparamètres de l'optimisation-centrique (minimisation empirique de type "best-effort") vers le fiabilité-centrique (satisfaction de contraintes avec garantie statistique).

• Garanties formelles : Contrairement à l'HPO standard, le LTT fournit des garanties post-sélection en échantillon fini que le système déployé ne violera pas de contraintes critiques de sécurité ou de performance avec une probabilité supérieure à un $\delta$ défini par l'utilisateur.
• Modularité : Le cadre est agnostique quant à la méthode utilisée en amont pour générer l'ensemble de candidats $\Lambda$ (recherche par grille, optimisation bayésienne, etc.). Il agit comme une "couche de sécurité" applicable à n'importe quel ensemble de candidats.
• Robustesse au biais de sélection : En modélisant explicitement le processus de sélection comme un problème de tests multiples, le cadre corrige le "biais de sélection" inhérent au choix du meilleur candidat parmi un grand groupe, un défaut qui fragilise les méthodes empiriques standards.
• Flexibilité : L'extension aux risques de quantile, aux contraintes d'information théorique, aux contextes multi-objectifs et à l'acquisition séquentielle de données démontre l'applicabilité du cadre à divers scénarios de déploiement d'IA complexes, incluant les systèmes critiques pour la sécurité et les environnements à ressources contraintes.

La monographie conclut que si le réglage heuristique reste utile pour trouver des configurations performantes, la sélection statistiquement valide est nécessaire lorsque la fiabilité, la sécurité et le respect strict des accords de niveau de service (SLA) sont primordiaux.