Deployment-complete benchmarking

Résumé technique : Évaluation complète du déploiement

Énoncé du problème
Les benchmarks d'apprentissage automatique actuels orientent de plus en plus des décisions de déploiement critiques, telles que le choix des modèles, le criblage de matériaux et le triage de composés. Cependant, une rupture fondamentale existe : un score de benchmark ne fournit des preuves que pour la réponse spécifique qu'il enregistre (par exemple, la précision de prédiction sur un ensemble de test), et non nécessairement pour l'action de déploiement requise (par exemple, la sécurité, la robustesse ou un seuil physique spécifique). Un modèle peut performer parfaitement sur un benchmark tandis que l'action déduite de ce score reste sous-déterminée, car le déploiement dépend de réponses hors du champ du benchmark (par exemple, toxicité, stabilité ou robustesse hors distribution). Cet article soutient que des métriques standard telles que la précision, l'étalonnage et l'incertitude ne garantissent pas qu'un score de benchmark étaye une affirmation de déploiement spécifique.

Méthodologie
Les auteurs introduisent l'évaluation complète du déploiement, un cadre qui traite la transition des preuves du benchmark vers l'action de déploiement comme un problème de factorisation mathématique.

• Définitions formelles :

  • Soit $S$ l'espace des candidats, $Z$ l'espace des preuves enregistrées (scores de benchmark) et $A$ l'espace des actions de déploiement.
  • Un benchmark enregistre une carte de preuves $E: S \to Z$. Une affirmation de déploiement est une action $D: S \to A$.
  • Complétude de l'affirmation : Un benchmark est complet pour une affirmation $D$ si et seulement si $D$ est constante sur chaque fibre de preuve $E^{-1}(z)$. Autrement dit, il doit exister une application $\phi: Z \to A$ telle que $D = \phi \circ E$.
  • Fibres mixtes : Si une fibre $E^{-1}(z)$ contient des candidats nécessitant des actions de déploiement différentes (par exemple, un candidat doit être déployé, un autre rejeté), il s'agit d'une « fibre mixte ». Cela sert de témoin mathématique que les preuves rapportées sont insuffisantes pour déterminer l'action.

• Outils de diagnostic :

  • Audit des fibres mixtes : Un diagnostic qui compte la fraction de candidats résidant dans des fibres mixtes.
  • Courbes de complétion : Elles quantifient le coût (en termes de sondes de réponse supplémentaires ou de budget) nécessaire pour résoudre l'ambiguïté. Elles tracent la « fraction certifiée » (candidats avec des fibres pures) par rapport au « budget de réponse ».
  • Types de certification : L'article distingue la certification exacte (ensembles finis avec des étiquettes connues), la certification par étalonnage (risque empirique sur des données retenues) et la certification prédictive (bornes d'intervalle basées sur des hypothèses de modélisation).

• Conception expérimentale :

  • Espaces de réponse contrôlés : Expériences synthétiques où la géométrie de l'espace de réponse est connue, permettant le calcul précis de la « taille résiduelle » (la composante de la réponse de déploiement invisible pour le benchmark).
  • Audits publics : Analyse de jeux de données existants (Tox21, Matbench, JARVIS, Vision) pour mesurer la prévalence des fibres mixtes dans les benchmarks réels.
  • Rejoues sur données retenues : Simulations opérationnelles où un flux de travail « certifier puis acquérir » est testé. Les candidats à fibres pures sont décidés immédiatement ; ceux dans des fibres mixtes sont envoyés pour des mesures supplémentaires (acquisition).

Résultats clés

1. Précision du benchmark $\neq$ Complétude du déploiement :

   • Dans des expériences contrôlées, la prédiction conforme par canal de benchmark a atteint une couverture de 94,98 % sur les étiquettes mesurées, mais seulement 10,07 % sur le canal de déploiement non mesuré.
   • Même avec zéro erreur de benchmark (prédiction parfaite sur le benchmark), la couverture de déploiement s'est effondrée (à 45,4 % pour une taille résiduelle spécifique) car la direction de déploiement avait une composante orthogonale à l'enveloppe du benchmark.
   • Inversion du classement : Le modèle ayant la meilleure erreur absolue moyenne (MAE) sur le benchmark était souvent le pire pour certifier les candidats de déploiement. Dans certaines exécutions, le modèle avec la meilleure MAE n'a certifié que 6 % de ses meilleurs candidats, tandis qu'un modèle avec une MAE plus faible en a certifié 100 %, car son enveloppe de réponse couvrait la sonde de déploiement.

2. Incomplétude systémique des benchmarks publics :

   • Tox21 : 97,9 % des fibres (groupes de composés avec des profils d'essais 7 identiques) étaient mixtes concernant le point de terminaison de déploiement SR-p53.
   • Matbench et JARVIS : Dans les principaux audits par 20 quantiles, la fraction certifiable médiane pour les affirmations de stabilité et de bande interdite était de 0 %.
   • Vision : Les fibres de prédiction propres ont laissé 22,7 % des affirmations de robustesse face aux corruptions ambiguës.

3. Impact opérationnel des politiques conscientes de la complétion :

   • Réduction des décisions erronées : Dans les rejoues sur données retenues de Tox21, un flux de travail « certifier puis acquérir » a réduit les décisions fausses empiriques de 1,19 % (politique majoritaire du benchmark) à 0,027 %. Dans JARVIS, les décisions fausses sur la bande interdite sont passées de 20,3 % à 0,128 %.
   • Sélection de modèles : Les flux de travail conscients de la complétion ont sélectionné des modèles différents de ceux des flux basés sur la MAE du benchmark. Dans une division représentative de JARVIS, le modèle basé sur la MAE du benchmark a pris 613 décisions fausses sur la bande interdite, tandis que le flux de travail sélectionné par réponse n'en a pris aucune.
   • Sélection de sondes : Les politiques « classement par réponse » et « gourmande résiduelle » ont identifié avec succès des sondes pertinentes pour le déploiement (par exemple, des essais de toxicité spécifiques ou des calculs de bande interdite) qui ont réduit l'ambiguïté, surpassant les stratégies d'acquisition basées sur l'incertitude ou la diversité.

Signification et affirmations
L'article affirme que les benchmarks prêts au déploiement doivent passer d'un standard de rapport basé sur « les scores uniquement » à un package de preuves auditable. Ce package doit inclure :

1. Le score.
2. La carte de preuves utilisée.
3. L'action spécifique que le score est censé étayer.
4. La fraction de candidats dont l'action est déjà déterminée (fibres pures).
5. La fraction d'ambiguïté (fibres mixtes).
6. Le coût de complétion (budget nécessaire pour résoudre l'ambiguïté).

Les auteurs soutiennent que la précision, l'étalonnage et l'estimation de l'incertitude restent précieux pour le classement et la fiabilité, mais répondent à des questions différentes. La complétude du déploiement demande spécifiquement si le package de preuves détermine l'action. Le cadre fournit un diagnostic pour identifier lorsque les preuves sont insuffisantes, une limite sur ce que les statistiques peuvent réparer concernant les informations manquantes (rien, si elles reposent uniquement sur les mêmes preuves), et une règle de conception pour acquérir les informations nécessaires afin d'étayer les décisions de déploiement.

Limites et portée
L'article ne prétend pas que tous les benchmarks sont inutiles, mais plutôt qu'ils sont souvent incomplets pour des affirmations de déploiement spécifiques. Le flux de travail « certifier puis acquérir » traite les candidats ambigus non pas comme des échecs, mais comme des demandes de mesures supplémentaires. Le cadre est relatif aux preuves ; l'ajout de descripteurs, de contraintes ou de nouvelles mesures modifie la carte de preuves et peut réduire les coûts de complétion. Les résultats sont présentés comme des évaluations de risque empirique sur des données retenues et des diagnostics mathématiques sur des ensembles finis, plutôt que comme des garanties formelles de population pour des distributions non observées.