Partial VOROS: A Cost-aware Performance Metric for Binary Classifiers with Precision and Capacity Constraints

1. Problématique

L'évaluation des classificateurs binaires dans des applications à haut risque (comme les systèmes d'alerte pour les patients hospitalisés) repose souvent sur la courbe ROC (Receiver Operating Characteristic) et son aire sous la courbe (AUC). Cependant, les auteurs identifient trois limitations majeures de l'analyse ROC conventionnelle dans ces contextes opérationnels :

1. Contrainte de Précision : Dans les systèmes d'alerte, un taux de faux positifs élevé entraîne une "fatigue d'alarme", incitant le personnel médical à ignorer les alertes. Il est donc crucial d'imposer une contrainte minimale de précision (fraction d'alertes correctes).
2. Contrainte de Capacité : Les ressources humaines (médecins, infirmiers) sont limitées. Le système ne peut pas générer un nombre illimité de prédictions positives (alertes) simultanées. Une contrainte de capacité (nombre maximal d'alertes) doit être respectée.
3. Coûts Asymétriques : Les conséquences d'un faux positif (temps perdu) et d'un faux négatif (patient non traité, décès potentiel) sont asymétriques. Les métriques standards ne reflètent pas toujours ces coûts variables selon le contexte.

L'objectif de l'article est de développer une métrique de performance capable de classer les classificateurs en tenant compte simultanément de ces coûts asymétriques, des contraintes de précision et des contraintes de capacité.

2. Méthodologie

Les auteurs proposent une extension géométrique et mathématique de l'analyse ROC, introduisant le concept de Partial VOROS (Volume Over the ROC Surface partiel).

A. Définition de la Région Faisable

L'espace ROC standard (un carré unité défini par le Taux de Vrais Positifs - TPR, et le Taux de Faux Positifs - FPR) est restreint par deux contraintes linéaires :

• Limite de Précision ($\alpha$) : Une ligne dans l'espace ROC au-dessus de laquelle la précision est supérieure à $\alpha$.
• Limite de Capacité ($\kappa$) : Une ligne définissant le nombre maximal de prédictions positives ($N_{TP} + N_{FP} \le \kappa$).

L'intersection de ces contraintes avec l'espace ROC définit une région faisable (feasible region), qui prend la forme d'un polygone (triangle ou quadrilatère) selon les valeurs de $\alpha$, $\kappa$ et la prévalence des données. Seuls les classificateurs opérant dans cette région sont considérés comme viables.

B. Surface ROC et Coût Normalisé

En s'appuyant sur le travail précédent de Ratigan et Cowen (2025) sur le VOROS (Volume Over the ROC Surface), les auteurs intègrent un troisième axe : le paramètre de coût fractionnaire $t \in [0, 1]$.

• $t$ représente la part du coût total due aux faux positifs.
• Pour chaque point $(h, k)$ dans l'espace ROC et chaque $t$, une ligne d'iso-performance est tracée. Les points situés en dessous de cette ligne ont un coût supérieur.

C. Calcul du Partial VOROS (PV)

La métrique proposée, le Partial VOROS, est calculée en trois étapes :

1. Aire partielle des classificateurs inférieurs : Pour un classificateur donné et un paramètre de coût $t$, on calcule l'aire de la partie de la région faisable située sous la ligne d'iso-performance de ce classificateur. Cette aire représente les classificateurs faisables qui sont "inférieurs" (plus coûteux).
2. Maximisation par seuil : Pour un classificateur score-produisant, on cherche le seuil $\tau$ qui maximise cette aire partielle pour un $t$ donné.
3. Intégration sur la distribution de coût : On intègre cette aire maximale sur une distribution de probabilité $p(t)$ des coûts (représentant l'incertitude ou la variabilité des coûts réels).

La formule finale est :
$$PV(F) = \frac{1}{A^*} \int_{0}^{1} p(t) \max_{\tau} (A^*_t(F_\tau)) \, dt$$
Où $A^*$ est l'aire totale de la région faisable (pour normaliser la métrique entre 0 et 1).

3. Contributions Clés

1. Géométrie de la Région Faisable : Les auteurs formalisent la géométrie polygonale de l'espace ROC restreint par les contraintes de précision et de capacité, en identifiant les cas limites (triangles, quadrilatères) et en fournissant des formules pour le calcul de leur aire.
2. Nouvelle Métrique (Partial VOROS) : Introduction d'une métrique 3D qui combine la gestion des coûts asymétriques (via l'axe $t$) avec des contraintes opérationnelles strictes (précision et capacité). Contrairement à l'AUC partielle ou au VOROS standard, le PV ignore les régions de l'espace ROC qui ne sont pas opérationnellement viables.
3. Algorithme Efficace : Une méthode de calcul efficace est proposée, exploitant l'enveloppe convexe de la courbe ROC pour déterminer les points optimaux et les aires associées avec une complexité temporelle raisonnable ($O(n \log n)$ ou linéaire si l'enveloppe est connue).
4. Guide Pratique : Un guide utilisateur est fourni pour aider les praticiens à définir les paramètres ($\alpha, \kappa$, distribution de coûts) et à utiliser la métrique pour la sélection de modèles.

4. Résultats Expérimentaux

Les auteurs ont évalué leur approche sur deux tâches de prédiction de mortalité hospitalière utilisant les jeux de données MIMIC-IV et eICU.

• Analyse des Scores d'Alerte (Section 5) : En réanalysant des scores d'alerte existants (NEWS, NEWS2, Rothman Index) sur des données réelles, ils montrent que le "meilleur" score dépend fortement des contraintes de précision et de capacité. Le Partial VOROS permet d'identifier des gagnants clairs dans des zones spécifiques de l'espace des contraintes, là où les métriques traditionnelles échouent à discriminer.
• Sélection de Modèles (Section 6) : Une expérience comparative a été menée pour sélectionner le meilleur classificateur (Logistic Regression, MLP, Random Forest) et son seuil d'activation.
  • Scénarios : Deux scénarios ont été testés : l'un permissif (faible exigence de précision, haute capacité) et l'autre contraignant (haute précision, faible capacité).
  • Comparaison : Le Partial VOROS a été comparé à des stratégies ignorant les coûts (maximisation de la précision partielle, rappel) ou ignorant les contraintes (VOROS complet).
  • Résultats :
    • Dans le scénario permissif, le PV a obtenu le coût moyen le plus faible sur les données de test.
    • Dans le scénario contraignant, le PV a souvent égalé ou surpassé les autres stratégies, tandis que le VOROS standard (ignorant les contraintes) a sélectionné des modèles avec des coûts nettement plus élevés.
    • Respect des contraintes : Les modèles sélectionnés par PV respectaient systématiquement les contraintes de précision et de capacité sur les données de test, contrairement à certaines stratégies basées sur le rappel qui violaient parfois la contrainte de capacité ou de précision lors du passage au test.

5. Signification et Conclusion

L'article démontre que l'évaluation des classificateurs binaires pour des applications critiques (santé, détection de fraude) ne peut se faire uniquement sur la base de la discrimination globale (AUC) ou de l'optimisation de coûts sans contraintes.

• Pertinence Opérationnelle : Le Partial VOROS aligne l'évaluation des modèles sur la réalité du déploiement, où les ressources sont limitées et où la fiabilité des alertes (précision) est primordiale pour éviter la fatigue des opérateurs.
• Prise de Décision : Il offre un cadre mathématique rigoureux pour choisir non seulement le modèle, mais aussi le seuil d'activation optimal en fonction de la tolérance au risque et de la capacité de traitement de l'organisation.
• Limites et Perspectives : La métrique dépend de la prévalence des données (la prévalence doit être fixe pour comparer les PV entre jeux de données). Les auteurs soulignent la nécessité de futures recherches sur la robustesse de ces contraintes face aux dérives de données (data drift) et sur les garanties statistiques de respect des contraintes en production.

En résumé, le Partial VOROS représente une avancée significative vers une évaluation de l'apprentissage automatique "consciente des coûts et des contraintes", essentielle pour le déploiement responsable de l'IA dans des environnements à haut risque.