Deployment of AI-Assisted Interventions: Capacity Constraints and Noisy Compliance

1. Problématique

L'article aborde un défi central dans le déploiement d'outils d'IA pour des interventions ciblées (santé, éducation, recrutement) : l'écart entre la précision prédictive et l'efficacité opérationnelle.

Dans les systèmes standards, les algorithmes attribuent des scores aux individus, et ceux dépassant un seuil sont « notifiés » (nudge) pour demander un service. Cependant, deux contraintes réelles sont souvent ignorées par les pratiques actuelles :

1. Contraintes de capacité (Capacity Constraints) : Le nombre de services disponibles (ex: lits d'hôpital, rendez-vous, temps des conseillers) est limité ($M$).
2. Conformité bruyante (Noisy Compliance) : La notification n'oblige pas l'action. Les individus répondent de manière probabiliste (ex: un patient peut ignorer un rappel). De plus, des demandes peuvent provenir de personnes non notifiées (demande de base).

Le problème fondamental : Lorsque la demande dépasse la capacité, les demandes sont allouées de manière aléatoire (ou selon des règles d'urgence). Cela crée une compétition entre les demandes notifiées (généralement à haute valeur) et les demandes non notifiées (à plus faible valeur). Si le seuil de notification est mal calibré, on observe soit :

• Sous-utilisation : Trop peu de demandes, la capacité reste inutilisée.
• Cannibalisation : Trop de demandes, les individus à faible valeur (non ciblés ou mal ciblés) « volent » les créneaux aux individus à haute valeur.

L'hypothèse conventionnelle selon laquelle « une meilleure prédiction entraîne de meilleurs résultats » est donc fausse dans ce contexte.

2. Méthodologie

Les auteurs développent un modèle mathématique pour optimiser le déploiement de ces interventions.

A. Formalisation du Modèle

• Comportement : Chaque individu $i$ a une probabilité de base $p_0$ de demander un service. S'il est ciblé par l'algorithme (nudge), sa probabilité augmente de $\Delta P$.
• Allocation : Si le nombre total de demandes dépasse la capacité $M$, les créneaux sont attribués aléatoirement (modèle de base), créant un risque de cannibalisation.
• Objectif : Maximiser l'efficacité du système ($W$), définie comme la valeur totale attendue des individus servis (somme des vrais scores $r_i$ des cas traités).

B. Approximation Fluide (Fluid Model)

Pour obtenir des insights analytiques, les auteurs utilisent une approximation fluide où les variables stochastiques sont remplacées par leurs espérances. Cela permet de dériver des formules fermées pour l'efficacité.

C. Analyse des Politiques de Seuil

Ils comparent trois types de politiques de seuil ($\tau$) :

1. Seuils basés sur la prédiction : Choisis pour maximiser des métriques comme la sensibilité ou l'AUC, indépendamment de la capacité.
2. Seuils d'ajustement de capacité (Capacity-matching) : Réglés pour que le nombre espéré de demandes égale exactement la capacité $M$.
3. Seuil Optimal : Le seuil qui maximise réellement l'efficacité du système.

D. Sélection d'Algorithmes

Ils proposent une nouvelle métrique, l'OpAUC (Operational AUC), pour comparer les algorithmes, contrairement à l'AUC standard qui pondère tous les seuils de manière égale.

3. Contributions Clés

A. Caractérisation du Seuil Optimal (Théorème 1)

Les auteurs démontrent que le seuil optimal $\tau^*$ a une structure simple et surprenante : c'est le minimum de deux seuils interprétables :
$$\tau^* = \min(\tau_{score}^*, \tau_c)$$

• $\tau_{score}^*$ (Seuil optimal de score) : Maximise l'efficacité par créneau servi. Il gère le problème de la cannibalisation (éviter de servir des individus à faible valeur).
• $\tau_c$ (Seuil d'ajustement de capacité) : Assure que la capacité est entièrement utilisée. Il gère le problème de la sous-utilisation.

Le système opère dans l'un des deux régimes selon la disponibilité de la capacité :

• Si la capacité est rare, le seuil est dicté par la cannibalisation ($\tau_{score}^*$).
• Si la capacité est abondante, le seuil est dicté par la nécessité de remplir les créneaux ($\tau_c$).

B. Sous-optimalité des Politiques Standards

• Seuils prédictifs : Ils sont généralement sous-optimaux car ils ignorent totalement les contraintes opérationnelles ($M, p_0, \Delta P$). Ils peuvent entraîner des pertes d'efficacité allant jusqu'à 40-50%.
• Seuils d'ajustement de capacité : Bien qu'ils évitent la sous-utilisation, ils ignorent la cannibalisation. Ils sont sous-optimaux lorsque la capacité est limitée et que la demande de base est élevée.

C. Nouvelle Métrique : OpAUC

L'AUC standard est mal aligné avec la performance opérationnelle car il évalue la précision sur tous les seuils possibles, alors que le système n'en utilisera qu'une sous-ensemble spécifique (déterminé par la capacité).
Les auteurs introduisent l'OpAUC, qui pondère la performance de l'algorithme uniquement sur la distribution des seuils optimaux attendus. Ils prouvent que l'algorithme maximisant l'OpAUC est celui qui maximise l'efficacité du système.

4. Résultats et Étude de Cas

A. Simulations Théoriques

Les simulations montrent que l'ajustement dynamique du seuil selon la capacité et le comportement peut améliorer l'efficacité du système de jusqu'à 40 % par rapport aux seuils prédictifs standards.

B. Étude de Cas : Détection Précoce de la Sepsis (NYP)

Les auteurs appliquent leur cadre à des données réelles de 8 hôpitaux du système NewYork-Presbyterian (NYP) concernant la détection de la sepsis.

• Données : 85 160 encounters, comparaison entre le modèle Epic (AUC = 0,826) et un modèle XGBoost (AUC = 0,806).
• Scénario : Une infirmière de coordination a une capacité limitée ($M$) pour vérifier les alertes.
• Résultats sur les seuils : L'utilisation du seuil optimal (Théorème 1) permet d'identifier jusqu'à 40 % de cas de sepsis réels en plus par rapport aux seuils fixes utilisés en pratique.
• Résultats sur la sélection d'algorithmes :
  • Le modèle XGBoost, bien que possédant un AUC plus faible (0,806 vs 0,826), surpasse le modèle Epic en termes d'efficacité du système (identification de vrais positifs) lorsque la capacité est limitée ($M/N \in [0,05, 0,15]$).
  • L'amélioration atteint 22,8 %.
  • Cela s'explique par le fait que le XGBoost a une meilleure Taux de Vrais Positifs (TPR) spécifiquement dans la plage de seuils critiques pour les capacités limitées, ce que l'AUC global ne capture pas. L'OpAUC sélectionne correctement le XGBoost dans ce contexte.

5. Signification et Implications

1. Changement de paradigme : Le passage de la conception d'algorithmes (ML) à leur déploiement opérationnel. La précision prédictive brute ne garantit pas le succès si le déploiement ignore les goulots d'étranglement.
2. Actionnabilité immédiate : Les praticiens n'ont pas besoin de réentraîner des modèles. Ils peuvent améliorer radicalement les résultats en ajustant simplement les seuils de déclenchement en fonction de la capacité disponible et des taux de réponse comportementaux.
3. Critère de sélection : Pour les décideurs, l'AUC ne suffit plus. Dans des environnements contraints, il faut utiliser des métriques comme l'OpAUC qui intègrent la distribution de la capacité et les comportements humains.
4. Robustesse : L'approche reste efficace même si les prestataires de services priorisent partiellement les demandes (modèle de mélange), offrant une stratégie de couverture contre l'incertitude opérationnelle.

En résumé, cet article démontre que l'optimisation des systèmes d'IA assistée par l'homme nécessite une modélisation conjointe de la prédiction, du comportement humain et des contraintes de ressources, et que l'abandon des métriques purement prédictives au profit de métriques opérationnelles (OpAUC, seuils dynamiques) peut générer des gains substantiels.