Learning from Disagreement: Clinician Overrides as Implicit Preference Signals for Clinical AI in Value-Based Care

1. Énoncé du problème

Les systèmes actuels d'aide à la décision clinique (ADC) souffrent de taux de dépassement élevés (souvent >96 %), traditionnellement interprétés comme des échecs du système (fatigue d'alerte, mauvaise spécificité) à minimiser. L'article soutient que cette interprétation est fondamentalement erronée.

• Le malentendu central : Traiter les dépassements comme du bruit élimine la source la plus riche de données de préférence disponible en IA clinique.
• Le défi spécifique : Dans l'apprentissage par renforcement à partir de retours humains (RLHF) standard, les annotateurs sont souvent uniformes ou traités comme ayant un poids égal. Dans les contextes cliniques, l'hétérogénéité des cliniciens est cruciale. Un « rejet » d'une recommandation de l'IA peut découler de :
  1. Un jugement clinique authentique : L'IA a tort (signal de préférence valide).
  2. Des lacunes de compétence : L'IA a raison, mais le clinicien manque de compétence/confiance pour exécuter l'action (signal de préférence invalide pour le modèle de récompense, mais signal valide pour un modèle de compétence).
  3. Contraintes de flux de travail/protocole : Facteurs externes sans rapport avec la qualité clinique.
• Le mode de défaillance : Les systèmes naïfs d'apprentissage par préférence confondent ces signaux. Si une population de cliniciens à faible compétence dépasse une recommandation correcte mais difficile (par exemple, initier des inhibiteurs SGLT2 pour l'insuffisance cardiaque), le système apprend que la recommandation est « mauvaise » et la supprime. Les auteurs qualifient cela de biais de suppression.

2. Méthodologie et cadre formel

L'article propose un cadre formel qui reformule les dépassements comme des signaux de préférence implicites conditionnés par trois variables : l'état du patient ($s$), le contexte/contrat organisationnel ($c$) et la compétence du clinicien ($\kappa$).

A. La taxonomie des dépassements

Les auteurs catégorisent les dépassements en cinq types distincts, chacun correspondant à une cible de mise à jour spécifique du modèle :

1. Contexte : Le clinicien possède des informations privées absentes de l'état de l'IA (Mise à jour : Élargir la représentation de l'état).
2. Jugement : Désaccord authentique avec les preuves (Mise à jour : Modèle de récompense).
3. Flux de travail : Contraintes telles que le temps ou le personnel (Mise à jour : Filtrer des données d'entraînement).
4. Protocole : Règles institutionnelles prévalant sur l'IA (Mise à jour : Élargir le contexte du contrat).
5. Compétence : Le clinicien manque de compétence pour exécuter (Mise à jour : Modèle de compétence).

B. L'architecture d'apprentissage dual

Le cadre introduit un problème d'apprentissage dual résolu par optimisation alternée pour séparer « ce qui est juste » de « qui peut le faire ».

1. Modèle de récompense ($R_\theta$) : Apprend la valeur clinique-économique latente des actions. Il est entraîné sur des paires de préférences pondérées par la compétence du clinicien.
   • Formule : $P(a' \succ r | s, c, \kappa) = \sigma(\beta(\kappa) \cdot [R^*(s, a', c) - R^*(s, r, c)])$
   • La fonction de pondération $\beta(\kappa)$ garantit que les cliniciens à haute compétence pilotent les mises à jour de récompense, tandis que les dépassements à faible compétence sont sous-pondérés.
2. Modèle de compétence ($\kappa_\phi$) : Apprend la compétence spécifique au domaine de chaque clinicien.
   • Il estime dans quelle mesure le comportement d'un clinicien s'aligne sur la meilleure estimation actuelle du modèle de récompense.
   • Décomposition : $\kappa$ est divisé en compétence d'exécution (peuvent-ils le faire ?) et compétence d'alignement (pratiquent-ils d'une manière alignée sur les résultats basés sur la valeur ?).

C. Boucle d'optimisation alternée

Pour éviter le raisonnement circulaire et le biais de suppression, le système itère :

1. Étape E : Fixer le modèle de récompense ($R_\theta$) et estimer la compétence du clinicien ($\kappa$) en fonction de la capacité de $R_\theta$ à prédire les dépassements du clinicien.
2. Étape M : Fixer le modèle de compétence ($\kappa$) et mettre à jour le modèle de récompense ($R_\theta$) en utilisant les vraisemblances de préférence pondérées par la compétence.
3. Ancrage des résultats : Pour éviter que le système ne converge vers un biais collectif des cliniciens, les modèles convergents sont validés par rapport aux résultats longitudinaux des patients (par exemple, taux d'hospitalisation, contrôle de l'HbA1c) observés rétrospectivement.

D. L'avantage de l'action « Modifier »

Contrairement au RLHF standard qui utilise des comparaisons binaires par paires, les dépassements cliniques offrent une réponse à trois valeurs :

• Accepter : Endossement.
• Rejeter : Préférence pour une alternative (binaire).
• Modifier : Le signal le plus riche. Il fournit une paire de préférences plus un signal de proximité (l'alternative est proche de la recommandation) et une direction de gradient (comment améliorer la recommandation).

3. Contributions clés

1. Reformulation des dépassements : Changement de paradigme de « dépassements comme bruit/échec » vers « dépassements comme données de préférence structurées ».
2. Apprentissage par préférence conditionné à la compétence : Une formulation novatrice où le poids d'un signal de préférence est une fonction de la compétence de l'annotateur ($\kappa$), empêchant la suppression des recommandations correctes mais difficiles.
3. Architecture d'apprentissage dual : Une solution formelle au problème couplé d'apprentissage simultané d'un modèle de récompense et d'un modèle de compétence, abordant explicitement le biais de suppression.
4. Récompenses conditionnées au contexte : Extension de l'apprentissage par préférence pour inclure les structures de contrats organisationnels ($c$), reconnaissant que l'action « correcte » dans les soins basés sur la valeur (VBC) diffère de celle des soins à l'acte (FFS).
5. Plan directeur du système : Une architecture complète pour capturer, classifier et apprendre des dépassements, incluant des mécanismes d'échafaudage pour améliorer la compétence des cliniciens sur la base des insights du modèle.

4. Résultats et validation (Contexte théorique et empirique)

• Démonstration du biais de suppression : L'article démontre théoriquement que dans une population où 70 % des cliniciens manquent de compétence pour exécuter une thérapie recommandée par les lignes directrices, un modèle naïf apprend que la thérapie est sous-optimale. Le modèle corrigé par $\kappa$ identifie correctement la thérapie comme optimale en sous-pondérant les dépassements à faible compétence.
• Volant de données : Dans les soins chroniques en VBC, le système crée un avantage d'apprentissage cumulatif :
  • Densité longitudinale : Des milliers d'interactions par clinicien par trimestre.
  • Observabilité des résultats : Contrairement au RLHF standard, les résultats cliniques (par exemple, hospitalisation) fournissent une vérité terrain pour valider les préférences.
  • Concentration : À mesure que le modèle s'améliore, les dépassements se concentrent sur les « angles morts » (signaux d'apprentissage à haute valeur) plutôt que sur les décisions de routine.
• Provenance opérationnelle : Le cadre est issu d'un travail opérationnel dans un déploiement VBC en direct, traitant des pathologies réelles où les recommandations disparaissaient parce que la population ne pouvait pas les exécuter.

5. Signification et implications

• Pour l'IA clinique :
  • L'instrumentation est critique : Les systèmes doivent être conçus dès le départ pour capturer des données de dépassement structurées (y compris l'alternative spécifique choisie), et non pas seulement un accept/rejet binaire.
  • Échafaudage : Le système peut améliorer activement la main-d'œuvre en identifiant les lacunes de compétence et en fournissant un soutien ciblé (par exemple, listes de contrôle, protocoles) aux cliniciens à faible $\kappa$, augmentant ainsi la qualité des futurs signaux de préférence.
• Pour la recherche RLHF :
  • Hétérogénéité des annotateurs : Le concept de pondération des préférences par la compétence de l'annotateur ($\kappa$) est généralisable à la génération de code, à l'examen juridique et à la modération de contenu.
  • Le contexte compte : Les fonctions de récompense doivent être conditionnées au contexte opérationnel (par exemple, type de contrat, politique de plateforme), et non seulement à la qualité intrinsèque.
• Politique et économie :
  • L'article soutient que les soins basés sur la valeur (VBC) avec des incitations fondées sur les résultats sont une condition nécessaire pour apprendre des modèles de récompense alignés. Les structures de soins à l'acte (FFS) créent des incitations désalignées qui corrompent le signal de préférence, quelle que soit la sophistication de l'IA.
  • Les développeurs d'IA et les décideurs politiques doivent s'aligner pour créer des géométries d'incitation (comme le modèle CMS ACCESS) qui récompensent les interventions définitives et précoces, permettant à l'IA d'apprendre à partir de données de haute qualité validées par les résultats.

Conclusion

L'article établit que les dépassements de cliniciens ne sont pas des échecs mais le signal d'entraînement le plus précieux en IA clinique, à condition qu'ils soient traités via un cadre d'apprentissage dual qui dissocie la vérité clinique (Récompense) de la limitation humaine (Compétence). En exploitant les données de résultats longitudinales et la pondération conditionnée à la compétence, l'IA clinique peut simultanément améliorer ses recommandations et la capacité de la main-d'œuvre clinique à les exécuter, créant un volant de données cumulatif d'amélioration des résultats pour les patients.