Auditable machine learning for high-stakes decisions

Dans le monde moderne, les algorithmes prennent des décisions qui façonnent des vies. Ils décident de qui obtient un prêt, qui est accordé une caution, qui est embauché pour un emploi et quels patients reçoivent des soins médicaux urgents. Pendant des années, la méthode standard pour comprendre ces décisions a consisté à demander quels facteurs faisaient monter ou descendre la probabilité. Si un prêt était refusé, une explication pouvait dire que le revenu était trop faible ou que l'endettement trop élevé. Mais cette approche traite chaque facteur comme un point sur une échelle glissante, où un score élevé dans un domaine peut simplement compenser un score faible dans un autre. Cette logique de « compensation totale » fonctionne bien pour classer des publicités, mais elle échoue lorsque des lois et des réglementations sont en jeu. Dans le monde réel de la gouvernance, certaines conditions sont des barrières absolues. Un document manquant, un casier judiciaire ou une contre-indication médicale spécifique peuvent annuler une décision entièrement, peu importe la force des autres preuves. Inversement, une combinaison spécifique de faits peut suffire à garantir une approbation, quels que soient les autres points faibles. Jusqu'à présent, les modèles d'apprentissage automatique ont eu du mal à parler ce langage de conditions absolues et de déclencheurs suffisants, n'offrant souvent que des récits vagues sur ce qui a influencé un résultat plutôt que de certifier le résultat lui-même.

Une nouvelle étude présente un système conçu spécifiquement pour gérer ces décisions à enjeux élevés et auditables. Les chercheurs ont développé un modèle appelé réseau de logique bipolaire, qui repose sur une idée simple mais puissante : de nombreuses décisions du monde réel sont construites à partir de deux types distincts de règles travaillant ensemble. Le premier type identifie ce qui est suffisant pour déclencher un résultat, comme un ensemble de conditions qui, si elles sont remplies, garantissent un résultat positif. Le second type identifie ce qui est nécessaire, agissant comme un ensemble de barrières qui doivent être franchies pour qu'un résultat positif se produise. Si une condition nécessaire manque, la décision est immédiatement annulée, tout comme une clé manquante ne peut être remplacée par un portefeuille plus gros. Le système apprend ces deux ensembles de règles simultanément à partir des données, les combinant en une seule prédiction. Contrairement aux autres modèles qui tentent d'expliquer une décision de « boîte noire » après coup, ce système construit la décision et son explication comme un seul et même objet. La prédiction est la règle, et la règle est la prédiction.

Les chercheurs ont testé cette approche sur trente ensembles de données réels différents, couvrant des domaines allant du score de crédit à la justice pénale, en passant par le diagnostic médical et la rétention des employés. Ils ont comparé leur nouveau système à dix autres méthodes populaires d'apprentissage automatique, incluant des modèles complexes de « boîte noire » connus pour leur haute précision mais leur faible transparence, ainsi que des modèles plus simples de « boîte blanche », transparents mais souvent moins précis. Les résultats ont montré que le nouveau système a atteint un niveau de précision statistiquement équivalent aux meilleurs modèles de boîte noire sur les tâches spécifiques où les règles auditables sont cruciales. Il a été plus performant que les arbres de décision traditionnels et d'autres systèmes basés sur des règles, et bien qu'il ait été légèrement moins précis qu'un modèle transparent spécifique appelé modèle additif, il offrait ce que ce dernier ne pouvait pas offrir : une structure booléenne claire stipulant explicitement ce qui est requis et ce qui est suffisant. Dans le domaine spécifique des tâches de décision-audit, le système a égalé la performance du puissant modèle XGBoost, un standard de l'industrie, tout en fournissant un chemin logique clair et vérifiable.

Au-delà de la précision brute, l'étude s'est concentrée sur la capacité du système à répondre aux questions difficiles que posent les régulateurs et les auditeurs. Pouvons-nous prouver qu'une condition spécifique était nécessaire ? Pouvons-nous trouver un chemin vers l'approbation qui contourne une règle ? Le système a démontré une capacité à récupérer les conditions nécessaires avec une grande précision, surpassant les méthodes existantes utilisées en sciences sociales et en épidémiologie à cette fin précise. Lors de tests impliquant des scénarios de politiques synthétiques, le système a commis très peu d'erreurs en invalidant des cas qui auraient dû être autorisés, maintenant les faux rejets en dessous de la moitié de un pour cent. Appliqué à des données réelles, telles que des dossiers de rotation du personnel, le système a identifié avec succès des facteurs d'« hygiène » — des conditions comme le revenu ou le rôle de poste qui, si elles manquent, agissent comme un veto — en les séparant des facteurs de « motivation » qui pourraient déclencher un résultat positif. Cette distinction reflète les théories de longue date de la psychologie organisationnelle, où l'absence de besoins fondamentaux cause l'insatisfaction, mais leur présence ne cause pas nécessairement la satisfaction. Le modèle a appris cette structure de lui-même, sans qu'on lui demande de la chercher.

Les chercheurs ont également soumis le système à des vérifications rigoureuses pour s'assurer qu'il ne se contentait pas de mémoriser des données ou de créer des contradictions. Ils ont vérifié que les règles générées ne se contredisaient jamais et que le système pouvait répondre systématiquement par « oui » ou par « non » à des questions sur la question de savoir si un ensemble spécifique de faits était suffisant pour déclencher une décision ou si un fait manquant bloquerait celle-ci. Dans un test impliquant des données biologiques où les relations de cause à effet réelles étaient connues, le système a correctement identifié la direction de l'influence dans quatre-vingt-trois pour cent des cas examinés. Cela suggère que le modèle ne se contente pas de trouver des motifs, mais capture la logique sous-jacente de fonctionnement de ces systèmes. L'étude a également noté avec soin les domaines où le système fonctionne moins bien. Lorsque les données impliquent des signaux continus, comme la reconnaissance d'un son ou d'une image, où un facteur peut parfaitement compenser un autre, la performance du système chute par rapport aux modèles conçus pour ces tâches. Ce n'est pas un défaut mais une caractéristique de sa conception ; le système admet quand le monde ne fonctionne pas selon des barrières et des déclencheurs stricts, et il est moins performant dans ces scénarios, ce qui est un résultat prévisible et honnête.

La portée de ce travail réside dans sa capacité à combler le fossé entre le besoin de haute précision et le besoin de transparence absolue. Dans des domaines comme la finance, la justice et la santé, une décision ne peut être prise si elle ne peut être auditée. Les outils actuels imposent souvent un choix entre un modèle hautement précis qui ne peut expliquer son raisonnement et un modèle simple, facile à expliquer, mais qui commet souvent des erreurs. Cette nouvelle approche offre un juste milieu où le modèle est à la fois assez précis pour être utile et assez structuré pour être certifié. Elle offre un moyen de ne pas seulement demander « pourquoi cette personne a été rejetée ? », mais « qu'est-ce qui était exactement requis pour que cette personne soit approuvée, et ce critère a-t-il été respecté ? ». En apprenant la double structure des déclencheurs suffisants et des barrières nécessaires, le système propose un langage qui correspond à la logique des lois et des politiques qu'il est censé appliquer. Il ne prétend pas être le modèle le plus précis pour tous les problèmes possibles, mais pour le domaine spécifique et critique des décisions à enjeux élevés, il définit un nouveau standard de ce que signifie être une machine auditable.