Auditing Recorded Predictive Lead Service-Line Classifications Against Physical Verification: A Statewide Study of New York

Aux États-Unis, une règle fédérale appelée « Lead and Copper Rule Revisions » exige que chaque système de distribution d'eau communautaire crée une carte complète de ses conduites de service, les tuyaux qui transportent l'eau de la rue jusqu'aux habitations individuelles. L'objectif est de trouver et de remplacer les tuyaux fabriqués en plomb, un métal toxique qui peut causer de graves problèmes de santé, en particulier chez les enfants. Pendant des décennies, les services publics savaient où se trouvaient les tuyaux de plomb parce qu'ils possédaient de vieux registres papier ou parce qu'ils les avaient déterrés pour les inspecter. Mais pour des millions d'adresses où aucun registre n'existait, les nouvelles règles ont permis aux compagnies des eaux d'utiliser des modèles informatiques pour deviner le matériau du tuyau au lieu de creuser. Ces modèles analysent des données comme l'âge de la maison et le quartier pour prédire si un tuyau est probablement en plomb, en cuivre ou en plastique. L'idée était d'économiser de l'argent et du temps, car creuser pour chaque tuyau est incroyablement coûteux. Cependant, parce que ces modèles sont des suppositions, les règles exigent que les services publics vérifient leur précision en inspectant physiquement un échantillon des tuyaux qu'ils ont classés. L'intérêt public dépend de la question de savoir si ces suppositions informatiques sont assez fiables pour que l'on puisse leur confier la santé publique, ou si elles cachent un nombre dangereux de tuyaux de plomb sous une couche de confiance statistique.

Un chercheur nommé Muhammad Sarmad Sohail a décidé de tester ce système en examinant les registres publics déposés par les services de distribution d'eau à travers l'État de New York. New York est unique car elle publie une liste détaillée pour chaque adresse, indiquant précisément comment le service public a déterminé le matériau du tuyau : s'il l'a déterré, s'il a vérifié un registre papier ou s'il a utilisé un modèle informatique. Sohail n'a pas cherché à prouver que les modèles informatiques étaient erronés de manière générale ; au contraire, il a examiné les chiffres spécifiques déposés par les services publics pour voir s'ils étaient cohérents. Il s'est concentré sur les 153 localités de l'État de New York qui utilisaient ces modèles informatiques pour au moins 100 adresses. Sa première étape fut une vérification simple : il a compté combien de réponses différentes les modèles donnaient. Dans un système sain, un modèle devrait parfois dire « plomb », parfois « cuivre » et parfois « inconnu », selon la maison spécifique. Mais dans 75 de ces localités, couvrant près de 126 000 adresses, le modèle n'a donné qu'une seule et unique réponse pour chaque maison. C'était comme si un prévisionniste météo prédisait de la pluie pour chaque jour de l'année, quels que soient la saison ou le lieu.

Ce manque de variété n'est pas automatiquement un signe de fraude, mais c'est un signal d'alarme indiquant que quelque chose ne va pas. Sohail a ensuite comparé ces listes à « réponse unique » avec les inspections physiques que les mêmes services publics avaient effectuées dans ces mêmes villes. Dans la plupart des cas, la réponse unique donnée par le modèle correspondait à ce que les travailleurs avaient trouvé dans le sol. Cependant, dans sept endroits spécifiques, la réponse unique du modèle contredisait directement ce que les travailleurs avaient observé. L'exemple le plus frappant est celui de la ville de New York. La ville a utilisé un modèle informatique pour classer 43 215 adresses. Pour chacune de ces adresses, le modèle indiquait que le tuyau était « Known Other » (Autre connu), une catégorie qui signifie que le tuyau n'est certainement pas en plomb, même si le matériau spécifique est inconnu. La ville avait pourtant trouvé des tuyaux de plomb à des milliers d'autres endroits en utilisant des méthodes différentes, et elle avait utilisé la catégorie « inconnu » pour plus de 120 000 autres adresses. Pourtant, pour ce groupe massif de 43 000 maisons, le modèle n'a jamais suggéré qu'un tuyau pourrait être en plomb ou même inconnu. C'était un dossier parfait et ininterrompu de « pas de plomb » pour un groupe de maisons comprenant de nombreuses constructions antérieures à 1940, époque où les tuyaux de plomb étaient courants.

La contradiction n'était pas seulement un hasard statistique ; elle a été confirmée par les propres travailleurs de la ville. Dans les cinq arrondissements de la ville de New York, des travailleurs avaient physiment creusé et inspecté des dizaines de milliers de tuyaux, trouvant du plomb en nombres significatifs. Si le modèle informatique avait fonctionné correctement, il aurait dû signaler certaines de ces 43 000 adresses comme potentiellement en plomb. Au lieu de cela, il les a toutes blanchies. Le même étrange schéma est apparu à East Rochester, un petit village situé à 550 kilomètres de là, avec une compagnie des eaux totalement différente. Là aussi, le modèle a donné une réponse unique de « pas de plomb » pour chaque maison qu'il a classée, alors même que des travailleurs avaient creusé des tuyaux dans ce village et y avaient trouvé du plomb dans près de 10 % des cas. Le chercheur a également découvert que les registres publics de la ville pour ces tuyaux n'avaient pas été créés de manière indépendante. Les données montraient que la ville avait simplement copié la supposition informatique faite pour le côté client du tuyau et l'avait collée sur le côté public, bien que le tuyau public soit un tuyau différent appartenant à la ville. Cela suggère que la détermination n'était pas une analyse fraîche, mais une erreur de copier-coller qui a effacé toute incertitude que le modèle aurait pu avoir.

Pour comprendre combien de tuyaux de plomb pourraient se cacher dans ce groupe de 43 215 adresses, le chercheur a examiné l'âge des bâtiments. Le modèle avait été appliqué principalement à des maisons plus récentes, qui possèdent naturellement moins de tuyaux de plomb. Cependant, même après avoir ajusté les données selon l'âge des bâtiments, les chiffres ne concordaient pas. Dans les bâtiments plus anciens, où d'autres méthodes ont trouvé du plomb, le modèle n'a rien trouvé. En utilisant les résultats des inspections physiques des mêmes quartiers comme guide, le chercheur a estimé qu'entre 1 150 et 1 450 de ces 43 215 adresses possèdent probablement des tuyaux de plomb qui ont été incorrectement étiquetés comme sûrs. Cette estimation repose sur l'hypothèse que les travailleurs qui ont creusé les tuyaux n'étaient pas biaisés, mais même avec cette incertitude, l'écart entre le dossier parfait du modèle et la réalité du terrain est trop important pour être ignoré.

L'étude ne prétend pas que les modèles informatiques ne peuvent jamais fonctionner, ni que tous les services publics échouent. Elle a constaté que dans de nombreux endroits, les modèles produisaient un mélange de réponses qui correspondaient à la réalité physique. Le problème était spécifique à la manière dont les données étaient rapportées dans ces sept localités. Le chercheur soutient que le problème ne réside pas nécessairement dans le code informatique lui-même, mais dans la façon dont les résultats ont été traités avant d'être publiés. Il est possible que le modèle ait produit une gamme de réponses, mais qu'un programme informatique ou un processus humain ait filtré tout ce qui n'était pas un résultat clairement « sûr » avant d'être déposé auprès de l'État. Cela signifierait que le registre public présente une liste propre et confiante qui cache l'incertitude que le modèle avait réellement. Les propres règles de l'État exigent que les services publics fournissent un intervalle de confiance — une mesure de leur degré de certitude — et un plan pour vérifier les résultats. Les registres déposés par ces services publics ne montraient rien de tel.

Cet audit n'a été possible que parce que New York publie la méthode utilisée pour chaque adresse. Dans la plupart des autres États, le public ne sait pas si une classification de tuyau provient d'une pelle ou d'un tableur. Le chercheneur suggère que l'exigence de ce niveau de détail à l'échelle nationale ne coûterait rien, mais permettrait à quiconque de vérifier si un service public cache l'incertitude derrière une réponse unique et immuable. Les conclusions servent d'avertissement : lorsque un modèle produit un résultat parfait et invariable à travers des milliers de maisons, il s'agit probablement non pas d'un modèle parfait, mais du signe que le processus a perdu sa capacité à voir la vérité. Les données montrent que, dans le cas le plus important, le dépôt ne respectait pas les conditions fixées par l'État pour utiliser cette étiquette spécifique. Les chercheurs concluent que les inventaires devraient enregistrer l'incertitude du modèle, et non seulement sa supposition finale, et que les régulateurs devraient traiter une liste présentant une variation nulle comme un signal d'alarme nécessitant une enquête immédiate.