Auditing Recorded Predictive Lead Service-Line Classifications Against Physical Verification: A Statewide Study of New York

En los Estados Unidos, una regla federal llamada la Revisión de la Regla de Plomo y Cobre requiere que cada sistema de agua comunitario cree un mapa completo de sus líneas de servicio, las tuberías que transportan agua desde la calle hasta las viviendas individuales. El objetivo es encontrar y reemplazar las tuberías hechas de plomo, un metal tóxico que puede causar graves problemas de salud, especialmente en los niños. Durante décadas, las empresas de servicios públicos sabían dónde había tuberías de plomo porque tenían registros antiguos en papel o porque las habían desenterrado para verlas. Pero para millones de direcciones donde no existían registros, las nuevas reglas permitieron a las compañías de agua utilizar modelos informáticos para adivinar el material de la tubería en lugar de excavar. Estos modelos analizan datos como la edad de la casa y el vecindario para predecir si una tubería es probablemente de plomo, cobre o plástico. La idea era ahorrar dinero y tiempo, ya que excavar cada una de las tuberías es increíblemente costoso. Sin embargo, debido a que estos modelos son conjeturas, las reglas exigen que las empresas de servicios públicos comprueben su exactitud mediante la inspección física de una muestra de las tuberías que clasificaron. El interés público depende de si estas conjeturas informáticas son lo suficientemente fiables como para confiar en la salud pública, o si están ocultando un número peligroso de tuberías de plomo bajo una capa de confianza estadística.

Un investigador llamado Muhammad Sarmad Sohail decidió poner a prueba este sistema analizando los registros públicos presentados por las empresas de agua en todo el estado de Nueva York. Nueva York es única porque publica una lista detallada para cada dirección, mostrando exactamente cómo la empresa determinó el material de la tubería: si la desenterraron, si consultaron un registro en papel o si usaron un modelo informático. Sohail no intentó demostrar que los modelos informáticos estuvieran equivocados en un sentido general; en su lugar, analizó los números específicos que presentaron las empresas para ver si tenían sentido. Se centró en las 153 localidades de Nueva York que utilizaron estos modelos informáticos para al menos 100 direcciones. Su primer paso fue una comprobación sencilla: contó cuántas respuestas diferentes dieron los modelos. En un sistema saludable, un modelo debería decir a veces "plomo", a veces "cobre" y a veces "desconocido", dependiendo de la casa específica. Pero en 75 de esas localidades, que cubrían casi 126,000 direcciones, el modelo dio una única respuesta para cada una de las casas. Era como si un pronosticador del tiempo predijera lluvia para todos los días del año, independientemente de la estación o la ubicación.

Esta falta de variedad no es automáticamente una señal de fraude, pero es una señal de advertencia de que algo anda mal. Sohail luego comparó estas listas de "una sola respuesta" con las inspecciones físicas que las mismas empresas de agua habían realizado en esos mismos pueblos. En la mayoría de los casos, la única respuesta que dio el modelo coincidía con lo que los trabajadores encontraron en el suelo. Sin embargo, en siete lugares específicos, la única respuesta del modelo contradecía directamente lo que los trabajadores vieron. El ejemplo más sorprendente fue la ciudad de Nueva York. La ciudad utilizó un modelo informático para clasificar 43,215 direcciones. Para cada una de esas direcciones, el modelo dijo que la tubería era "Otro Conocido", una categoría que significa que la tubería definitivamente no es de plomo, aunque el material específico se desconoce. La ciudad había encontrado tuberías de plomo en miles de otros lugares utilizando métodos diferentes, y había utilizado la categoría "desconocido" para otras más de 120,000 direcciones. Sin embargo, para este grupo masivo de 43,000 hogares, el modelo nunca sugirió que una tubería pudiera ser de plomo o incluso desconocida. Fue un registro perfecto e ininterrumpido de "no plomo" para un grupo de casas que incluía muchas construidas antes de 1940, una época en la que las tuberías de plomo eran comunes.

La contradicción no fue solo un error estadístico; fue confirmada por los propios trabajadores de la ciudad. En los cinco distritos de la ciudad de Nueva York, los trabajadores habían desenterrado e inspeccionado físicamente decenas de miles de tuberías, encontrando plomo en cantidades significativas. Si el modelo informático hubiera funcionado correctamente, debería haber señalado algunas de esas 43,000 direcciones como potencialmente de plomo. En cambio, las exoneró a todas. El mismo patrón extraño apareció en East Rochester, un pequeño pueblo a 550 kilómetros de distancia con una empresa de agua completamente diferente. Allí, el modelo también dio una única respuesta de "no plomo" para cada casa que clasificó, a pesar de que los trabajadores habían desenterrado tuberías en ese pueblo y encontraron plomo en casi el 10% de ellas. El investigador también descubrió que los registros públicos de la ciudad para estas tuberías no fueron creados de forma independiente. Los datos mostraron que la ciudad simplemente había copiado la conjetura informática hecha para el lado del cliente de la tubería y la había pegado en el lado público, a pesar de que la tubería pública es una tubería diferente propiedad de la ciudad. Esto sugiere que la determinación no fue un análisis nuevo, sino un error de copiar y pegar que borró cualquier incertidumbre que el modelo pudiera haber tenido.

Para entender cuántas tuberías de plomo podrían estar escondidas en ese grupo de 43,215 direcciones, el investigador observó la edad de los edificios. El modelo se había aplicado principalmente a casas más nuevas, que naturalmente tienen menos tuberías de plomo. Sin embargo, incluso después de ajustar por la edad de los edificios, los números no cuadraban. En edificios más antiguos, donde otros métodos encontraron plomo, el modelo no encontró nada. Utilizando los resultados de la inspección física de los mismos vecindarios como guía, el investigador estimó que entre 1,150 y 1,450 de esas 43,215 direcciones probablemente tienen tuberías de plomo que fueron etiquetadas incorrectamente como seguras. Esta estimación se basa en la suposición de que los trabajadores que desenterraron las tuberías no estaban sesgados, pero incluso con esta incertidumbre, la brecha entre el registro perfecto del modelo y la realidad del terreno es demasiado grande como para ignorarla.

El estudio no afirma que los modelos informáticos nunca puedan funcionar, ni dice que todas las empresas de servicios públicos estén fallando. Encontró que en muchos lugares, los modelos produjeron una mezcla de respuestas que coincidían con la realidad física. El problema fue específico de la forma en que se reportaron los datos en estos siete lugares. El investigador argumenta que el problema no es necesariamente el código informático en sí, sino cómo se manejaron los resultados antes de ser publicados. Es posible que el modelo sí produjera una gama de respuestas, pero un programa informático o un proceso humano filtró cualquier cosa que no fuera un resultado claro de "seguro" antes de ser presentado al estado. Esto significaría que el registro público muestra una lista limpia y segura que oculta la incertidumbre que el modelo realmente tenía. Las propias reglas del estado exigen que las empresas de servicios públicos proporcionen un intervalo de confianza —una medida de qué tan seguros están— y que tengan un plan para verificar los resultados. Los registros presentados por estas empresas no mostraban nada de eso.

Esta auditoría fue posible solo porque Nueva York publica el método utilizado para cada dirección. En la mayoría de los otros estados, el público no sabe si una clasificación de tubería provino de una pala o de una hoja de cálculo. El investigador sugiere que exigir este nivel de detalle a nivel nacional no costaría nada, pero permitiría a cualquiera comprobar si una empresa de servicios públicos está ocultando la incertidumbre tras una respuesta única e inalterable. Los hallazgos sirven como una advertencia de que cuando un modelo produce un resultado perfecto e invariable a través de miles de hogares, es probable que no sea una señal de un modelo perfecto, sino una señal de que el proceso ha perdido su capacidad de ver la verdad. Los datos muestran que, en el caso más grande, la presentación no cumplió con las condiciones que el estado estableció para usar esa etiqueta específica. Los investigadores concluyen que los inventarios deben registrar la incertidumbre del modelo, no solo su conjetura final, y que los reguladores deben tratar una lista con cero variación como una señal de alerta que requiere una investigación inmediata.