Auditing Recorded Predictive Lead Service-Line Classifications Against Physical Verification: A Statewide Study of New York

Nos Estados-seis Unidos, uma regra federal chamada Revisão da Regra de Chumbo e Cobre exige que cada sistema de abastecimento de água comunitário crie um mapa completo de suas linhas de serviço, os canos que transportam água das ruas para as residências individuais. O objetivo é encontrar e substituir canos feitos de chumbo, um metal tóxico que pode causar graves problemas de saúde, especialmente em crianças. Durante décadas, as concessionárias sabiam onde estavam os canos de chumbo porque tinham registros antigos em papel ou porque os haviam desenterrado para observar. Mas para milhões de endereços onde não existiam registros, as novas regras permitiram que as empresas de água usassem modelos computacionais para adivinhar o material do cano em vez de escavar. Esses modelos analisam dados como a idade da casa e o bairro para prever se um cano é provavelmente de chumbo, cobre ou plástico. A ideia era economizar dinheiro e tempo, já que desenterrar cada cano é incrivelmente caro. No entanto, como esses modelos são suposições, as regras exigem que as concessionárias verifiquem sua precisão inspecionando fisicamente uma amostra dos canos que classificaram. O interesse público depende de saber se essas suposições de computador são confiáveis o suficiente para confiar na saúde pública, ou se estão escondendo um número perigoso de canos de chumbo sob uma camada de confiança estatística.

Um pesquisador chamado Muhammad Sarmad Sohail decidiu testar esse sistema analisando os registros públicos arquivados por concessionárias de água em todo o estado de Nova York. Nova York é única porque publica uma lista detalhada para cada endereço, mostrando exatamente como a concessionária determinou o material do cano: se eles o desenterraram, verificaram um registro em papel ou usaram um modelo de computador. Sohail não tentou provar que os modelos de computador estavam errados de uma forma geral; em vez disso, ele analisou os números específicos que as concessionárias arquivaram para ver se faziam sentido. Ele se concentrou nas 153 localidades de Nova York que usaram esses modelos de computador para pelo menos 100 endereços. Seu primeiro passo foi uma verificação simples: ele contou quantos resultados diferentes os modelos deram. Em um sistema saudável, um modelo deveria dizer às vezes "chumbo", às vezes "cobre" e às vezes "desconhecido", dependendo da casa específica. Mas em 75 dessas localidades, cobrindo quase 126.000 endereços, o modelo deu apenas uma única resposta para cada casa. Era como se um meteorologista previsse chuva para todos os dias do ano, independentemente da estação ou da localização.

Essa falta de variedade não é automaticamente um sinal de fraude, mas é um sinal de alerta de que algo está errado. Sohail então comparou essas listas de "resposta única" com as inspeções físicas que as mesmas concessionárias de água havera realizado naquelas mesmas cidades. Na maioria dos casos, a resposta única que o modelo deu coincidia com o que os trabalhadores encontraram no solo. No entanto, em sete locais específicos, a resposta única do modelo contradizia diretamente o que os trabalhadores viram. O exemplo mais impressionante foi a cidade de Nova York. A cidade usou um modelo de computador para classificar 43.215 endereços. Para cada um desses endereços, o modelo disse que o cano era "Outro Conhecido", uma categoria que significa que o cano definitivamente não é de chumbo, embora o material específico seja desconhecido. A cidade havia encontrado canos de chumbo em milhares de outros lugares usando métodos diferentes, e havia usado a categoria "desconhecido" para mais de 120.000 outros endereços. No entanto, para este grupo massivo de 43.000 casas, o modelo nunca sequer sugeriu que um cano poderia ser de chumbo ou mesmo desconhecido. Foi um registro perfeito e ininterrupto de "não chumbo" para um grupo de casas que incluía muitas construídas antes de 1940, uma época em que canos de chumbo eram comuns.

A contradição não foi apenas um acaso estatístico; foi confirmada pelos próprios trabalhadores da cidade. Nos cinco distritos de Nova York, trabalhadores haviam desenterrado e inspecionado fisicamente dezenas de milhares de canos, encontrando chumbo em números significativos. Se o modelo de computador estivesse funcionando corretamente, ele deveria ter sinalizado alguns desses 43.000 endereços como potencialmente de chumbo. Em vez disso, ele os liberou todos. O mesmo padrão estranho apareceu em East Rochester, uma pequena vila a 550 quilômetros de distância, com uma empresa de água completamente diferente. Lá, o modelo também deu uma única resposta de "não chumbo" para cada casa que classificou, embora os trabalhadores tivessem desenterrado canos naquela vila e encontrado chumbo em quase 10% deles. O pesquisador também descobriu que os registros públicos da cidade para esses canos não foram criados de forma independente. Os dados mostraram que a cidade simplesmente copiou o palpite do computador feito para o lado do cliente do cano e o colou no lado público, embora o cano público seja um cano diferente, de propriedade da cidade. Isso sugere que a determinação não foi uma análise nova, mas um erro de copiar e colar que apagou qualquer incerteza que o modelo pudesse ter tido.

Para entender quantos canos de chumbo poderiam estar escondidos naquele grupo de 43.215 endereços, o pesquisador analisou a idade dos edifícios. O modelo havia sido aplicado principalmente a casas mais novas, que naturalmente têm menos canos de chumbo. No entanto, mesmo após ajustar pela idade dos edifícios, os números não batiam. Em edifícios mais antigos, onde outros métodos encontraram chumbo, o modelo não encontrou nada. Ao usar os resultados das inspeções físicas dos mesmos bairros como guia, o pesquisador estimou que entre 1.150 e 1.450 daqueles 43.215 endereços provavelmente possuem canos de chumbo que foram incorretamente rotulados como seguros. Esta estimativa baseia-se na premissa de que os trabalhadores que desenterraram os canos não foram tendenciosos, mas mesmo com essa incerteza, a lacuna entre o registro perfeito do modelo e a realidade do solo é grande demais para ser ignorada.

O estudo não afirma que modelos de computador nunca possam funcionar, nem diz que todas as concessionárias estão falhando. Ele descobriu que, em muitos lugares, os modelos produziram uma mistura de respostas que correspondiam à realidade física. O problema foi específico da forma como os dados foram relatados nesses sete locais. O pesquisador argumenta que o problema não é necessariamente o código do computador em si, mas como os resultados foram tratados antes de serem publicados. É possível que o modelo tenha produzido uma gama de respostas, mas um programa de computador ou um processo humano filtrou qualquer coisa que não fosse um resultado claramente "seguro" antes de ser arquivado com o estado. Isso significaria que o registro público mostra uma lista limpa e confiante que esconde a incerteza que o modelo realmente possuía. As próprias regras do estado exigem que as concessionárias forneçam um intervalo de confiança — uma medida de quão certas elas estão — e tenham um plano para verificar os resultados. Os registros arquivados por essas concessionárias não mostravam nada disso.

Esta auditoria só foi possível porque Nova York publica o método utilizado para cada endereço. Na maioria dos outros estados, o público não sabe se uma classificação de cano veio de uma pá ou de uma planilha. O pesquisador sugere que exigir esse nível de detalhe em todo o país não custaria nada, mas permitiria que qualquer pessoa verificasse se uma concessionária está escondendo incertezas atrás de uma resposta única e imutável. As descobertas servem como um aviso de que, quando um modelo produz um resultado perfeito e invariável através de milhares de casas, é provável que não seja um sinal de um modelo perfeito, mas um sinal de que o processo perdeu a capacidade de ver a verdade. Os dados mostram que, no maior caso, o arquivamento não cumpriu as condições estabelecidas pelo estado para usar aquele rótulo específico. Os pesquisadores concluem que os inventários devem registrar a incerteza do modelo, não apenas seu palpite final, e que os reguladores devem tratar uma lista com zero variação como um sinal de alerta que precisa de investigação imediata.