Auditing Recorded Predictive Lead Service-Line Classifications Against Physical Verification: A Statewide Study of New York

In de Verenigde Staten vereist een federale regel genaamd de Lead and Copper Rule Revisions dat elk gemeentelijk waterbedrijf een volledige kaart maakt van zijn serviceleidingen, de buizen die water van de straat naar individuele huizen vervoeren. Het doel is om leidingen te vinden en te vervangen die gemaakt zijn van lood, een giftig metaal dat ernstige gezondheidsproblemen kan veroorzaken, vooral bij kinderen. Decennialang wisten nutsbedrijven waar loden leidingen waren omdat ze oude papieren registers hadden of omdat ze ze hadden opgegraven om te kijken. Maar voor miljoenen adressen waar geen gegevens over bestonden, stond de nieuwe regel waterbedrijven toe om computermodellen te gebruiken om het materiaal van de leiding te raden in plaats van te graven. Deze modellen analyseren gegevens zoals de leeftijd van het huis en de buurt om te voorspellen of een leiding waarschijnlijk van lood, koper of plastic is. Het idee was om geld en tijd te besparen, aangezien het opgraven van elke enkele leiding ongelooflijk duur is. Omdat deze modellen echter slechts gissingen zijn, vereisen de regels dat nutsbedrijven hun nauwkeurigheid controleren door fysiek een steekproef van de leidingen te inspecteren die zij hebben geclassificeerd. Het publieke belang hangt af van de vraag of deze computergissingen betrouwbaar genoeg zijn om het publieke gezondheidszorg aan toe te vertrouwen, of dat ze een gevaarlijk aantal loden leidingen verbergen onder een laag van statistisch vertrouwen.

Een onderzoeker genaamd Muhammad Sarmad Sohail besloot dit systeem te testen door te kijken naar de openbare registers die door waterbedrijven in de staat New York zijn ingediend. New York is uniek omdat het een gedetailleerde lijst publiceert voor elk adres, waarop precies staat vermeld hoe het nutsbedrijf het materiaalsoft van de leiding heeft bepaald: of ze het hebben opgegraven, een papieren record hebben gecontroleerd of een computermodel hebben gebruikt. Sohail probeerde niet te bewijzen dat de computermodellen in algemene zin fout waren; in plaats daarvan keek hij naar de specifieke cijfers die de nutsbedrijven hadden ingediend om te zien of ze logisch waren. Hij concentreerde zich op de 153 lokale overheden in New York die deze computermodellen gebruikten voor ten minste 100 adressen. Zijn eerste stap was een eenvoudige controle: hij telde hoeveel verschillende antwoorden de modellen gaven. In een gezond systeem zou een model soms "lood" moeten zeggen, soms "koper" en soms "onbekend", afhankelijk van het specifieke huis. Maar in 75 van die lokale overheden, die bijna 126.000 adressen beslaan, gaf het model voor elk huis slechts één enkel antwoord. Het was alsofd een weervoorspeller voor elk dag van het jaar regen zou voorspellen, ongeacht het seizoen of de locatie.

Dit gebrek aan variatie is niet automatisch een teken van fraude, maar is een waarschuwingssignaal dat er iets mis is. Sohail vergeleek deze "één-antwoord"-lijsten vervolgens met de fysieke inspecties die dezelfde waterbedrijven in diezelfde steden hadden uitgevoerd. In de meeste gevallen kwam het enkele antwoord dat het model gaf overeen met wat de arbeiders in de grond vonden. Echter, in zeven specifieke plaatsen sprak het enkele antwoord van het model direct in tegen wat de arbeiders zagen. Het meest opvallende voorbeeld was New York City. De stad gebruikte een computermodel om 43.215 adressen te classificeren. Voor elk van die adressen zei het model dat de leiding "Known Other" was, een categorie die betekent dat de leiding zeker niet van lood is, ook al is het specifieke materiaal onbekend. De stad had loden leidingen gevonden in duizenden andere plaatsen met andere methoden, en had de categorie "onbekend" gebruikt voor meer dan 120.000 andere adressen. Toch was er voor deze enorme groep van 43.000 woningen nooit één keer gesuggereerd dat een leiding van lood zou kunnen zijn of zelfs onbekend. Het was een perfect, ononderbroken record van "niet lood" voor een groep huizen die veel gebouwen bevatte die vóór 1940 zijn gebouwd, een tijd waarin loden leidingen gebruikelijk waren.

De tegenstrijdigheid was niet slechts een statistische toevalstreffer; het werd bevestigd door de eigen arbeiders van de stad. In de vijf stadsdelen van New York City hadden arbeiders fysiek tienduizenden leidingen opgegraven en geïnspecteerd, waarbij ze in aanzienlijke aantallen lood vonden. Als het computermodel correct had gewerkt, had het enkele van die 43.000 adressen als potentieel lood gemarkeerd. In plaats daarvan vrijwaarde het ze allemaal. Hetzelfde vreemde patroon verscheen in East Rochester, een klein dorpje 550 kilometer verderop met een volledig ander waterbedrijf. Daar gaf het model ook een enkel "niet lood"-antwoord voor elk huis dat het classificeerde, zelfs terwijl arbeiders leidingen hadden opgegraven in dat dorp en bijna 10% van hen lood hadden gevonden. De onderzoeker ontdekte ook dat de openbare registers van de stad voor deze leidingen niet onafhankelijk waren aangemaakt. De gegevens toonden aan dat de stad simpelweg de computergok die voor de klantzijde van de leiding was gemaakt, had gekopieerd en geplakt op de publieke zijde, ook al is de publieke leiding een andere leiding die eigendom is van de stad. Dit suggereert dat de bepaling geen verse analyse was, maar een kopieer-en-plakfout die de onzekerheid die het model had, uitwiste.

Om te begrijpen hoeveel loden leidingen er mogelijk verborgen zijn in die groep van 43.215 adressen, keek de onderzoeker naar de leeftijd van de gebouwen. Het model was voornamelijk toegepast op nieuwere woningen, die van nature minder loden leidingen hebben. Echter, zelfs na correctie voor de leeftijd van de gebouwen, kwamen de cijfers niet overeen. In oudere gebouwen, waar andere methoden lood vonden, vond het model niets. Door de fysieke inspectieresultaten uit dezelfde buurten als gids te gebruiken, schatte de onderzoeker dat tussen de 1.150 en 1.450 van die 43.215 adressen waarschijnlijk loden leidingen hebben die onterecht als veilig zijn gelabeld. Deze schatting berust op de aanname dat de arbeiders die de leidingen opgroeven niet bevooroordeeld waren, maar zelfs met deze onzekerheid is de kloof tussen het perfecte record van het model en de realiteit in de grond te groot om te negeren.

De studie beweert niet dat computermodellen nooit kunnen werken, noch zegt het dat elk nutsbedrijf faalt. Het stelde vast dat de modellen op veel plaatsen een mix van antwoorden produceerden die overeenkwamen met de fysieke realiteit. Het probleem was specifief voor de manier waarop de gegevens in deze zeven locaties werden gerapporteerd. De onderzoeker voert aan dat het probleem niet noodzakelijkerwijs de computercode zelf is, maar hoe de resultaten werden behandeld voordat ze werden gepubliceerd. Het is mogelijk dat het model wel een reeks antwoorden produceerde, maar dat een computerprogramma of een menselijk proces alles wat geen duidelijk "veilig" resultaat was, eruit filterde voordat het bij de staat werd ingediend. Dit zou betekenen dat het openbare record een schoon, zelfverzekerd lijstje laat zien dat de onzekerheid die het model daadwerkelijk had, verbergt. De eigen regels van de staat vereisen dat nutsbedrijven een betrouwbaarheidsinterval opgeven — een maatstaf voor hoe zeker ze zijn — en een plan hebben om de resultaten te controleren. De registers die door deze nutsbedrijven zijn ingediend, toonden dat niet.

Dit audit was alleen mogelijk omdat New York de methode publiceert die voor elk adres wordt gebruikt. In de meeste andere staten weet het publiek niet of een leidingclassificatie voortkwam uit een schop of een spreadsheet. De onderzoeker suggereert dat het eisen van dit niveau van detail landelijk niets zou kosten, maar wel zou toestaan dat iedereen controleert of een nutsbedrijf onzekerheid verbergt achter een enkel, onveranderlijk antwoord. De bevindingen dienen als een waarschuwing dat wanneer een model een perfect, onveranderlijk resultaat produceert over duizenden huizen, dit waarschijnlijk niet een teken is van een perfect model, maar een teken dat het proces zijn vermogen heeft verloren om de waarheid te zien. De gegevens tonen aan dat in het grootste geval de indiening niet voldeed aan de voorwaarden die de staat stelde voor het gebruik van dat specifieke label. De onderzoekers concluderen dat inventarissen de onzekerheid van het model moeten registreren, niet alleen de uiteindelijke gok, en dat toezichthouders een lijst met nul variatie moeten behanden als een rood vlaggetje dat onmiddellijke onderzoeken vereist.