Verifiable abstention makes AI leak diagnosis accountable in water distribution networks

Waterbedrijven kampen met een hardnekkig en kostbaar probleem: behandeld water ontsnapt via verborgen scheuren en kapotte leidingen voordat het ooit de kraan van een klant bereikt. Dit "niet-inkomende water" vertegenwoordigt een enorm verlies van middelen en geld, geschat op miljarden per jaar. Decennialang leek de oplossing te liggen in betere detectie. Ingenieurs hebben steeds geavanceerdere computermodellen ontwikkeld die gebruikmaken van gegevens van druksensoren om te raden waar een lek zich zou kunnen bevinden. Echter, er blijft een kritieke kloof bestaan tussen een gok van een computer en een menselijke actie. Het opgraven van een straat om een lek te vinden is duur, ontwrichtend en gereguleerd; als een computer een team naar de verkeerde locatie stuurt op basis van een loutere gok, verspilt de waterdienst duizenden dollars en beschadigt zij het publieke vertrouwen. De kernuitdaging is niet alleen het vinden van het lek, maar weten met zekerheid wanneer men niet moet graven.

Onderzoekers hebben nu een nieuwe manier voorgesteld om met deze onzekerheid om te gaan, waarbij het doel verschuift van simpelweg het voorspellen van een locatie naar het nemen van een verantwoorde beslissing. In plaats van de computer te dwingen voor elke gedetecteerde anomalie een plek te benoemen, is het nieuwe systeem ontworpen om toe te geven wanneer het niet over voldoende bewijs beschikt om te handelen. Deze aanpak behandelt de diagnose als een medische differentiaaldiagnose: in plaats van aan te nemen dat elke hoest pneumonie is, overweegt het systeem andere mogelijkheden, zoals een sensorstoring of een plotselinge stijging in het waterverbruik, en raadt het pas chirurgie aan als het bewijs overweldigend is. Door een systeem te bouwen dat met vertrouwen "ik weet het niet" kan zeggen en kan bewijzen waarom, beogen de onderzoekers de kloof te overbruggen tussen kunstmatige intelligentie en de praktische veiligheidseisen van infrastructuurbeheer.

Het team, onder leiding van onderzoekers van verschillende Chinese instellingen, bouwde een tweeledig digitaal systeem om dit idee op waternetwerken te testen. Het eerste deel, de "executor" genoemd, fungeert als een rigoureuze onderzoeker. Het neemt een digitale tweeling van een waternetwerk — een virtuele replica die simuleert hoe water stroomt en druk verandert — en test concurrerende theorieën tegen deze replica. Wanneer een sensor een vreemde drukval detecteert, gaat de executor er niet zoma van uit dat het een lek is. Het simuleert wat er zou gebeuren als die drukval werd veroorzaakt door een lek, een plotselinge vraagstijging, een defecte sensor of een klep die per ongeluk is gesloten. Het voert deze simulaties uit om te zien welke theorie daadwerkelijk de echte wereldgegevens kan reproduceren. Als een theorie de geobserveerde cijfers niet kan matchen, wordt deze verworpen. Dit proces filtert valse alarmen uit voordat ze een besluitvormer bereiken.

Het tweede deel van het systeem, de "supervisor" genoemd, fungeert als een onafhankelijke auditor. Deze raadt zelf nooit een locatie aan. In plaats daarvan beoordeelt de supervisor het bewijspakket dat door de executor is gegenereerd. Dit pakket bevat uitsluitend harde cijfers afgeleid van de fysica-simulaties, zoals hoe goed een lektheorie bij de gegevens past en hoeveel beter deze is dan de andere theorieën. De supervisor controleert deze cijfers aan de hand van een strikte set regels, of een "contract", dat voldaan moet zijn voordat een actie wordt geautoriseerd. Als het bewijs sterk is, geeft het systeem een dispatchorder af met een digitaal certificaat dat bewijst dat de beslissing solide was. Als het bewijs zwak of ambigu is, weigert het systeem te handelen en onthoudt het zich van het sturen van een team. Dit onthouden is geen falen; het is een bewuste, geverifieerde uitkomst die kostbare fouten voorkomt.

Om deze aanpak te testen, pasten de onderzoekers het toe op verschillende scenario's, variërend van computergegenereerde modellen tot een echt districtnetwerk in China. In een standaard computersimulatie van een netwerk met 381 knooppunten, zou een traditioneel systeem dat gedwongen wordt om bij elk evenement te gokken, slechts ongeveer 32 procent van de tijd correct zijn. Het nieuwe systeem koos echter om bij ongeveer 40 procent van de gebeurtenissen te handelen, maar wanneer het handelde, was het 96 procent van de tijd correct. Het identificeerde succesvol dat veel anomalieën helemaal geen lekken waren, en maakte correct onderscheid tussen deze en sensorfouten of vraagstijgingen. Wanneer het systeem op een situatie stuitte waarin het bewijs niet duidelijk genoeg was om een graafwerk te rechtvaardigen, onthield het zich simpelweg, waardoor het de foutmarge van 68 procent vermeed die de aanpak van gedwongen gokken teisterde.

Het systeem werd ook getest op een dataset van een derde partij die door een ander model was gegenereerd, waarbij een real-world scenario werd gesimuleerd waarin de interne kaart van de computer niet perfect overeenkomt met de werkelijkheid. In deze moeilijke test onthield zich het systeem bij 88 procent van de gebeurtenissen, omdat het erkende dat de gegevens te ruisachtig waren om zeker te zijn. Voor de vier gebeurtenissen waar het bewijs sterk genoeg was, handelde het met 100 procent precisie en identificeerde het de leklocatie zonder een enkele foutieve melding. Dit bewees dat het systeem zijn logica naar nieuwe omgevingen kon overbrengen zonder opnieuw getraind te hoeven worden, een cruciale vereiste voor implementatie in de echte wereld.

De meest rigoureuze test betrof een echt waterdistrict in China, waarbij gebruik werd gemaakt van een register van 194 werkelijke reparatieorders voor lekken uit 2025. In deze real-world setting waren de lekken vaak erg klein, waardoor ze druksignalen produceerden die zo zwak waren dat ze begraven lagen in de natuurlijke ruis van het systeem. Een traditioneel systeem dat gedwongen wordt te gokken, zou crews 194 keer hebben gestuurd om te graven, waarbij het waarschijnlijk slechts 12 procent van de tijd de juiste plek zou vinden. Het nieuwe systeem, dat zich hield aan zijn strikte regels, besloot dat het bewijs van de druk onvoldoende was om voor bijna al deze gevallen een graafwerk te rechtvaardigen. Het stuurde voor slechts vijf gebeurtenissen teams aan, waarvan er drie correct waren. Hoewel dit als een laag aantal kan worden beschouwd, merkten de onderzoekers op dat het systeem eerlijk was over de beperkingen van de gegevens.

Om de resterende lekken te herstellen die te klein waren voor druksensoren om te detecteren, voegde het systeem een tweede laag van onderzoek toe. Het keek naar het totale volume water dat in verschillende districten van het netwerk stroomde. Zelfs als een lek te klein is om een merkbare drukval bij een sensor te veroorzaken, draagt het nog steeds bij aan het totale water dat een district binnenkomt. Door het water dat een district binnenkomt te vergelijken met het water dat het verlaat, kon het systeem identificeren in welk district het lek zich bevond. Met deze massabalans-aanpak identificeerde het systeem succesvol het juiste district voor 85 van de 194 echte lekken, waarbij het een precisie van 100 procent op districtniveau behaalde. Deze tweeledige aanpak stelde de waterdienst in staat haar middelen effectief in te zetten: door een team te sturen om te graven alleen wanneer de drukgegevens duidelijk waren, en een surveyteam te sturen om naar lekken te luisteren in het juiste district wanneer de drukgegevens te zwak waren.

De onderzoekers benadrukten dat de kracht van het systeem ligt in het vermogen om te bewijzen wanneer het niet moet handelen. In een wereld waarin van kunstmatige intelligentie vaak wordt verwacht dat zij een antwoord geeft op elke vraag, suggereert dit werk dat de meest waardevolle bijdrage juist het vermogen kan zijn om te zeggen: "Ik kan het niet met zekerheid zeggen." Door elke beslissing te funderen in fysica-simulaties en deze te verifiëren met onafhankelijke controles, creëert het systeem een verdedigbaar dossier voor elke actie die het onderneemt. Deze verantwoording is essentieel voor gereguleerde infrastructuur, waar een foute beslissing miljoenen kan kosten en het publieke vertrouwen kan schaden. De studie toont aan dat door een fysica-gebaseerde onderzoeker te combineren met een strikte, regelvolgende auditor, het mogelijk is om een AI-systeem te bouwen dat niet alleen slim is, maar ook veilig en betrouwbaar genoeg om vertrouwd te worden met echte beslissingen.