📊 statistica

Benchmarking machine learning against a regulatory rule-based baseline for drinking-water compliance classification

Questo studio dimostra che, per la classificazione della conformità dell'acqua potabile, i modelli di apprendimento automatico non possono superare un baseline normativo basato su regole perché le soglie definite dal dominio catturano già quasi tutto il segnale disponibile, evidenziando che il perfezionamento delle regole normative e l'implementazione di strategie di consenso sono più efficaci rispetto alla selezione del modello.

Autori originali: Aljaž Sovič, Barbara Hribar Lee, Zoran Bosnić

Pubblicato 2026-10-09

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Aljaž Sovič, Barbara Hribar Lee, Zoran Bosnić

Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Ogni goccia d'acqua che scorre da un rubinetto è il risultato di una costante, invisibile vigilanza. Prima di raggiungere un bicchiere, viene testata contro un rigoroso insieme di regole progettate per mantenerla sicura per il consumo umano. Queste regole non sono suggerimenti; sono limiti legali. Se un campione d'acqua contiene anche un singolo marcatore chimico o biologico sopra una specifica soglia, l'intero campione è considerato non sicuro. Per decenni, controllare questi campioni è stato un processo manuale e diretto: gli scienziati misurano l'acqua, confrontano i numeri con il libro delle regole e dichiarano l'acqua conforme o non conforme. Questo metodo è affidabile perché si basa su leggi scritte chiare, ma lascia aperta una domanda che ha affascinato gli scienziati negli ultimi anni: potrebbe un computer imparare a fare questo lavoro meglio?

L'apprendimento automatico, il campo dell'informatica in cui i programmi imparano dai dati piuttosto che seguire istruzioni esplicite, ha compiuto enormi passi avanti in molti settori. Viene spesso proposto come un modo per trovare schemi nascosti che l'occhio umano potrebbe perdere. Nel mondo della sicurezza ambientale, l'idea è che un computer possa esaminare migliaia di misurazioni dell'acqua e prevedere quali siano pericolose, individuando forse connessioni sottili tra diversi prodotti chimici che un semplice libro di regole non può vedere. La speranza è che questi algoritmi intelligenti possano intercettare i pericoli prima o con maggiore precisione rispetto al sistema attuale. Ma affinché questa promessa sia reale, il nuovo sistema deve essere testato contro quello vecchio. Non basta dire che un computer è intelligente; deve dimostrare di essere più intelligente delle regole stabilite che è destinato a sostituire.

Un team di ricercatori in Slovenia ha deciso di mettere alla prova questa idea utilizzando un enorme archivio di dati reali. Hanno raccolto 22.152 campioni d'acqua raccolti in sette anni in tutto il paese. Ogni campione era stato misurato per centinaia di elementi diversi, dai batteri ai metalli, dai pesticidi alle proprietà fisiche come la temperatura e la limpidezza. I ricercatori hanno stabilito una sfida: un modello di apprendimento automatico, addestrato su questi dati, poteva prevedere se un campione fosse sicuro o meno meglio del libro delle regole ufficiale? Hanno costruito quattro diversi tipi di modelli di apprendimento, che vanno da semplici alberi decisionali a complesse reti neurali, e li hanno confrontati con il metodo standard utilizzato dai regolatori. Per rendere il test equo, hanno utilizzato un metodo rigoroso in cui i modelli venivano addestrati sui dati di alcuni anni e testati su dati di un anno che non avevano mai visto prima, imitando il modo in cui questi sistemi opererebbero nel mondo reale.

I risultati sono stati sorprendenti e chiari. I modelli di apprendimento automatico hanno performato molto bene, ma non hanno battuto il libro delle regole. Infatti, hanno eguagliato le prestazioni del libro delle regole, ma non l'hanno mai superate. I ricercatori hanno scoperto che le regole esistenti catturavano già quasi tutte le informazioni necessarie per prendere una decisione corretta. I fattori più importanti per determinare se l'acqua non fosse sicura erano elementi come la presenza di determinati batteri, che il libro delle regole segnalava immediatamente. I modelli informatici hanno appreso questi stessi schemi, ma non sono riusciti a trovare alcun segnale "segreto" aggiuntivo nei dati che le semplici regole avessero mancato. Lo studio ha dimostrato che, per questo compito specifico, gli algoritmi complessi non offrivano alcun vantaggio rispetto al controllo deterministico e diretto delle normative.

Tuttavia, la storia non finisce con un semplice "no" all'apprendimento automatico. I ricercatori hanno scoperto che i maggiori miglioramenti non derivavano dal cambiare il modello informatico, ma dal correggere un difetto nei dati stessi. Hanno trovato un'incongruenza specifica nel modo in cui i dati erano etichettati riguardo a un pesticida chiamato metolacloro. Per diversi anni, le regole per questo prodotto chimico erano diverse rispetto all'ultimo anno dello studio, ma i registri storici non erano stati aggiornati per riflettere questo cambiamento. Ciò ha creato confusione, dove alcuni campioni d'acqua erano etichettati come sicuri quando, secondo i nuovi standard, avrebbero dovuto essere segnalati come non sicuri. Quando i ricercatori hanno corretto questa incongruenza nei dati, le prestazioni del sistema basato sulle regole sono migliorate drasticamente. Il numero di errori è diminuito di oltre la metà, da 19 errori a soli 9 nell'intero dataset.

Questa correzione è stata più preziosa di qualsiasi modifica ai modelli informatici. I ricercatori hanno anche provato un approccio ibrido, un sistema a due fasi in cui un campione sarebbe stato dichiarato non sicuro solo se sia il libro delle regole che il computer fossero concordi. Speravano che questo combinasse i punti di forza di entrambi i metodi, ma non ha funzionato come sperato. Poiché il computer e il libro delle regole commettevano errori sugli stessi campioni, chiedere l'accordo rendeva solo il sistema più cauto senza renderlo più accurato. Lo studio ha concluso che in un campo governato da soglie rigide, l'approccio migliore è garantire che i dati siano puliti e che le regole siano applicate correttamente. Sebbene l'apprendimento automatico sia uno strumento potente, in questo caso, è stata la meticolosa comprensione umana delle normative e dei dati ad aver fatto la vera differenza. La lezione è che prima di affrettarsi a sostituire i sistemi stabiliti con l'intelligenza artificiale, dobbiamo prima assicurarci che le fondamenta su cui stiamo costruendo siano solide.

Sintesi Tecnica: Benchmarking del Machine Learning rispetto a una Base Regolatoria basata su Regole per la Classificazione della Conformità dell'Acqua Potabile

Formulazione del Problema
Lo studio affronta la previsione della conformità dei campioni di acqua potabile rispetto agli indicatori di qualità prescritti, formulata come un problema di classificazione binaria. L'obiettivo è classificare i campioni come conformi ( $y=0$ ) o non conformi ( $y=1$ ), dove la non conformità è definita dal superamento di almeno un parametro misurato rispetto al proprio limite regolatorio. Il dataset comprende 22.152 campioni di monitoraggio nazionale dalla Slovenia relativi al periodo 2019–2025. Il problema è caratterizzato da un forte sbilanciamento delle classi, con solo circa il 9,4% dei campioni non conforme. Gli autori sostengono che, sebbene il machine learning (ML) sia frequentemente proposto per la conformità ambientale, esso viene raramente confrontato con i specifici set di regole regolatorie che mira a sostituire, lasciando poco chiaro il valore predittivo marginale dei modelli appresi.

Metodologia
La ricerca impiega un confronto sistematico tra una base regolatoria basata su regole (RB) e quattro modelli di machine learning: Gradient Boosting (GB), Random Forest (RF), LightGBM e un Multi-Layer Perceptron (MLP).

Dati e Caratteristiche: Il dataset grezzo includeva 231 parametri, ridotti a 68 attributi (69 con una caratteristica derivata) dopo il filtraggio per completezza e valori limite definiti. Le caratteristiche sono state categorizzate in microbiologiche, fisiche, chimiche, metalli e pesticidi. I valori mancanti nei parametri non microbiologici sono stati imputati con le mediane e gli outlier sono stati limitati al 99° percentile.
Selezione delle Caratteristiche: I valori SHAP (SHapley Additive exPlanations) sono stati utilizzati per classificare l'importanza degli attributi e determinare il numero ottimale di caratteristiche ( $K$ ) per l'addestramento del modello.
Protocollo di Validazione: Per evitare la fuga di dati (data leakage) inerente alle divisioni casuali per dati di serie temporali, lo studio ha utilizzato la validazione incrociata Leave-One-Year-Out (LOYO). In ciascuna delle sette iterazioni, un anno fungeva da set di test mentre i restanti sei anni formavano il set di addestramento.
Metriche di Prestazione: Data la sbilanciamento delle classi, la metrica di valutazione primaria è stata la misura F1 macro-mediata, integrata da precisione e recall. La significatività statistica è stata valutata tramite il test di McNemar, intervalli di confidenza bootstrap e t-test accoppiati.
Interventi Proposti:
1. Correzione Regolatoria del Metolacloro: Un passaggio di pre-elaborazione che affronta un'incoerenza di etichettatura derivante dall'irrigidimento dei criteri regolatori per i metaboliti del metolacloro (ESA e OXA) nel 2025. I valori per questi metaboliti precedenti al 2025 sono stati impostati come mancanti per evitare che il modello apprendesse correlazioni spurie tra le misurazioni pre-2025 e le etichette di conformità.
2. Modello di Consenso a Due Fasi: Un approccio ibrido in cui un campione è etichettato come non conforme solo se sia l'approccio basato su regole che un modello di machine learning prevedono indipendentemente la non conformità (logica AND).
3. Caratteristica Derivata: L'inclusione della somma della concentrazione totale dei pesticidi come variabile di input aggiuntiva.

Risultati Chiave

Prestazioni dei Modelli: Nello scenario base (senza correzioni), l'approccio basato su regole ha ottenuto la prestazione più elevata ( $F1 = 0,998$ con $K=30$ ). I modelli di machine learning (specificamente GB e LightGBM) hanno eguagliato la base regolatoria ( $F1 \approx 0,997$ ), ma non l'hanno superata statisticamente. L'MLP è stato significativamente peggiore sull'intero set di attributi ( $F1 = 0,966$ ).
Importanza delle Caratteristiche: L'analisi SHAP ha rivelato che il segnale di non conformità è fortemente concentrato nei parametri microbiologici (es. coliformi, E. coli), che sono gli attributi con il ranking più alto. La differenza di importanza tra il principale attributo microbiologico e il primo attributo non microbiologico era di circa 20 volte.
Impatto degli Interventi:
- Caratteristiche Derivate: L'aggiunta della somma totale dei pesticidi non ha prodotto un miglioramento statisticamente significativo nei punteggi F1 per alcun modello.
- Correzione del Metolacloro: Questo intervento si è rivelato critico. Rimuovendo l'incoerenza di etichettatura, il numero di errori dell'approccio basato su regole è sceso da 19 a 9 errori nell'intero dataset (una riduzione di oltre il 50%). La correzione ha migliorato il punteggio F1 dell'approccio basato su regole a 0,9988 (con $K=40$ ), avendo un impatto trascurabile sulle prestazioni dei modelli ML.
- Modello di Consenso: Il modello di consenso non ha superato la base regolatoria. L'analisi degli errori ha mostrato che i modelli ML e l'approccio basato su regole commettono errori su campioni quasi identici (alta sovrapposizione), il che significa che la strategia di consenso non è riuscita a sfruttare errori complementari. Il modello a due fasi ha ottenuto una precisione più elevata ma una recall inferiore rispetto ai modelli ML indipendenti.

Significatività e Rivendicazioni
L'articolo conclude che per i compiti di conformità regolatoria in cui il dominio è strettamente definito da soglie, i modelli di machine learning non superano una base regolatoria ricostruita fedelmente. Lo studio sostiene che il "successo" degli alti punteggi F1 (es. >0,99) nella letteratura sul ML spesso riflette semplicemente la riproduzione di soglie deterministiche esistenti piuttosto che la scoperta di nuovi pattern predittivi.

Gli autori affermano che gli interventi più preziosi non sono stati algoritmici ma guidati dal dominio:

Qualità dei Dati sopra la Complessità del Modello: Correggere le incoerenze di etichettatura regolatoria (la correzione del metolacloro) ha avuto un impatto sostanzialmente maggiore sulle prestazioni rispetto alla scelta della famiglia di modelli o alla sintonizzazione degli iperparametri.
Necessità di Baseline: Una base di riferimento basata su regole è un controllo indispensabile nel monitoraggio regolatorio. Senza di essa, le alte prestazioni del ML possono essere fuorvianti, poiché possono semplicemente replicare ciò che le soglie legali già ottengono.
Fattori Limitanti: Ai livelli di prestazione raggiunti (9 errori su 22.152 campioni), il soffitto per il miglioramento è determinato dalla qualità dei dati e dalle incoerenze di etichettatura piuttosto che dall'architettura del modello.

Il protocollo è presentato come trasferibile ad altri domini ambientali governati da soglie (es. qualità dell'aria, limiti delle acque reflue), sottolineando che il confronto deve sempre essere ancorato alle specifiche regole regolatorie piuttosto che a set di parametri generici.

Articoli simili