📊 statistiques

Benchmarking machine learning against a regulatory rule-based baseline for drinking-water compliance classification

Cette étude démontre que, pour la classification de la conformité de l'eau potable, les modèles d'apprentissage automatique ne peuvent surpasser une base de référence réglementaire basée sur des règles car les seuils définis par le domaine capturent déjà la quasi-totalité du signal disponible, soulignant que l'affinement des règles réglementaires et la mise en œuvre de stratégies de consensus sont plus efficaces que la sélection de modèles.

Auteurs originaux : Aljaž Sovič, Barbara Hribar Lee, Zoran Bosnić

Publié 2026-10-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Aljaž Sovič, Barbara Hribar Lee, Zoran Bosnić

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Chaque goutte d'eau qui coule d'un robinet est le résultat d'une vigilance constante et invisible. Avant d'atteindre un verre, elle a été testée par rapport à un ensemble strict de règles conçues pour garantir sa sécurité pour la consommation humaine. Ces règles ne sont pas des suggestions ; ce sont des limites légales. Si un échantillon d'eau contient ne serait-ce qu'un seul marqueur chimique ou biologique au-dessus d'un seuil spécifique, l'échantillon entier est considéré comme non sûr. Pendant des décennies, le contrôle de ces échantillons a été un processus manuel et direct : les scientifiques mesurent l'eau, comparent les chiffres au recueil de règles, et déclarent l'eau conforme ou non conforme. Cette méthode est fiable car elle repose sur des lois écrites claires, mais elle laisse une question qui fascine les scientifiques depuis quelques années : un ordinateur pourrait-il apprendre à faire ce travail mieux ?

L'apprentissage automatique, le domaine de l'informatique où les programmes apprennent à partir de données plutôt que de suivre des instructions explicites, a fait des progrès immenses dans de nombreux domaines. On propose souvent qu'il puisse trouver des modèles cachés que l'œil humain pourrait manquer. Dans le monde de la sécurité environnementale, l'idée est qu'un ordinateur pourrait examiner des milliers de mesures d'eau et prédire lesquelles sont dangereuses, en repérant peut-être des connexions subtiles entre différents produits chimiques qu'un simple recueil de règles ne peut voir. L'espoir est que ces algorithmes intelligents pourraient détecter les dangers plus tôt ou plus précisément que le système actuel. Mais pour que cette promesse soit réelle, le nouveau système doit être testé par rapport à l'ancien. Il ne suffit pas de dire qu'un ordinateur est intelligent ; il faut démontrer qu'il est plus intelligent que les règles établies qu'il est censé remplacer.

Une équipe de chercheurs en Slovénie a décidé de mettre cette idée à l'épreuve en utilisant une archive massive de données réelles. Ils ont rassemblé 22 152 échantillons d'eau collectés sur sept ans à travers le pays. Chaque échantillon avait été mesuré pour des centaines de choses différentes, des bactéries aux métaux, en passant par les pesticides et des propriétés physiques comme la température et la clarté. Les chercheurs ont lancé un défi : un modèle d'apprentissage automatique, entraîné sur ces données, pourrait-il prédire si un échantillon est sûr ou dangereux mieux que le recueil de règles officiel ? Ils ont construit quatre types différents de modèles d'apprentissage, allant d'arbres de décision simples à des réseaux de neurones complexes, et les ont comparés à la méthode standard utilisée par les régulateurs. Pour que le test soit équitable, ils ont utilisé une méthode rigoureuse où les modèles étaient entraînés sur des données de certaines années et testés sur des données d'une année qu'ils n'avaient jamais vue auparavant, imitant ainsi le fonctionnement de ces systèmes dans le monde réel.

Les résultats furent surprenants et clairs. Les modèles d'apprentissage automatique ont très bien performé, mais ils n'ont pas battu le recueil de règles. En fait, ils ont égalé la performance du recueil, mais ne l'ont jamais surpassée. Les chercheurs ont découvert que les règles existantes captaient déjà presque toutes les informations nécessaires pour prendre une décision correcte. Les facteurs les plus importants pour déterminer si l'eau était non sûre étaient des éléments comme la présence de certaines bactéries, que le recueil de règles signalait immédiatement. Les modèles informatiques ont appris ces mêmes schémas, mais n'ont pas pu trouver de signaux « secrets » supplémentaires dans les données que les règles simples auraient manqués. L'étude a montré que pour cette tâche spécifique, les algorithmes complexes n'offraient aucun avantage par rapport au contrôle déterministe et direct des réglementations.

Cependant, l'histoire ne s'achève pas par un simple « non » à l'apprentissage automatique. Les chercheurs ont découvert que les améliorations les plus importantes ne venaient pas du changement de modèle informatique, mais de la correction d'une faille dans les données elles-mêmes. Ils ont trouvé une incohérence spécifique dans la façon dont les données étaient étiquetées concernant un pesticide appelé métolachlore. Pendant plusieurs années, les règles pour ce produit chimique étaient différentes de celles de la dernière année de l'étude, mais les archives historiques n'avaient pas été mises à jour pour refléter ce changement. Cela a créé une confusion où certains échantillons d'eau étaient étiquetés comme sûrs alors que, selon les nouvelles normes, ils auraient dû être signalés comme non sûrs. Lorsque les chercheurs ont corrigé cette incohérence dans les données, la performance du système basé sur les règles s'est considérablement améliorée. Le nombre d'erreurs a chuté de plus de moitié, passant de 19 erreurs à seulement 9 sur l'ensemble du jeu de données.

Cette correction a été plus précieuse que tout changement apporté aux modèles informatiques. Les chercheurs ont également testé une approche hybride, un système en deux étapes où un échantillon ne serait déclaré non sûr que si le recueil de règles et l'ordinateur étaient tous deux d'accord. Ils espéraient que cela combinerait les forces des deux méthodes, mais cela n'a pas fonctionné comme prévu. Comme l'ordinateur et le recueil de règles faisaient des erreurs sur les mêmes échantillons, demander un accord ne faisait rendre le système plus prudent sans le rendre plus précis. L'étude a conclu que dans un domaine régi par des seuils stricts, la meilleure approche consiste à s'assurer que les données sont propres et que les règles sont appliquées correctement. Bien que l'apprentissage automatique soit un outil puissant, dans ce cas précis, c'est la compréhension attentive des réglementations et des données par l'humain qui a fait la véritable différence. La leçon est la suivante : avant de nous précipiter pour remplacer les systèmes établis par l'intelligence artificielle, nous devons d'abord nous assurer que les fondations sur lesquelles nous construisons sont solides.

Résumé technique : Évaluation comparative de l'apprentissage automatique par rapport à une référence basée sur des règles réglementaires pour la classification de la conformité de l'eau potable

Formulation du problème
L'étude traite de la prédiction de la conformité des échantillons d'eau potable vis-à-vis d'indicateurs de qualité prescrits, formulée comme un problème de classification binaire. L'objectif est de classer les échantillons comme conformes ( $y=0$ ) ou non conformes ( $y=1$ ), la non-conformité étant définie par au moins un paramètre mesuré dépassant sa limite réglementaire. Le jeu de données comprend 22 152 échantillons de surveillance nationaux provenant de Slovénie couvrant la période 2019–2025. Le problème est caractérisé par un fort déséquilibre des classes, avec seulement environ 9,4 % d'échantillons non conformes. Les auteurs postulent que, bien que l'apprentissage automatique (ML) soit fréquemment proposé pour la conformité environnementale, il est rarement comparé aux ensembles de règles réglementaires spécifiques qu'il vise à remplacer, laissant incertain la valeur prédictive marginale des modèles appris.

Méthodologie
La recherche emploie une comparaison systématique entre une référence réglementaire basée sur des règles (RB) et quatre modèles d'apprentissage automatique : Gradient Boosting (GB), Random Forest (RF), LightGBM et un Perceptron Multicouche (MLP).

Données et caractéristiques : Le jeu de données brut comprenait 231 paramètres, réduits à 68 attributs (69 avec une caractéristique dérivée) après filtrage pour l'exhaustivité et les valeurs limites définies. Les caractéristiques ont été catégorisées en microbiologiques, physiques, chimiques, métaux et pesticides. Les valeurs manquantes dans les paramètres non microbiologiques ont été imputées par les médianes, et les valeurs aberrantes ont été plafonnées au 99e percentile.
Sélection de caractéristiques : Les valeurs SHAP (SHapley Additive exPlanations) ont été utilisées pour classer l'importance des attributs et déterminer le nombre optimal de caractéristiques ( $K$ ) pour l'entraînement du modèle.
Protocole de validation : Pour éviter la fuite de données (data leakage) inhérente aux divisions aléatoires pour les séries temporelles, l'étude a utilisé une validation croisée de type Leave-One-Year-Out (LOYO). Dans chacune des sept itérations, une année servait d'ensemble de test tandis que les six autres années formaient l'ensemble d'entraînement.
Métriques de performance : Étant donné le déséquilibre des classes, la principale métrique d'évaluation était la mesure F1 moyennée macro, complétée par la précision et le rappel. La signification statistique a été évaluée à l'aide du test de McNemar, d'intervalles de confiance par bootstrap et de tests t appariés.
Interventions proposées :
1. Correction réglementaire du métolachlore : Une étape de prétraitement traitant une incohérence d'étiquetage découlant du durcissement en 2025 des critères réglementaires pour les métabolites du métolachlore (ESA et OXA). Les valeurs pour ces métabolites avant 2025 ont été définies comme manquantes afin d'empêcher le modèle d'apprendre des corrélations fallacieuses entre les mesures antérieures à 2025 et les étiquettes de conformité.
2. Modèle de consensus à deux étapes : Une approche hybride où un échantillon est étiqueté comme non conforme uniquement si l'approche basée sur des règles et un modèle d'apprentissage automatique prédisent tous deux la non-conformité (ET logique).
3. Caractéristique dérivée : L'inclusion de la somme des concentrations totales de pesticides comme variable d'entrée supplémentaire.

Résultats clés

Performance des modèles : Dans le scénario de base (sans corrections), l'approche basée sur les règles a obtenu la performance la plus élevée ( $F1 = 0,998$ à $K=30$ ). Les modèles d'apprentissage automatique (spécifiquement GB et LightGBM) ont égalé la référence basée sur les règles ( $F1 \approx 0,997$ ) mais n'ont pas statistiquement dépassé celle-ci. Le MLP a performé de manière nettement moins bonne sur l'ensemble complet des attributs ( $F1 = 0,966$ ).
Importance des caractéristiques : L'analyse SHAP a révélé que le signal de non-conformité est fortement concentré dans les paramètres microbiologiques (ex. coliformes, E. coli), qui sont les attributs les mieux classés. La différence d'importance entre le premier attribut microbiologique et le premier attribut non microbiologique était d'environ 20 fois.
Impact des interventions :
- Caractéristiques dérivées : L'ajout de la somme totale des pesticides n'a pas apporté d'amélioration statistiquement significative des scores F1 pour aucun modèle.
- Correction du métolachlore : Cette intervention s'est avérée critique. En supprimant l'incohérence d'étiquetage, le nombre d'erreurs de l'approche basée sur les règles est passé de 19 à 9 erreurs sur l'ensemble des données (une réduction de plus de 50 %). La correction a amélioré le score F1 de l'approche basée sur les règles à 0,9988 (à $K=40$ ), tout en ayant un impact négligeable sur les performances des modèles de ML.
- Modèle de consensus : Le modèle de consensus n'a pas surpassé la référence basée sur les règles. L'analyse des erreurs a montré que les modèles de ML et l'approche basée sur les règles commettaient des erreurs sur des échantillons presque identiques (chevauchement élevé), ce qui signifie que la stratégie de consensus n'a pas réussi à exploiter des erreurs complémentaires. Le modèle à deux étapes a obtenu une précision plus élevée mais un rappel plus faible par rapport aux modèles de ML autonomes.

Signification et affirmations
L'article conclut que pour les tâches de conformité réglementaire où le domaine est strictement défini par des seuils, l'apprentissage automatique ne surpasse pas une référence basée sur des règles fidèlement reconstruite. L'étude soutient que le « succès » des scores F1 élevés (ex. > 0,99) dans la littérature du ML reflète souvent simplement la reproduction de seuils déterministes existants plutôt que la découverte de nouveaux schémas prédictifs.

Les auteurs affirment que les interventions les plus précieuses n'étaient pas algorithmiques mais axées sur le domaine :

Qualité des données plutôt que complexité du modèle : La correction des incohérences d'étiquetage réglementaire (la correction du métolachlore) a eu un impact substantiellement plus important sur la performance que le choix de la famille de modèles ou le réglage des hyperparamètres.
Nécessité des références (baselines) : Une référence basée sur des règles est un contrôle indispensable dans la surveillance réglementaire. Sans elle, les performances élevées du ML peuvent être trompeuses, car elles peuvent simplement reproduire ce que les seuils légaux accomplissent déjà.
Facteurs limitants : Aux niveaux de performance atteints (9 erreurs sur 22 152 échantillons), le plafond d'amélioration est déterminé par la qualité des données et les incohérences d'étiquetage plutôt que par l'architecture du modèle.

Le protocole est présenté comme transférable à d'autres domaines environnementaux régis par des seuils (ex. qualité de l'air, limites d'eaux usées), soulignant que la comparaison doit toujours être ancrée dans les règles réglementaires spécifiques plutôt que dans des ensembles de paramètres génériques.

Articles similaires