A transferable explainable and uncertainty-aware machine learning framework for water quality classification in data-scarce regions

Résumé Technique : Un cadre d'apprentissage automatique transférable, explicable et sensible à l'incertitude pour la classification de la qualité de l'eau dans les régions à données limitées

Énoncé du problème
L'évaluation de la qualité de l'eau dans les régions à données limitées fait face à des défis critiques, notamment la fragmentation des réseaux de surveillance, l'hétérogénéité des ensembles de données, la qualité variable des étiquettes et l'incertitude des seuils de décision. Bien que les indices de qualité de l'eau (IQE) offrent un outil de communication simplifié, ils occultent souvent la complexité hydrochimique locale et l'incertitude, particulièrement lorsque les seuils sont transférés d'autres contextes. Les approches d'apprentissage automatique (ML) existantes privilégient fréquemment la précision prédictive au détriment de la définition de la tâche, confondant souvent des problèmes de classification indépendants avec des exercices de récupération de règles basés sur des étiquettes dérivées d'indices. De plus, ces modèles manquent souvent d'explicabilité et d'estimation de l'incertitude, ce qui conduit à des prédictions trop confiantes dans des environnements où les paramètres physico-chimiques ne permettent pas toujours de séparer pleinement les classes de qualité de l'eau. L'étude répond au besoin d'un cadre d'aide à la décision prudent et reproductible qui gère explicitement la rareté des données, l'hétérogénéité des tâches et le risque de fuite d'informations.

Méthodologie
Les auteurs proposent un cadre transférable qui intègre des ensembles de données en accès libre, le raisonnement par IQE, une construction de tâches exempte de fuites, l'apprentissage supervisé, l'IA explicable (XAI) et l'estimation de l'incertitude. Le flux de travail se déroule selon les étapes suivantes :

1. Curation et harmonisation des données : Cinq ensembles de données en accès libre ont été audités et harmonisés. Cela a impliqué la standardisation des noms de colonnes, la conversion des variables en formats numériques, la gestion des valeurs manquantes par imputation de la médiane (en utilisant uniquement les statistiques de l'ensemble d'entraînement) et la suppression des enregistrements dupliqués. Crucialement, un protocole de prévention des fuites a été appliqué : les variables codant directement les étiquettes cibles ou les scores d'IQE ont été exclues de la matrice de prédicteurs pour éviter le raisonnement circulaire.
2. Définition des tâches : L'étude sépare explicitement trois familles de tâches distinctes pour éviter toute interprétation erronée de la performance du modèle :
   • Classification binaire de la potabilité de l'eau : La tâche principale « difficile », visant à distinguer les échantillons potables des non-potables à l'aide de descripteurs physico-chimiques.
   • Classification structurée de la qualité des eaux souterraines : Une tâche de classification hydrochimique basée sur des paramètres tels que la salinité et la sodicité.
   • Récupération de règles d'IQE : Une tâche secondaire où les modèles tentent de reproduire les classifications dérivées de la logique d'IQE, servant de test d'approximation de règles plutôt que de validation de terrain indépendante.
3. Construction des étiquettes : Pour les tâches d'IQE, les étiquettes ont été générées à l'aide de diverses formulations (poids égaux, moyenne pondérée, pondération par l'entropie, pondération CRITIC et hybride entropie-CRITIC). Elles ont été strictement utilisées pour les tâches de récupération de règles, et non comme vérité de terrain pour la potabilité.
4. Modélisation et optimisation : Un large éventail d'algorithmes (Random Forest, Extra Trees, HistGradientBoosting, XGBoost, LightGBM, SVM, KNN, MLP) a été évalué. L'optimisation des hyperparamètres s'est concentrée sur le F1-macro et l'exactitude équilibrée pour traiter le déséquilibre des classes. Des techniques de rééchantillonnage (SMOTE, ADASYN) ont été appliquées uniquement au sein de la pliure (fold) d'entraînement pour éviter la fuite de données.
5. Explicabilité et incertitude :
   • Explicabilité : SHAP (Shapley Additive Explanations) et l'importance par permutation ont été utilisés pour identifier les moteurs physico-chimiques.
   • Incertitude : Le cadre utilise la calibration de probabilité, le score de confiance, les marges de décision, l'analyse de l'entropie et la prédiction conforme par partition (split-conformal prediction). Cela permet au système de produire une classe unique lorsque les preuves sont fortes, ou un ensemble de classes possibles (ou un signal pour examen par un expert) lorsque l'incertitude est élevée.

Résultats clés

• Performance par tâche :
  • Potabilité binaire : Le modèle Random Forest a obtenu des performances modérées (Exactitude : 0,6890, Exactitude équilibrée : 0,6627, F1-macro : 0,6655, ROC-AUC : 0,6902). Cela confirme que les descripteurs physico-chimiques disponibles ne séparent que partiellement les échantillons potables et non potables.
  • Classification des eaux souterraines : Les modèles ont obtenu des scores quasi parfaits (Exactitude : 1,0000) sur les ensembles de données de Telangana, indiquant que les classes hydrochimiques dans ces ensembles de données curés sont hautement structurées et séparables.
  • Récupération de règles d'IQE : Les modèles ont atteint des performances très élevées (Exactitude > 0,98), confirmant que le ML peut approximer efficacement les règles de décision basées sur les indices. Cependant, les auteurs avertissent que cela reflète une récupération de règles et non une validation de terrain indépendante.
• Analyse de l'incertitude : Pour la tâche difficile de la potabilité, la couche d'incertitude a révélé que seulement ~6,25 % des prédictions étaient hautement fiables. Cependant, ce sous-ensemble fiable a atteint une exactitude d'environ ~0,8780. À l'inverse, ~63,11 % des échantillons ont été signalés pour examen par un expert, évitant ainsi des décisions trop confiantes sur des données ambiguës.
• Explicabilité : Les modèles ont identifié des moteurs scientifiquement significatifs. Pour la potabilité, les variables clés comprenaient le sulfate, le pH, les solides, les chloramines et la dureté. Pour les eaux souterraines, la conductivité électrique, le rapport de sodium d'adsorption (SAR) et la dureté totale étaient dominants.

Contributions clés

1. Distinction méthodologique : L'étude établit une séparation critique entre les tâches de classification indépendantes et les tâches de récupération de règles d'IQE, empêant la surestimation des capacités des modèles lorsque les étiquettes sont dérivées des mêmes caractéristiques utilisées pour la prédiction.
2. Aide à la décision sensible à l'incertitude : Plutôt que de fonctionner comme un « classificateur automatique aveugle », le cadre fonctionne comme un outil d'aide à la décision qui signale explicitement les échantillons incertains pour examen par un expert, une caractéristique cruciale pour les régions à données limitées.
3. Cadre transférable : Le flux de travail fournit une méthodologie reproductible pour l'audit, le nettoyage et la modélisation des données de qualité de l'eau, adaptable aux contextes locaux une fois que les données de terrain deviennent disponibles.
4. Interprétation prudente : Le document évite de revendiquer une généralisation universelle, se positionnant plutôt comme une phase fondamentale pour de futures calibrations locales.

Signification et revendications
Les auteurs affirment que ce cadre offre un « cadre de décision prudent et reproductible » plutôt qu'un classificateur automatique définitif. Sa principale importance réside dans son applicabilité aux régions à données limitées (citant spécifiquement le contexte de la Guinée) où les données de surveillance locales sont limitées ou fragmentées. En intégrant l'explicabilité et l'estimation de l'incertitude, le cadre garantit que les prédictions sont accompagnées d'une évaluation de la fiabilité, soutenant ainsi la santé publique et la gestion environnementale sans remplacer les confirmations de laboratoire nécessaires.

Le document stipule explicitement que les résultats actuels sont basés sur des ensembles de données en accès libre et ne constituent pas des prédictions opérationnelles directes pour les systèmes d'eau guinéens. Le cadre est conçu pour être adapté, recalibré et validé lors d'une seconde phase utilisant des données de terrain locales (puits, forages, eaux de surface) et des variables étendues (indicateurs microbiologiques, métaux lourds, effets saisonniers). Ce travail sert de fondation méthodologique pour un déploiement futur dans les contextes africains où une modélisation robuste, transparente et sensible à l'incertitude est requise avant toute mise en œuvre sur le terrain.