📊 estadística

Benchmarking machine learning against a regulatory rule-based baseline for drinking-water compliance classification

Este estudio demuestra que para la clasificación de cumplimiento de agua potable, los modelos de aprendizaje automático no pueden superar a un punto de referencia basado en reglas regulatorias debido a que los umbrales definidos por el dominio ya capturan casi toda la señal disponible, lo que resalta que refinar las reglas regulatorias e implementar estrategias de consenso es más efectivo que la selección de modelos.

Autores originales: Aljaž Sovič, Barbara Hribar Lee, Zoran Bosnić

Publicado 2026-10-09

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Aljaž Sovič, Barbara Hribar Lee, Zoran Bosnić

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Cada gota de agua que fluye de un grifo es el resultado de una vigilancia constante e invisible. Antes de llegar a un vaso, ha sido sometida a un estricto conjunto de reglas diseñadas para mantenerla segura para el consumo humano. Estas reglas no son sugerencias; son límites legales. Si una muestra de agua contiene incluso un solo marcador químico o biológico por encima de un umbral específico, la muestra completa se considera insegura. Durante décadas, la comprobación de estas muestras ha sido un proceso manual y sencillo: los científicos miden el agua, comparan los números con el libro de reglas y declaran si el agua es conforme o no conforme. Este método es fiable porque se basa en leyes claras y escritas, pero deja abierta una pregunta que ha fascinado a los científicos en años recientes: ¿podría una computadora aprender a hacer este trabajo mejor?

El aprendizaje automático, el campo de la informática donde los programas aprenden a partir de datos en lugar de seguir instrucciones explícitas, ha dado grandes avances en muchas áreas. A menudo se propone como una forma de encontrar patrones ocultos que los ojos humanos podrían pasar por alto. En el mundo de la seguridad ambiental, la idea es que una computadora podría observar miles de mediciones de agua y predecir cuáles son peligrosas, quizás detectando conexiones sutiles entre diferentes sustancias químicas que un simple libro de reglas no puede ver. La esperanza es que estos algoritmos inteligentes puedan detectar los peligros de forma más temprana o precisa que el sistema actual. Pero para que esta promesa sea real, el nuevo sistema debe ser probado contra el antiguo. No basta con decir que una computadora es inteligente; debe demostrarse que es más inteligente que las reglas establecidas que pretende reemplazar.

Un equipo de investigadores en Eslovenia decidió poner a prueba esta idea utilizando un archivo masivo de datos del mundo real. Recopilaron 22.152 muestras de agua recolectadas durante siete años en todo el país. Cada muestra había sido medida para cientos de cosas diferentes, desde bacterias y metales hasta pesticidas y propiedades físicas como la temperatura y la claridad. Los investigadores plantearon un desafío: ¿podría un modelo de aprendizaje automático, entrenado con estos datos, predecir si una muestra era segura o insegura mejor que el libro de reglas oficial? Construyeron cuatro tipos diferentes de modelos de aprendizaje, que iban desde árboles de decisión simples hasta redes neuronales complejas, y los compararon con el método estándar utilizado por los reguladores. Para que la prueba fuera justa, utilizaron un método riguroso en el que los modelos fueron entrenados con datos de algunos años y probados con datos de un año que nunca habían visto, imitando cómo funcionarían estos sistemas en el mundo real.

Los resultados fueron sorprendentes y claros. Los modelos de aprendizaje automático funcionaron muy bien, pero no vencieron al libro de reglas. De hecho, igualaron el rendimiento del libro de reglas, pero nunca lo superaron. Los investigadores descubrieron que las reglas existentes ya capturaban casi toda la información necesaria para tomar una decisión correcta. Los factores más importantes para determinar si el agua era insegura eran aspectos como la presencia de ciertas bacterias, que el libro de reglas ya señalaba de inmediato. Los modelos computacionales aprendieron estos mismos patrones, pero no pudieron encontrar ninguna señal "secreta" adicional en los datos que las reglas simples pasaran por alto. El estudio demostró que, para esta tarea específica, los algoritmos complejos no ofrecían ninguna ventaja sobre la comprobación determinista y directa de las regulaciones.

Sin embargo, la historia no termina con un simple "no" al aprendizaje automático. Los investigadores descubrieron que las mayores mejoras no provinieron de cambiar el modelo computacional, sino de corregir un fallo en los datos mismos. Encontraron una inconsistencia específica en la forma en que se etiquetaba un pesticida llamado metolacloro. Durante varios años, las reglas para este químico fueron diferentes a las del año final del estudio, pero los registros históricos no se habían actualizado para reflejar este cambio. Esto creó confusión, donde algunas muestras de agua fueron etiquetadas como seguras cuando, según los nuevos estándares, deberían haber sido marcadas como inseguras. Cuando los investigadores corrigieron esta inconsistencia en los datos, el rendimiento del sistema basado en reglas mejoró drásticamente. El número de errores cayó a más de la mitad, de 19 errores a solo 9 en todo el conjunto de datos.

Esta corrección fue más valiosa que cualquier cambio en los modelos computacionales. Los investigadores también probaron un enfoque híbrido, un sistema de dos pasos donde una muestra solo sería declarada insegura si tanto el libro de reglas como la computadora estaban de acuerdo. Esperaban que esto combinara las fortalezas de ambos métodos, pero no funcionó como se esperaba. Debido a que la computadora y el libro de reglas cometían errores en las mismas muestras, pedir que coincidieran solo hizo que el sistema fuera más cauteloso sin hacerlo más preciso. El estudio concluyó que, en un campo gobernado por umbrales estrictos, el mejor enfoque es asegurar que los datos estén limpios y que las reglas se apliquen correctamente. Si bien el aprendizaje automático es una herramienta poderosa, en este caso, fue la cuidadosa comprensión humana de las regulaciones y de los datos lo que marcó la verdadera diferencia. La lección es que, antes de apresurarnos a reemplazar sistemas establecidos con inteligencia artificial, primero debemos asegurarnos de que el cimiento sobre el cual estamos construyendo sea sólido.

Resumen Técnico: Evaluación Comparativa de Aprendizaje Automático frente a una Línea Base Basada en Reglas Regulatorias para la Clasificación de Cumplimiento de Agua Potable

Formulación del Problema
El estudio aborda la predicción del cumplimiento de las muestras de agua potable con los indicadores de calidad prescritos, formulado como un problema de clasificación binaria. El objetivo es clasificar las muestras como conformes ( $y=0$ ) o no conformes ( $y=1$ ), donde la no conformidad se define por al menos un parámetro medido que excede su límite regulatorio. El conjunto de datos comprende 22.152 muestras de monitoreo nacional de Eslovenia que abarcan el periodo 2019–2025. El problema se caracteriza por un fuerte desequilibrio de clases, con solo aproximadamente el 9,4% de las muestras siendo no conformes. Los autores postulan que, si bien el aprendizaje automático (ML) se propone frecuentemente para el cumplimiento ambiental, rara vez se evalúa comparativamente contra los conjuntos de reglas regulatorias específicas que pretende reemplazar, dejando incierto el valor predictivo marginal de los modelos aprendidos.

Metodología
La investigación emplea una comparación sistemática entre una línea base regulatoria basada en reglas (RB) y cuatro modelos de aprendizaje automático: Gradient Boosting (GB), Random Forest (RF), LightGBM y un Perceptrón Multicapa (MLP).

Datos y Características: El conjunto de datos bruto incluía 231 parámetros, reducidos a 68 atributos (69 con un atributo derivado) tras filtrar por completitud y valores de límite definidos. Las características se categorizaron en microbiológicas, físicas, químicas, metales y pesticidas. Los valores faltantes en parámetros no microbiológicos se imputaron con medianas, y los valores atípicos se limitaron al percentil 99.
Selección de Características: Se utilizaron valores SHAP (SHapley Additive exPlanations) para clasificar la importancia de los atributos y determinar el número óptimo de características ( $K$ ) para el entrenamiento del modelo.
Protocolo de Validación: Para evitar la fuga de datos inherente a las divisiones aleatorias en datos de series temporales, el estudio utilizó la validación cruzada Leave-One-Year-Out (LOYO). En cada una de las siete iteraciones, un año servía como conjunto de prueba mientras que los seis años restantes formaban el conjunto de entrenamiento.
Métricas de Desempeño: Dada la desproporción de clases, la métrica de evaluación primaria fue la medida F1 promediada macro, suplementada con precisión y exhaustividad (recall). La significancia estadística se evaluó mediante la prueba de McNemar, intervalos de confianza de bootstrap y pruebas t pareadas.
Intervenciones Propuestas:
1. Corrección Regulatoria de Metolacloro: Un paso de preprocesamiento que aborda una inconsistencia de etiquetado derivada del endurecimiento de los criterios regulatorios de 2025 para los metabolitos del metolacloro (ESA y OXA). Los valores para estos metabolitos anteriores a 2025 se establecieron como faltantes para evitar que el modelo aprenda correlaciones espurias entre las mediciones anteriores a 2025 y las etiquetas de cumplimiento.
2. Modelo de Consenso de Dos Pasos: Un enfoque híbrido donde una muestra se etiqueta como no conforme solo si tanto el enfoque basado en reglas como un modelo de aprendizaje automático predicen la no conformidad de forma independiente (lógica AND).
3. Característica Derivada: La inclusión de la suma de la concentración total de pesticidas como una variable de entrada adicional.

Resultados Clave

Desempeño de los Modelos: En el escenario base (sin correcciones), el enfoque basado en reglas logró el mayor desempeño ( $F1 = 0,998$ en $K=30$ ). Los modelos de aprendizaje automático (específicamente GB y LightGBM) igualaron la línea base basada en reglas ( $F1 \approx 0,997$ ) pero no la superaron estadísticamente. El MLP tuvo un desempeño significativamente inferior en el conjunto completo de atributos ( $F1 = 0,966$ ).
Importancia de las Características: El análisis SHAP reveló que la señal de no conformidad está fuertemente concentrada en los parámetros microbiológicos (p. ej., coliformes, E. coli), que son los atributos de mayor rango. La diferencia en la importancia entre el principal atributo microbiológico y el primer atributo no microbiológico fue de aproximadamente 20 veces.
Impacto de las Intervenciones:
- Características Derivadas: La adición de la suma total de pesticidas no produjo una mejora estadísticamente significativa en las puntuaciones F1 para ningún modelo.
- Corrección de Metolacloro: Esta intervención resultó crítica. Al eliminar la inconsistencia de etiquetado, el recuento de errores del enfoque basado en reglas cayó de 19 a 9 errores en todo el conjunto de datos (una reducción de más del 50%). La corrección mejoró la puntuación F1 del enfoque basado en reglas a 0,9988 (en $K=40$ ), mientras que tuvo un impacto insignificante en el desempeño de los modelos de ML.
- Modelo de Consenso: El modelo de consenso no superó a la línea base basada en reglas. El análisis de errores mostró que los modelos de ML y el enfoque basado en reglas cometieron errores en muestras casi idénticas (alta superposición), lo que significa que la estrategia de consenso no logró explotar errores complementarios. El modelo de dos pasos logró una mayor precisión pero una menor exhaustividad en comparación con los modelos de ML independientes.

Significancia y Reivindicaciones
El artículo concluye que para tareas de cumplimiento regulatorio donde el dominio está estrictamente definido por umbrales, el aprendizaje automático no supera a una línea base basada en reglas fielmente reconstruida. El estudio sostiene que el "éxito" de las altas puntuaciones F1 (p. ej., >0,99) en la literatura de ML a menudo solo refleja la reproducción de umbrales deterministas existentes en lugar del descubrimiento de nuevos patrones predictivos.

Los autores afirman que las intervenciones más valiosas no fueron algorítmicas sino impulsadas por el dominio:

Calidad de Datos sobre Complejidad del Modelo: Corregir las inconsistencias de etiquetado regulatorio (la corrección de metolacloro) tuvo un impacto sustancialmente mayor en el desempeño que la elección de la familia de modelos o el ajuste de hiperparámetros.
Necesidad de Líneas Base: Una línea base basada en reglas es un control indispensable en el monitoreo regulatorio. Sin ella, las altas métricas de desempeño de ML pueden ser engañosas, ya que pueden estar simplemente replicando lo que los umbrales legales ya logran.
Factores Limitantes: Al alcanzar los niveles de desempeño logrados (9 errores en 22.152 muestras), el techo de mejora está determinado por la calidad de los datos y las inconsistencias de etiquetado, más que por la arquitectura del modelo.

El protocolo se presenta como transferible a otros dominios ambientales gobernados por umbrales (p. ej., calidad del aire, límites de aguas residuales), enfatizando que la comparación siempre debe estar anclada en las reglas regulatorias específicas en lugar de conjuntos de parámetros genéricos.

Más como este