📊 estatística

Benchmarking machine learning against a regulatory rule-based baseline for drinking-water compliance classification

Este estudo demonstra que, para a classificação de conformidade de água potável, modelos de aprendizado de máquina não podem superar um baseline regulatório baseado em regras porque os limiares definidos pelo domínio já capturam quase todo o sinal disponível, destacando que refinar as regras regulatórias e implementar estratégias de consenso são mais eficazes do que a seleção de modelos.

Autores originais: Aljaž Sovič, Barbara Hribar Lee, Zoran Bosnić

Publicado 2026-10-09

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Aljaž Sovič, Barbara Hribar Lee, Zoran Bosnić

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Cada gota de água que flui de uma torneira é o resultado de uma vigilância constante e invisível. Antes de chegar a um copo, ela foi testada contra um conjunto rigoroso de regras projetadas para mantê-la segura para o consumo humano. Essas regras não são sugestões; são limites legais. Se uma amostra de água contiver mesmo um único marcador químico ou biológico acima de um limite específico, toda a amostra é considerada insegura. Durante décadas, verificar essas amostras tem sido um processo manual e direto: cientistas medem a água, comparam os números com o livro de regras e declaram se a água está em conformidade ou não conforme. Este método é confiável porque é baseado em leis claras e escritas, mas deixa aberta uma questão que tem fascinado cientistas nos últimos anos: poderia um computador aprender a fazer este trabalho melhor?

O aprendizado de máquina, o campo da ciência da computação onde programas aprendem com dados em vez de seguir instruções explícitas, fez progressos enormes em muitas áreas. É frequentemente proposto como uma forma de encontrar padrões ocultos que os olhos humanos poderiam perder. No mundo da segurança ambiental, a ideia é que um computador poderia analisar milhares de medições de água e prever quais são perigosas, talvez detectando conexões sutis entre diferentes produtos químicos que um simples livro de regras não consegue ver. A esperança é que esses algoritmos inteligentes possam detectar perigos de forma mais precoce ou precisa do que o sistema atual. Mas, para que essa promessa seja real, o novo sistema deve ser testado contra o antigo. Não basta dizer que um computador é inteligente; é preciso demonstrar que ele é mais inteligente do que as regras estabelecidas que ele pretende substituir.

Uma equipe de pesquisadores na Eslovênia decidiu colocar essa ideia à prova usando um arquivo massivo de dados do mundo real. Eles reuniram 22.152 amostras de água coletadas ao longo de sete anos em todo o país. Cada amostra havia sido medida para centenas de coisas diferentes, desde bactérias e metais até pesticidas e propriedades físicas como temperatura e transparência. Os pesquisadores estabeleceram um desafio: um modelo de aprendizado de máquina, treinado com esses dados, conseguiria prever se uma amostra estava segura ou insegura melhor do que o livro de regras oficial? Eles construíram quatro tipos diferentes de modelos de aprendizado, variando de árvores de decisão simples a redes neurais complexas, e os compararam com o método padrão usado pelos reguladores. Para tornar o teste justo, utilizaram um método rigoroso onde os modelos foram treinados com dados de alguns anos e testados em dados de um ano que eles nunca tinham visto antes, simulando como esses sistemas funcionariam no mundo real.

Os resultados foram surpreendentes e claros. Os modelos de aprendizado de máquina tiveram um bom desempenho, mas não venceram o livro de regras. Na verdade, eles igualaram o desempenho do livro de regras, mas nunca o superaram. Os pesquisadores descobriram que as regras existentes já capturavam quase toda a informação necessária para tomar uma decisão correta. Os fatores mais importantes para determinar se a água era insegura eram coisas como a presença de certas bactérias, que o livro de regras já sinalizava imediatamente. Os modelos de computador aprenderam esses mesmos padrões, mas não conseguiram encontrar nenhum sinal "secreto" adicional nos dados que as regras simples tivessem perdido. O estudo mostrou que, para esta tarefa específica, os algoritmos complexos não ofereciam vantagem sobre a verificação determinística e direta das regulamentações.

No entanto, a história não termina com um simples "não" ao aprendizado de máquina. Os pesquisadores descobriram que as maiores melhorias vieram não da mudança do modelo de computador, mas da correção de uma falha nos próprios dados. Eles encontraram uma inconsistência específica na forma como os dados eram rotulados em relação a um pesticida chamado metolacloro. Durante vários anos, as regras para este produto químico eram diferentes das do ano final do estudo, mas os registros históricos não haviam sido atualizados para refletir essa mudança. Isso criou confusão, onde algumas amostras de água foram rotuladas como seguras quando, pelos novos padrões, deveriam ter sido sinalizadas como inseguras. Quando os pesquisadores corrigiram essa inconsistência nos dados, o desempenho do sistema baseado em regras melhorou dramaticamente. O número de erros caiu em mais da metade, de 19 erros para apenas 9 em todo o conjunto de dados.

Esta correção foi mais valiosa do que qualquer mudança nos modelos de computador. Os pesquisadores também tentaram uma abordagem híbrida, um sistema de duas etapas, onde uma amostra só seria declarada insegura se tanto o livro de regras quanto o computador concordassem. Eles esperavam que isso combinasse os pontos fortes de ambos os métodos, mas não funcionou como esperado. Como o computador e o livro de regras estavam cometendo erros nas mesmas amostras, pedir concordância apenas tornou o sistema mais cauteloso, sem torná-lo mais preciso. O estudo concluiu que, em um campo governado por limiares estritos, a melhor abordagem é garantir que os dados estejam limpos e que as regras sejam aplicadas corretamente. Embora o aprendizado de máquina seja uma ferramenta poderosa, neste caso, foi a compreensão humana cuidadosa das regulamentações e dos dados que fez a real diferença. A lição é que, antes de corrermos para substituir sistemas estabelecidos por inteligência artificial, devemos primeiro garantir que a base sobre a qual estamos construindo seja sólida.

Resumo Técnico: Avaliação de Desempenho de Aprendizado de Máquina contra uma Linha de Base Regulatória Baseada em Regras para Classificação de Conformidade de Água para Consumo Humano

Formulação do Problema
O estudo aborda a previsão da conformidade de amostras de água para consumo humano com indicadores de qualidade prescritos, formulada como um problema de classificação binária. O objetivo é classificar as amostras como conformes ( $y=0$ ) ou não conformes ( $y=1$ ), onde a não conformidade é definida pelo excesso de pelo menos um parâmetro medido em relação ao seu limite regulatório. O conjunto de dados compreende 22.152 amostras de monitoramento nacional da Eslovênia abrangendo o período de 2019–2025. O problema é caracterizado por um forte desequilíbrio de classes, com apenas aproximadamente 9,4% das amostras sendo não conformes. Os autores postulam que, embora o aprendizado de máquina (ML) seja frequentemente proposto para conformidade ambiental, ele raramente é comparado aos conjuntos de regras regulatórias específicos que visa substituir, deixando incerto o valor preditivo marginal dos modelos aprendidos.

Metodologia
A pesquisa emprega uma comparação sistemática entre uma linha de base regulatória baseada em regras (RB) e quatro modelos de aprendizado de máquina: Gradient Boosting (GB), Random Forest (RF), LightGBM e um Perceptron Multicamadas (MLP).

Dados e Atributos: O conjunto de dados bruto incluía 231 parâmetros, reduzidos para 68 atributos (69 com um atributo derivado) após filtragem por completude e valores limites definidos. Os atributos foram categorizados em microbiológicos, físicos, químicos, metais e pesticidas. Valores ausentes em parâmetros não microbiológicos foram imputados com medianas, e os valores atípicos (outliers) foram limitados no percentil 99.
Seleção de Atributos: Valores SHAP (SHapley Additive exPlanations) foram utilizados para classificar a importância dos atributos e determinar o número ideal de atributos ( $K$ ) para o treinamento do modelo.
Protocolo de Validação: Para evitar o vazamento de dados (data leakage) inerente às divisões aleatórias em dados de séries temporais, o estudo utilizou validação cruzada Leave-One-Year-Out (LOYO). Em cada uma das sete iterações, um ano serviu como conjunto de teste enquanto os seis anos restantes formaram o conjunto de treinamento.
Métricas de Desempenho: Dada a desproporção das classes, a principal métrica de avaliação foi a medida F1 média macro, suplementada por precisão e revocação (recall). A significância estatística foi avaliada por meio do teste de McNemar, intervalos de confiança de bootstrap e testes t pareados.
Intervenções Propostas:
1. Correção Regulatória de Metolachloro: Uma etapa de pré-processamento que aborda uma inconsistência de rotulagem decorrente do endurecimento dos critérios regulatórios para metabólitos de metolachloro (ESA e OXA) em 2025. Os valores para esses metabólitos anteriores a 2025 foram definidos como ausentes para evitar que o modelo aprenda correlações espúrias entre medições pré-2025 e rótulos de conformidade.
2. Modelo de Consenso de Duas Etapas: Uma abordagem híbrida onde uma amostra é rotulada como não conforme apenas se a abordagem baseada em regras e um modelo de aprendizado de máquina preverem a não conformidade de forma independente (lógica AND).
3. Atributo Derivado: A inclusão da soma da concentração total de pesticidas como uma variável de entrada adicional.

Principais Resultados

Desempenho do Modelo: No cenário base (sem correções), a abordagem baseada em regras alcançou o maior desempenho ( $F1 = 0,998$ em $K=30$ ). Os modelos de aprendizado de máquina (especificamente GB e LightGBM) igualaram a linha de base baseada em regras ( $F1 \approx 0,997$ ), mas não a superaram estatisticamente. O MLP apresentou um desempenho significativamente inferior no conjunto completo de atributos ( $F1 = 0,966$ ).
Importância dos Atributos: A análise SHAP revelou que o sinal para a não conformidade está fortemente concentrado em parâmetros microbiológicos (ex: coliformes, E. coli), que são os atributos de maior ranking. A diferença de importância entre o principal atributo microbiológico e o primeiro atributo não microbiológico foi de aproximadamente 20 vezes.
Impacto das Intervenções:
- Atributos Derivados: A adição da soma total de pesticidas não resultou em uma melhoria estatisticamente significativa nos escores F1 para nenhum modelo.
- Correção de Metolachloro: Esta intervenção provou ser crítica. Ao remover a inconsistência de rotulagem, o erro da abordagem baseada em regras caiu de 19 para 9 erros em todo o conjunto de dados (uma redução de mais de 50%). A correção melhorou o escore F1 da abordagem baseada em regras para 0,9988 (em $K=40$ ), tendo impacto negligenciável no desempenho dos modelos de ML.
- Modelo de Consenso: O modelo de consenso não superou a linha de base baseada em regras. A análise de erro mostrou que os modelos de ML e a abordagem baseada em regras cometeram erros em amostras quase idênticas (alta sobreposição), o que significa que a estratégia de consenso falhou em explorar erros complementares. O modelo de duas etapas alcançou maior precisão, porém menor revocação em comparação aos modelos de ML isolados.

Significância e Alegações
O artigo conclui que, para tarefas de conformidade regulatória onde o domínio é estritamente definido por limiares, o sinal está concentrado em alguns indicadores-chave, os modelos de aprendizado de máquina não superam uma linha de base baseada em regras fielmente reconstruída. O estudo argumenta que o "sucesso" de altos escores F1 (ex: >0,99) na literatura de ML frequentemente reflete apenas a reprodução de limiares determinísticos existentes, em vez da descoberta de novos padrões preditivos.

Os autores alegam que as intervenções mais valiosas não foram algorítmicas, mas sim orientadas pelo domínio:

Qualidade de Dados sobre Complexidade de Modelo: Corrigir inconsistências de rotulagem regulatória (a correção do metolachloro) teve um impacto substancialmente maior no desempenho do que a escolha da família de modelos ou o ajuste de hiperparâmetros.
Necessidade de Linhas de Base: Uma linha de base baseada em regras é um controle indispensável no monitoramento regulatório. Sem ela, os altos índices de desempenho de ML podem ser enganosos, pois podem simplesmente replicar o que os limiares legais já alcançam.
Fatores Limitantes: Nos níveis de desempenho alcançados (9 erros em 22.152 amostras), o teto para melhoria é determinado pela qualidade dos dados e pelas inconsistências de rotulagem, e não pela arquitetura do modelo.

O protocolo é apresentado como transferível para outros domínios ambientais governados por limiares (ex: qualidade do ar, limites de águas residuais), enfatizando que a comparação deve sempre estar ancorada nos processos regulatórios específicos, e não em conjuntos de parâmetros genéricos.

Mais como este