Peoples Water Data: Enabling Reliable Field Data Generation and Microbial Contamination Screening in Household Drinking Water

Resumo Técnico: Dados de Água das Pessoas – Geração de Dados de Campo Confiáveis e Triagem de Contaminação Microbiana

1. Problema e Contexto

O acesso à água potável segura permanece um desafio global crítico, especialmente em regiões de baixos recursos onde a vigilância microbiológica rotineira é limitada. Embora a Escherichia coli (E. coli) seja o indicador padrão de contaminação fecal, os testes laboratoriais são frequentemente inacessíveis em escala para monitoramento descentralizado.

• Lacuna Específica: A maioria dos estudos foca em fontes de água (poços, rios) ou sistemas municipais centralizados. No entanto, a contaminação frequentemente ocorre no ponto de uso (POU) devido ao armazenamento, transporte e manuseio inadequados dentro das residências.
• Desafio Operacional: A coleta de dados em campo por estudantes ou cidadãos muitas vezes sofre com inconsistências de protocolo, falta de rastreabilidade e erros de qualidade, comprometendo a confiabilidade dos dados para modelagem preditiva.

2. Metodologia

O estudo foi conduzido em Chennai, Índia, utilizando dados da iniciativa "People's Water Data" (PWD), que envolveu a coleta de amostras de água de mais de 1.600 estudantes em milhares de residências.

A. Coleta e Qualidade de Dados (Camada Operacional com IA)

• Assistente de Campo com IA: Um sistema de suporte ao estudante forneceu orientações em tempo real sobre protocolos de amostragem e testes.
• Controle de Qualidade (QC) em Tempo Real: Um sistema automatizado validou os registros enviados, filtrando erros como IDs duplicados, dados de GPS imprecisos, durações de pesquisa inconsistentes e valores de medição impossíveis. Isso garantiu a integridade dos dados antes da análise.
• Dataset Final: De 3.023 amostras iniciais, após limpeza técnica e triagem de outliers, 2.207 amostras válidas foram retidas.

B. Variáveis

• Alvo (Outcome): Presença binária de E. coli e coliformes totais (medidos com kits de campo AquaGenx).
• Preditores: Parâmetros físico-químicos (turbidez, TDS, condutividade, pH, ORP, dureza, alcalinidade), características da fonte de água, práticas de armazenamento/manuseio e indicadores demográficos.

C. Framework de Modelagem (Abordagem de Duas Etapas)
O estudo propôs um pipeline de aprendizado de máquina de duas etapas para prever a presença de E. coli:

1. Etapa 1: Treinamento de classificadores baseados em árvores (Random Forest, HistGradientBoosting, XGBoost, LightGBM) para prever a probabilidade de presença de coliformes totais.
2. Etapa 2: Uso das probabilidades previstas da Etapa 1 (PTC - Predicted Total Coliform) como uma variável auxiliar (feature) em um novo modelo para prever a presença de E. coli.

• Validação: Validação cruzada estratificada de 5 dobras (5-fold), com separação rigorosa entre treino e teste para evitar vazamento de dados.
• Otimização: Seleção de limiares (thresholds) focada no escore F2, priorizando a sensibilidade (recall) para garantir que águas contaminadas não sejam ignoradas, mesmo que isso aumente falsos positivos (que seriam confirmados por testes laboratoriais posteriores).

3. Principais Contribuições

1. Foco no Ponto de Uso (POU): Diferente de estudos anteriores em fontes ou irrigação, este modelo aborda a contaminação específica que ocorre após a coleta, influenciada por comportamentos domésticos e condições de armazenamento.
2. Estratégia de Duas Etapas ("Model-as-Feature"): Demonstrou que a probabilidade de coliformes totais é um preditor forte e informativo para E. coli, melhorando a estabilidade e o desempenho do modelo final.
3. Integração de IA Operacional: Não apenas usou IA para prever contaminação, mas também para garantir a qualidade dos dados de entrada durante a coleta de campo, criando um ciclo de feedback para melhorar a adesão ao protocolo pelos estudantes.
4. Abordagem Híbrida: Combinou medições físico-químicas de baixo custo com variáveis contextuais (demografia, práticas de armazenamento), superando modelos que dependem apenas de parâmetros físicos.

4. Resultados

• Desempenho do Modelo: O pipeline selecionado (LightGBM na Etapa 1 → HistGradientBoosting na Etapa 2) alcançou:
  • ROC-AUC: ~0.78 (validação cruzada) e 0.768 (conjunto de teste).
  • PR-AUC: > 0.90 (indicando excelente desempenho em dados desbalanceados).
  • Recall (Sensibilidade): ~0.92 no conjunto de teste, garantindo que a vasta maioria das amostras contaminadas foi identificada.
  • Melhoria com PTC: A inclusão da probabilidade de coliformes totais (PTC) aumentou o ROC-AUC em aproximadamente 0.08 e melhorou a calibração do modelo.
• Análise de Importância (SHAP):
  • Na Etapa 1, parâmetros físico-químicos (TDS, pH, Condutividade, Turbidez) foram os principais drivers.
  • Na Etapa 2, a variável PTC tornou-se o preditor dominante, seguido por variáveis contextuais (como número de crianças < 5 anos e práticas de armazenamento) e localização geográfica.
• Validação Estatística: Testes de hipóteses com correção de FDR (False Discovery Rate) confirmaram que a abordagem de duas etapas superou consistentemente os modelos de etapa única, embora as melhorias no AUC tenham sido modestas, a melhoria na calibração e no recall foi significativa.

5. Significado e Implicações

• Ferramenta de Decisão Escalável: O framework oferece uma ferramenta prática para priorizar quais residências devem receber testes microbiológicos confirmatórios caros em ambientes com recursos limitados.
• Segurança Pública: Ao focar em alta sensibilidade, o modelo minimiza o risco de não detectar água contaminada, alinhando-se aos objetivos de saúde pública.
• Transferibilidade: Embora calibrado para Chennai, o framework é projetado para ser adaptado a outras regiões através de recalibração local, desde que dados de qualidade e contexto estejam disponíveis.
• Inovação em Monitoramento Cidadão: O estudo valida que, com suporte de IA e controle de qualidade em tempo real, a coleta de dados descentralizada por estudantes pode gerar conjuntos de dados científicos robustos e confiáveis.

Em suma, o estudo demonstra que a combinação de medições de baixo custo, variáveis comportamentais e uma arquitetura de aprendizado de máquina de duas etapas, apoiada por um fluxo de trabalho de campo assistido por IA, pode preencher lacunas críticas na vigilância da qualidade da água potável em nível doméstico.