AquaAugmentor: A Novel Feature Augmentation Algorithm for Water Potability Prediction

Resumo Técnico: AquaAugmentor para Predição de Potabilidade da Água

Declaração do Problema
O acesso à água potável é um desafio global crítico, com mais de dois bilhões de pessoas vivendo em regiões com estresse hídrico. Os testes tradicionais de qualidade da água são frequentemente demorados e exigem equipamentos especializados. Embora o aprendizado de máquina (ML) e o aprendizado profundo (DL) ofereçam alternativas rápidas e de baixo custo para classificar a potabilidade da água com base em parâmetros químicos e físicos, esses modelos enfrentam obstáculos significativos quando aplicados a conjuntos de dados de baixa dimensionalidade. As abordagens existentes frequentemente lutam com a complexidade e a variabilidade dos dados de fontes de água, levando a um desempenho preditivo inconsistente. Além disso, muitos estudos relatam altas acurácias que são difíceis de reproduzir em cenários do mundo real devido ao ruído e à flutuação dos dados.

Metodologia
Este estudo propõe o AquaAugmentor, um novo algoritmo de aumento de atributos projetado para melhorar o desempenho preditivo de modelos de ML e DL em conjuntos de dados de qualidade da água de baixa dimensionalidade. A metodologia procede através das seguintes etapas:

1. Preparação do Conjunto de Dados: O estudo utiliza um conjunto de dados de 3.276 amostras contendo nove atributos químicos: pH, Dureza, Sólidos, Cloraminas, Sulfato, Condutividade, Carbono Orgânico, Trihalometanos e Turbidez. Os dados incluem 1.278 amostras potáveis e 1.998 não potáveis. Os valores ausentes foram tratados via imputação pela média.
2. Aumento de Atributos (AquaAugmentor): O algoritmo expande o conjunto original de 9 atributos para um conjunto de 62 atributos através de três mecanismos específicos:
   • Atributos Polinomiais: Gerando combinações de atributos existentes até um grau especificado.
   • Atributos Estatísticos: Calculando média, desvio padrão, mínimo e valores máximos por amostra.
   • Atributos Específicos de Domínio: Criando novos atributos baseados no conhecimento do domínio, especificamente razões entre pares específicos de atributos químicos originais (ex: razões de pH para Sulfato).
3. Processamento de Dados: O conjunto de dados aumentado passa pelo balanceamento de classes usando a Técnica de Sobreamostragem de Minoria Sintética (SMOTE) para abordar o desequilíbrio entre as classes potável e não potável. Os dados são então divididos em conjuntos de treinamento (70%), validação (15%) e teste (15%), seguidos de normalização usando StandardScaler.
4. Avaliação do Modelo: Um conjunto abrangente de modelos foi avaliado, incluindo algoritmos tradicionais de ML (Regressão Linear, Random Forest, SVM, KNN, Naive Bayes, Regressão Logística, AdaBoost, XGBoost, GBM, CatBoost) e arquiteturas de aprendizado profundo (CNN 1-D, LSTM, Autoencoder, Autoencoder Variacional, TabNet, TabTransformer e um híbrido CNN-LSTM). Cada modelo foi testado com e sem o algoritmo AquaAugmentor, e o desempenho foi medido usando escores de Acurácia de Teste e Área Sob a Curva (AUC).

Principais Resultados
A aplicação do AquaAugmentor resultou em melhorias de desempenho consistentes na maioria dos modelos testados:

• Random Forest: A acurácia aumentou de 65,71% para 72,62%, e o AUC melhorou de 0,68 para 0,80.
• XGBoost: A acurácia subiu significativamente de 54,27% para 71,83%, com o AUC melhorando de 0,55 para 0,80.
• Modelos de Aprendizado Profundo: O modelo LSTM viu a acurácia melhorar de 57,93% para 66,67% (AUC: 0,53 para 0,73), enquanto o Autoencoder melhorou de 57,93% para 67,67% (AUC: 0,51 para 0,76).
• Validação Estatística: Testes T confirmaram que as disparidades nos atributos aumentados entre amostras potáveis e não potáveis foram estatisticamente significativas (p < 0,05), validando a eficácia da engenharia de atributos.

Os autores observam que, embora certa literatura alegue acurácias superiores a 90%, tais resultados são frequentemente não reproduzíveis em contextos ambientais práticos e ruidosos. Em contraste, as melhorias alcançadas pelo AquaAugmentor são práticas e tangíveis, oferecendo melhorias robustas na confiabilidade do modelo sem alegar uma perfeição irrealista.

Significância e Alegações
O artigo posiciona o AquaAugmentor como um framework valioso para melhorar a avaliação da qualidade da água dentro do contexto da Indústria 5.0 e do desenvolvimento sustentável. Sua principal significância reside em:

• Melhoria de Dados de Baixa Dimensionalidade: Fornece uma solução robusta para melhorar o desempenho preditivo especificamente em conjuntos de dados com contagens de atributos limitadas, uma restrição comum no monitoramento ambiental.
• Aplicabilidade Prática: Diferente de abordagens que podem sofrer overfitting para conjuntos de dados específicos, este método oferece uma estratégia generalizada para enriquecer espaços de atributos, tornando os modelos de ML e DL mais adequados para implantação no mundo real, onde os dados são frequentemente ruidosos.
• Suporte à Decisão: Os achados visam auxiliar pesquisadores, formuladores de políticas e autoridades de saúde pública na tomada de decisões informadas sobre a segurança da água, fornecendo ferramentas de classificação mais confiáveis.

Os autores concluem que, embora o algoritmo introduza um aumento na complexidade computacional e no tempo de treinamento, a compensação gera modelos com maior robustez e confiabilidade para garantir o acesso à água potável segura. Trabalhos futuros sugeridos pelos autores incluem investigar o aumento de atributos adaptativo para ajustar dinamicamente a complexidade e integrar o algoritmo com redes de sensores IoT em tempo real.