Enhancing Automated Machine Learning via Homogeneous Train-Test Splitting Methods

Resumo Técnico: Aprimorando o Aprendizado de Máquina Automatizado via Métodos de Divisão Homogênea entre Treino e Teste

Definição do Problema
A avaliação precisa de modelos em aprendizado de máquina (ML) e Aprendizado de Máquina Automatizado (AutoML) depende fundamentalmente da premissa de que os subconjuntos de treinamento e teste compartilham a mesma distribuição de dados subjacente. A divisão aleatória padrão frequentemente viola essa premissa na presença de desbalanceamento de classes, agrupamentos naturais ou autocorrelação espacial, levando a mudanças distributivas. Em pipelines de AutoML, onde algoritmos e hiperparâmetros são selecionados automaticamente, partições de dados tendenciosas ou inconsistentes podem fazer com que o sistema sofra overfitting em peculiaridades do treinamento, gerando métricas de avaliação excessivamente otimistas e prejudicando a generalização do modelo. Embora estratégias existentes, como a amostragem estratificada, preservem as proporções das classes e métodos baseados em geometria (ex: Kennard–Stone, SPXY) maximizem a cobertura do espaço de características, nenhum deles otimiza explicitamente a similaridade estatística entre as partições resultantes. Essa lacuna deixa uma incerteza crítica quanto à confiabilidade das estimativas de desempenho em diversos conjuntos de dados tabulares.

Metodologia
Os autores conduziram uma avaliação comparativa sistemática em quinze conjuntos de dados de classificação do repositório UCI Machine Learning Repository, variando em tamanho (150 a 253.680 instâncias), dimensionalidade (4 a 169 características) e tipo (numérico, categórico, misto). O estudo avaliou seis estratégias de divisão:

1. Divisão Aleatória (Random Splitting): Atribuição aleatória uniforme (baseline).
2. Amostragem Estratificada (Stratified Sampling): Preserva as proporções das classes alvo.
3. Kennard–Stone (KS): Seleciona iterativamente amostras de treinamento para maximizar a cobertura do espaço de características.
4. SPXY: Estende o KS incorporando a diversidade do espaço de resposta.
5. Duplex: Atribui alternadamente pares de amostras distantes para os conjuntos de treinamento e teste.
6. Distribuição Otimizada (Proposta): Um método de refinamento que inicia com uma divisão estratificada e troca iterativamente amostras entre as partições para minimizar uma função objetivo composta. Esta função combina a Discrepância de Média Máxima (MMD) com uma penalidade para desvios nas proporções empíricas das classes.

Estrutura de Avaliação
A similaridade estatística foi quantificada usando três testes complementares convertidos para uma escala unificada de 0–100%:

• Teste Qui-Quadrado: Para distribuições categóricas.
• Teste Kolmogorov–Smirnov (KS): Para distribuições contínuas.
• Discrepância de Média Máxima (MMD): Um teste baseado em kernel para dados multivariados e mistos, utilizando um kernel combinado RBF/delta.

O desempenho downstream foi avaliado utilizando o framework de AutoML PyCaret. Para cada conjunto de dados e método de divisão, modelos (incluindo regressão logística, floresta aleatória, gradient boosting, SVM, etc.) foram treinados, ajustados e avaliados no conjunto de teste retido. A métrica primária foi o F1 ponderado, com acurácia como métrica secundária.

Principais Resultados

• Similaridade Distributiva: O método proposto Distribuição Otimizada alcançou a maior pontuação média de similaridade MMD (89,0%), superando significativamente todas as outras estratégias. Em contraste, os métodos baseados em geometria Kennard–Stone e SPXY produziram consistentemente pontuações MMD próximas de zero (6,9% e 9,7%, respectivamente). Isso indica que seu design para maximizar a cobertura do espaço de características cria inerentemente conjuntos de treinamento que são distributivamente dessemelhantes dos conjuntos de teste.
• Desempenho Downstream: As diferenças agregadas de desempenho foram modestas, em grande parte devido a um "efeito de teto" em conjuntos de dados grandes e facilmente separáveis, onde a divisão aleatória já produz alta acurácia. No entanto, em conjuntos de dados sensíveis ao desempenho (aqueles com menor desempenho base ou estruturas complexas), a estratégia de divisão teve um efeito pronunciado.
  • Em conjuntos de dados difíceis (ex: UCI 264, UCI 891), os métodos baseados em geometria às vezes produziram resultados altamente instáveis, com o Kennard–Stone gerando um F1 de 0,701 comparado a 0,964 para as divisões random/estratificada no UCI 264.
  • Por outro lado, em conjuntos de dados específicos (ex: UCI 519), a cobertura mais ampla de características dos métodos baseados em geometria de fato melhorou o desempenho, sugerindo um compromisso entre similaridade distributiva e cobertura do espaço de características dependendo das características do conjunto de dados.
• Estabilidade: O estudo encontrou uma associação positiva moderada entre similaridade estatística e estimativas de desempenho confiáveis. Métodos com alta similaridade MMD (Random, Estratificado, Distribuição Otimizada) produziram estimativas de desempenho convergentes, enquanto métodos de baixa similaridade exibiram instabilidade bidirecional (estimativas infladas em tarefas fáceis, deflacionadas em tarefas difíceis).

Principais Contribuições

1. Avaliação Sistemática: Forneceu um framework unificado de similaridade distributiva comparando cinco estratégias de divisão estabelecidas através de quinze diversos conjuntos de dados UCI usando testes Qui-quadrado, KS e MMD.
2. Evidência Empírica: Demonstrou que métodos baseados em geometria (KS, SPXY), embora eficazes para cobertura, subperformam consistentemente a divisão aleatória e estratificada no que diz respeito à similaridade distributiva multivariada, levando a uma potencial instabilidade de avaliação.
3. Método Proposto: Introduziu o método Distribuição Otimizada, que trata explicitamente a similaridade estatística como um objetivo de otimização via troca iterativa de amostras, alcançando as maiores pontuações de similaridade em todo o benchmark.

Significância e Alegações
O artigo argumenta que a divisão treino–teste é uma escolha metodológica com consequências significativas para a confiabilidade e reprodutibilidade da avaliação de ML. Os autores alegam que a melhoria na similaridade estatística se traduz em estimativas de desempenho mais confiáveis principalmente em "regimes sensíveis ao desempenho" — especificamente em conjuntos de dados estruturalmente complexos, de amostra pequena ou com baixa razão instância-característica (comuns em aplicações clínicas e biomédicas).

Em contrapartida, para conjuntos de dados grandes ou facilmente separáveis, a escolha da estratégia de divisão é menos consequente porque grandes volumes de amostras naturalmente reduzem as diferenças distributivas entre as partições. Os autores concluem modestamente que, embora seu método proposto alcance similaridade superior, seu benefício prático é mais pronunciado onde a disponibilidade de dados é limitada e a variabilidade de amostragem é alta. Eles observam que o trabalho é limitado a tarefas de classificação com uma única semente aleatória e sugerem que trabalhos futuros explorem múltiplas sementes, configurações de regressão e medidas de similaridade escaláveis para abordar custos computacionais.