💻 ciência da computação

Distinguishing Order Effects from Random Variation in Cleaning Pipelines for Tabular Data Classification

Este artigo introduz o Índice de Sensibilidade de Ordem e um teste de permutação para distinguir rigorosamente efeitos de ordem de pipeline significativos da variação aleatória em classificação de dados tabulares, revelando que, embora a ordem impacte a acurácia além do acaso em muitos casos, a sequência específica de balanceamento de classes e correção de rótulos é crítica para prevenir a degradação de rótulos de classes minoritárias.

Autores originais: Muhammad Idrees, Zaheer Ullah, Thanh Thi Nguyen, Muhammad Taimour Hamid

Publicado 2026-11-11

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Muhammad Idrees, Zaheer Ullah, Thanh Thi Nguyen, Muhammad Taimour Hamid

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Antes que um computador possa aprender a reconhecer padrões em uma planilha, os dados que ele recebe devem estar limpos. Registros do mundo real raramente são perfeitos; eles contêm lacunas onde informações estão faltando, entradas estranhas que parecem erros e rótulos que podem estar errados. Para corrigir esses problemas, cientistas de dados utilizam uma série de etapas. Eles podem preencher os números ausentes, remover as entradas estranhas, corrigir os rótulos errados ou ajustar a mistura de categorias para que eventos raros não sejam ignorados. Essas etapas são práticas padrão, mas, durante muito tempo, a ordem em que eram realizadas era tratada como uma questão de hábito, e não como uma escolha científica. Parecia lógico corrigir números ausentes antes de remover entradas estranhas, ou corrigir rótulos antes de equilibrar os grupos, mas ninguém havia testado rigorosamente se essa sequência realmente alterava o resultado final.

A questão da ordem importa porque cada etapa altera os dados que a etapa seguinte recebe. Se você criar novos exemplos para equilibrar um grupo antes de corrigir rótulos errados, pode acidentalmente copiar esses erros para os novos exemplos. Se você corrigir rótulos enquanto os grupos ainda estão desequilibrados, o sistema pode entender erroneamente o que é um rótulo correto para o grupo raro. Embora alguns estudos anteriores tivessem sugerido que a sequência poderia importar, eles frequentemente dependiam de alguns testes aleatórios que poderiam facilmente produzir resultados sortudos ou azarados por acaso. Sem uma forma de distinguir um padrão real de um ruído aleatório, era impossível saber se a ordem realmente importava ou se a melhor sequência era apenas uma coincidência.

Uma equipe de pesquisadores partiu para resolver esse problema tratando a ordem das etapas de limpeza como uma variável a ser testada, em vez de uma regra a ser seguida. Eles pegaram dez conjuntos de dados diferentes do mundo real, variando de registros médicos a candidaturas de crédito, e deliberadamente introduziram erros específicos neles, como valores ausentes, outliers e rótulos invertidos. Como sabiam exatamente onde estavam os erros, podiam medir o impacto real de cada decisão de limpeza. Em seguida, executaram todas as arranjos possíveis de quatro etapas principais de limpeza — preencher lacunas, remover outliers, corrigir rótulos e equilibrar grupos — através de três tipos diferentes de algoritmos de aprendizado. No total, testaram vinte e quatro ordens diferentes em cada conjunto de dados, repetindo o processo muitas vezes para ver o quanto os resultados variavam simplesmente devido ao acaso.

Para separar um efeito real de sorte aleatória, os pesquisadores desenvolveram uma nova maneira de medir a diferença entre a melhor e a pior ordem. Eles compararam a lacuna real de desempenho contra uma lacuna de base que seria esperada se a ordem não importasse de forma alguma. Essa base foi calculada embaralhando os resultados como se as etapas fossem intercambiáveis, perguntando efetivamente: "Quão grande seria a diferença se tivéssemos apenas tido sorte?". Eles descobriram que, em muitos casos, a vantagem aparente de uma ordem sobre outra era amplamente explicada por essa variação aleatória. De fato, para mais da metade das combinações de conjuntos de dados e algoritmos, a diferença observada era menor do que o acaso sozinho produziria. Isso significa que, para muitas situações, a ordem específica das etapas pode não importar tanto quanto se pensava anteriormente, e a "melhor" ordem encontrada em um único teste poderia ser simplesmente um acidente estatístico.

No entanto, o estudo descobriu que a ordem importa em circunstâncias específicas e previsíveis. O efeito tornou-se muito mais forte quando os dados continham uma alta quantidade de ruído de rótulo, particularmente quando os erros estavam concentrados no grupo raro ou minoritário. A descoberta mais consistente e significativa diz respeito à relação entre a correção de rótulos e o equilíbrio dos grupos. Quando os pesquisadores corrigiam os rótulos enquanto os dados ainda estavam desequilibrados, o sistema frequentemente cometia erros, transformando rótulos corretos do grupo raro no rótulo da maioria porque tinha visto poucos exemplos do grupo raro para começar. Ao equilibrar os grupos primeiro, ou ao garantir que o processo de correção visse um conjunto de exemplos equilibrado, o sistema preservava muito melhor os rótulos corretos para o grupo raro. Essa mudança específica na ordem melhorou a precisão do modelo final entre 0,6 e 2,8 pontos percentuais nos casos em que a ordem realmente importava.

Os pesquisadores também testaram se uma sequência que funcionava bem em um conjunto de dados funcionaria em outro. Eles descobriram que uma ordem escolhida com base no desempenho em vários conjuntos de dados era significativamente melhor do que um palpite aleatório quando aplicada a um novo conjunto de dados não visto. Isso sugere que, embora a ordem perfeita possa variar, existem princípios gerais que se mantêm. O estudo conclui que os cientistas de dados não devem confiar em uma única sequência padrão para todos os problemas. Em vez disso, devem testar diferentes ordens contra a possibilidade de acaso aleatório, prestando atenção especial à sequência de correção de rótulos e equilíbrio de grupos, especialmente ao lidar com eventos raros ou dados ruidosos. O trabalho fornece um método claro para determinar quando a sequência das etapas de limpeza é uma escolha de design crítica e quando é meramente uma questão de convenção.

Resumo Técnico: Distinguindo Efeitos de Ordem da Variação Aleatória em Pipelines de Limpeza para Classificação de Dados Tabulares

Problema
Na classificação de dados tabulares, profissionais rotineiramente aplicam uma sequência de etapas de pré-processamento — como imputação, remoção de outliers, correção de ruído de rótulo e balanceamento de classes — antes de treinar um modelo. Embora cada etapa possua uma literatura substancial, a ordem na qual essas etapas são aplicadas é frequentemente escolhida por convenção, em vez de evidência empírica. Como cada etapa altera a distribuição dos dados recebidos pelas etapas subsequentes, a ordem pode impactar significativamente a acurácia do modelo. No entanto, distinguir efeitos reais de ordem da variação aleatória (variância entre sementes/seeds) é difícil. Estudos anteriores costumam comparar ordens baseando-se na acurácia média sobre algumas divisões de treino-teste; com poucas divisões, o gap observado entre a "melhor" e a "pior" ordem pode ser apenas resultado do acaso, e não de uma dependência estrutural real. Além além disso, ferramentas existentes de busca automatizada de pipelines (ex: TPOT, Learn2Clean) ou frameworks de recomendação (ex: DIANA) não testam explicitamente se uma diferença de ordem observada excede o gap esperado quando a ordem não tem efeito.

Metodologia
Os autores propõem um framework rigoroso para isolar e quantificar efeitos de ordem, centrado no Índice de Sensibilidade de Ordem (OSI) e em um teste de permutação.

Design Experimental: O estudo avalia todas as 24 permutações de quatro etapas de limpeza: Imputação de Valores Ausentes (IMP), Remoção de Outliers (OUT), Correção de Ruído de Rótulo (LNR) e Balanceamento de Classes (BAL). Estas são testadas em 12 conjuntos de dados de classificação binária (10 no experimento principal) usando três classificadores: Random Forest, Regressão Logística e XGBoost.
Injeção de Falhas: Para garantir a verdade fundamental (ground truth), os autores injetam erros específicos nos dados de treinamento: 15% de inversão de rótulo (concentrada na classe minoritária na condição principal), valores ausentes e outliers. O conjunto de teste permanece limpo.
Índice de Sensibilidade de Ordem (OSI): Definido como o gap relativo entre o melhor e o pior desempenho médio do pipeline:
$OSI = \frac{\max_{\pi} \bar{P}(\pi) - \min_{\pi} \bar{P}(\pi)}{\max_{\pi} \bar{P}(\pi)}$
onde $\bar{P}(\pi)$ é a acurácia balanceada média sobre $S$ sementes aleatórias.
Teste de Permutação (Baseline): Para determinar se um OSI observado é estatisticamente significativo, os autores estabelecem um baseline ( $OSI_0$ ) que representa o gap esperado se a ordem não tivesse efeito. Eles realizam um teste de permutação dentro da réplica (10.000 iterações) onde os rótulos dos pipelines são reatribuídos aleatoriamente aos scores dentro de cada seed. Isso preserva a dificuldade do dataset e a variância entre as seeds, enquanto quebra o vínculo entre ordem e desempenho.
Métricas: A métrica primária é o excesso de sensibilidade ( $\Delta OSI = OSI - OSI_0$ ) e o valor- $p$ de permutação, corrigido para a taxa de falsa descoberta. O estudo também analisa interações específicas, como a ordem do balanceamento de classes versus a correção de rótulo, e utiliza variantes "fold-safe" (SMOTE aplicado dentro das dobras de cross-validation) para isolar mecanismos.

Principais Contribuições

Uma Métrica Calibrada pelo Acaso: O artigo introduz um procedimento para julgar efeitos de ordem contra um baseline de variação aleatória. Ao usar um teste de permutação para estimar o gap esperado sob a hipótese nula (ausência de efeito de ordem), os autores evitam o erro de atribuir variância aleatória à estrutura do pipeline.
Avaliação Exaustiva: O estudo fornece uma avaliação abrangente de todas as 24 ordens de quatro etapas padrão de limpeza através de 10 datasets e três classificadores, totalizando mais de 41.000 execuções experimentais. Também avalia 41 subsequências mais curtas para determinar a necessidade de etapas específicas.
Insight Mecanístico sobre Correção de Rótulo: Os autores identificam que a interação entre o balanceamento de classes e a correção de rótulo é crítica. Eles demonstram que treinar um modelo de correção de rótulo em dados desbalanceados leva à "correção" de muitos rótulos válidos da classe minoritária. Realizar o balanceamento de classes antes da correção de rótulo (ou usar SMOTE fold-safe dentro do modelo de correção) evita esse erro.
Análise de Transferibilidade: Uma análise de "deixar um dataset de fora" (leave-one-dataset-out) mostra que uma ordem otimizada em um conjunto de datasets transfere melhor para um dataset mantido fora do treinamento do que uma ordem aleatória, embora os ganhos sejam modestos.

Resultos

Magnitude dos Efeitos: No experimento principal, o baseline ( $OSI_0$ ) excedeu metade do OSI observado em todos os pares dataset-classificador. Isso indica que uma parte significativa do gap bruto entre as melhores e piores ordens deve-se ao acaso.
Efeitos de Ordem Significativos: Após a correção para falsa descoberta, 15 de 30 pares dataset-classificador mostraram efeitos de ordem além do acaso. Esses efeitos foram pequenos, mas significativos, alterando a acurácia balanceada entre 0,6 a 2,8 pontos percentuais — o suficiente para alterar qual pipeline um profissional selecionaria.
Condições para Sensibilidade: Os efeitos de ordem foram mais pronunciados sob condições de alto ruído de rótulo e desbalanceamento de classe severo (especificamente com ruído ancorado na classe minoritária). Por outro lado, quando os erros de rótulo estavam distribuídos uniformemente entre as classes (ruído simétrico), nenhum efeito de ordem significativo foi detectado.
A Interação Balanceamento vs. Correção: O achado mais consistente foi a ordem do balanceamento e da correção de rótulo. Quando os erros de rótulo estavam concentrados na classe minoritária, o balanceamento antes da correção (ou o uso de SMOTE fold-safe) melhorou a acurácia balanceada em 1,4 a 1,9 pontos em comparação com a correção em dados desbalanceados. Essa melhoria decorre de impedir que o modelo de correção identifique erroneamente exemplos válidos da classe minoritária como ruído.
Robustez do Método: Os efeitos de ordem não foram específicos para um único conjunto de métodos de limpeza; resultados semelhantes foram observados com um segundo conjunto de métodos (usando imputação de mediana, LOF e Edited Nearest Neighbors).

Significância e Alegações
O artigo alega modestamente fornecer um baseline estatístico necessário para avaliar pipelines de pré-processamento. Argumenta-se que, sem considerar a variação entre seeds, pesquisadores correm o risco de confundir ruído aleatório com efeitos de ordem significativos. O estudo demonstra que, embora os efeitos de ordem existam, eles são frequentemente menores do que as comparações brutas sugerem e dependem fortemente das condições dos dados (especificamente a distribuição do ruído de rótulo e o desbalanceamento de classe).

Os autores concluem que:

As comparações de ordem devem ser testadas contra o acaso para serem válidas.
Estratégias de correção de rótulo devem considerar o desbalanceamento de classes; especificamente, balancear os dados antes ou dentof do processo de correção de rótulo evita a degradação do desempenho da classe minoritária.
Embora não exista uma única ordem "padrão" universalmente ótima, a interação entre o balanceamento e a correção é uma decisão de design crítica que os profissionais devem abordar com base na natureza de seu ruído de rótulo.

Mais como este