A Distribution-Based Framework for Homogeneity Assessment of Engineering Data: Comparison with Conventional Statistical Inference

Resumo Técnico: Uma Estrutura Baseada em Distribuição para Avaliação de Homogeneidade de Dados de Engenharia

Definição do Problema
O artigo identifica uma incompatibilidade fundamental entre a inferência estatística convencional e a natureza dos dados gerados na ciência experimental e na engenharia. Os métodos tradicionais baseiam-se na premissa de "amostragem aleatória" de uma população teórica, utilizando P-valores para inferir significância. No entanto, os dados de engenharia (provenientes de sistemas de medição, sensores e produção) são produtos "produzidos", não amostras aleatórias. Esses dados são frequentemente limitados fisicamente e contêm valores discretos ou repetidos devido à precisão da medição, não se ajustando aos modelos de distribuição pressupostos.

Os autores argumentam que a aplicação de inferência baseada em amostragem aleatória a esses grandes volumes de dados de engenharia leva a um "comportamento de não convergência". Especificamente, à medida que o tamanho da amostra ($n$) aumenta, os P-valores de testes como o teste t tendem a oscilar ou derivar para zero, fazendo com que conjuntos de dados gerados pelo mesmo processo estável sejam julgados falsamente como "estatisticamente diferentes". Além disso, métricas tradicionais (média, desvio padrão) são altamente sensíveis a outliers e à precisão da medição, levando a conclusões instáveis em grandes conjuntos de dados.

Metodologia: Análise de Dados de Engenharia (EDA)
O artigo propõe uma estrutura analítica chamada Análise de Dados de Engenharia (EDA - Engineering Data Analysis), que trata os dados como saídas de um sistema de produção, em vez de amostras de uma população. A estrutura evita conceitos de "população", "amostragem" e P-valores. Em vez disso, foca em recuperar a forma real da distribuição e avaliar a homogeneidade com base em dois critérios primários:

1. Estimativa de Densidade por Deslocamento de Intervalo (ISDE):

   • Este é o método central para recuperar a densidade de probabilidade sem assumir uma distribuição específica (ex: normal) ou utilizar funções de kernel.
   • O ISDE funciona como um histograma adaptativo. Ele ordena os dados brutos e identifica valores distintos ($n'$).
   • O tamanho da janela ($k$) é determinado automaticamente com base na densidade local dos dados, especificamente definido como o maior número ímpar que não exceda $n'/4$ (ISDE de quarto domínio).
   • A janela expande-se em regiões densas para preservar detalhes e contrai-se em regiões esparsas para evitar flutuações espúrias. O método é inteiramente orientado pelos dados, não exigindo parâmetros de largura de banda (bandwidth) ou funções de suavização.

2. Critérios de Julgamento de Homogeneidade:

   • Probabilidade de Sobreposição ($P_{overlap}$): Calculada como a área de interseção entre duas curvas de densidade recuperadas (usando a regra do trapézio). Um limiar de $P_{overlap} \geq 0,95$ indica alta homogeneidade.
   • Distinguibilidade da Mediana: O método verifica se a densidade na mediana do Conjunto de Dados A é mascarada pela densidade do Conjunto de Dados B (e vice-versa). Se a densidade em uma mediana for menor ou igual à densidade da outra distribuição naquele ponto, as distribuições são consideradas indistinguíveis.

Principais Resultados
Os autores validaram a estrutura EDA utilizando dados gerados aleatoriamente no Excel 2019, comparando-a com testes t convencionais em três cenários:

• Parâmetros Idênticos (Dados Homogêneos):

  • Inferência Convencional: À medida que o tamanho da amostra aumentava, os P-valores cumulativos do teste t oscilavam violentamente, caindo frequentemente abaixo de 0,05, sugerindo incorretamente diferenças significativas entre conjuntos de dados gerados pelo mesmo processo.
  • EDA: A probabilidade de sobreposição ($P_{overlap}$) convergiu de forma estável para 1,0 conforme $n$ aumentava. Os critérios de distinguibilidade da mediana indicaram consistentemente que os conjuntos de dados eram indistinguíveis, independentemente do tamanho da amostra ou da precisão decimal.

• Sensibilidade a Outliers:

  • Inferência Convencional: A introdução de um pequeno número de outliers (ex: 19 outliers em 10.000 pontos) fez com que o P-valor do teste t caísse abaixo de 0,05, sinalizando uma falsa "diferença significativa".
  • EDA: A mediana e a Amplitude Interquartílica (IQR) permaneceram estáveis. O $P_{overlap}$ manteve-se alto (>0,95) e as distribuições permaneceram indistinguíveis, demonstrando robustez contra contaminações menores nos dados.

• Parâmetros Diferentes (Dados Heterogêneos):

  • Inferência Convencional: Os P-valores aproximaram-se de zero conforme o tamanho da amostra crescia, indicando uma diferença, mas falhando em fornecer uma medida estável do grau de diferença.
  • EDA: O $P_{overlap}$ convergiu para um valor estável (ex: ~0,8) refletindo o grau real de diferença, em vez de derivar para um extremo. O método distinguiu com sucesso os conjuntos de dados, fornecendo simultaneamente uma medida quantificável de sua sobreposição.

Significância e Alegações
O artigo afirma que, para dados de engenharia originados de sistemas de produção, a avaliação de homogeneidade baseada em distribuição oferece um caminho analítico mais estável, transparente e confiável do que a inferência estatística convencional.

• Convergência: Ao contrário dos P-valores, que não convergem para dados homogêneos, as métricas da EDA ($P_{overlap}$ e distinguibilidade) convergem de forma estável conforme o tamanho da amostra aumenta. O tamanho da amostra na EDA afeta a confiabilidade do resultado, mas não altera a direção da convergência.
• Fidelidade e Intuitividade: Ao recuperar a distribuição diretamente dos dados sem impor suposições de modelo, a EDA revela características estruturais reais (ex: multimodalidade, efeitos de fronteira) que as estatísticas de resumo muitas vezes ocultam.
• Aplicabilidade na Engenharia: A estrutura desloca a questão analítica de "A diferença é estatisticamente significativa?" para "As distribuições são distinguíveis?". Isso se alinha melhor aos objetivos da engenharia de julgar a estabilidade do sistema e a consistência de lotes.
• Integridade dos Dados: Os autores sugerem que a estrutura atua como uma salvaguarda contra a manipulação de dados, uma vez que a manipulação localizada não consegue alterar facilmente a forma geral da distribuição recuperada.

Os autores concluem que, embora a inferência estatística permaneça válida para cenários de amostragem aleatória (ex: pesquisas), ela é frequentemente aplicada incorretamente a dados de engenharia. A EDA fornece um conjunto de ferramentas de "discriminação de engenharia" distinto, que é robusto a outliers, precisão de medição e grandes tamanhos de amostra. O método é implementado no Excel 2019 e é apresentado como uma estrutura preliminar, porém reprodutível, para análise prática de engenharia.