📊 estadística

A Distribution-Based Framework for Homogeneity Assessment of Engineering Data: Comparison with Conventional Statistical Inference

Este artículo propone un marco basado en la distribución que utiliza la Estimación de Densidad de Desplazamiento de Intervalos (ISDE, por sus siglas en inglés) para evaluar la homogeneidad de los datos de ingeniería como productos de sistemas de producción, demostrando que este enfoque libre de supuestos produce resultados más estables y fiables a medida que el volumen de datos aumenta en comparación con los métodos convencionales de inferencia estadística.

Autores originales: Yu Yun, Weigang Duan

Publicado 2026-10-06

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yu Yun, Weigang Duan

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la ingeniería y la ciencia experimental, los datos rara vez son una instantánea aleatoria de una población mayor. En cambio, son el producto directo de una máquina, un sensor o una línea de producción. Piense en una fábrica que mide la temperatura de una reacción química o en un dispositivo médico que registra el ritmo cardíaco de un paciente. Estos números no son "muestras" extraídas de un conjunto oculto de posibilidades; son los productos reales de un proceso físico. Tienen límites estrictos —la temperatura no puede ser inferior al cero absoluto y la concentración no puede ser negativa— y a menudo contienen valores repetidos debido a que las herramientas de medición tienen una precisión finita. Durante décadas, los científicos han analizado este tipo de datos utilizando herramientas estadísticas diseñadas para el muestreo aleatorio. Estas herramientas plantean una pregunta específica: "Si hubiéramos extraído estos números de una población aleatoria, ¿qué tan probable es que la diferencia que vemos haya ocurrido por azar?". La respuesta se da generalmente como un valor de probabilidad, un número que indica a los investigadores si pueden confiar en sus hallazgos.

Sin embargo, un número creciente de científicos teme que este enfoque falle cuando se aplica a conjuntos de datos masivos generados por máquinas. Cuando el volumen de datos es enorme, las herramientas tradicionales pueden empezar a comportarse de manera errática. Podrían declarar que dos lotes de productos idénticos son "estadísticamente diferentes" simplemente porque hay tantos números para comparar, a pesar de que las máquinas que los producen funcionan exactamente de la misma manera. Esto crea una situación confusa en la que las matemáticas dicen que hay un problema, pero la realidad física muestra que no existe diferencia alguna. La pregunta entonces es: ¿cómo juzgamos la calidad y la consistencia de los datos de ingeniería sin depender de un marco que asume que los datos fueron seleccionados al azar?

Un nuevo enfoque propuesto por los investigadores Yu Yun y Weigang Duan ofrece una forma diferente de observar estos números. En lugar de tratar los datos como una muestra de una población, los tratan como un registro completo de un sistema de producción. Su método, llamado Análisis de Datos de Ingeniería, omite los complejos cálculos de probabilidad y se centra en la forma de los datos mismos. Imagine que observa una pila de arena. La estadística tradicional podría intentar adivinar la forma de toda la duna basándose en unos pocos granos. Este nuevo método simplemente extiende la arena para ver la colina real que forma. Al mapear la densidad de los puntos de datos —dónde se agrupan estrechamente y dónde se dispersan—, los investigadores pueden comparar directamente dos conjuntos de números para ver si provienen del mismo proceso.

Los investigadores probaron esta idea utilizando simulaciones por computadora que generaron millones de números de fuentes conocidas. En un escenario, crearon dos conjuntos de datos a partir de un mismo proceso matemático. A medida que añadíamos más y más números a la mezcla, la prueba estadística tradicional empezaba a tambalearse. El valor de probabilidad, que debería haberse mantenido estable para indicar que los datos eran iguales, empezó a saltar salvajemente. Eventualmente, con suficientes puntos de datos, la prueba declararía falsamente que los dos conjuntos idénticos eran diferentes. En contraste, el nuevo método se mantuvo calmado. A medida que el volumen de datos crecía, los dos conjuntos de números se parecían cada vez más, con sus formas solapándose casi perfectamente. El método confirmó lo que el ojo podía ver: los datos eran homogéneos, o consistentes, independientemente de cuántos puntos se añadieran.

El estudio también examinó qué sucede cuando algunos números erróneos, o valores atípicos, se cuelan en los datos. En una fábrica real, un sensor podría fallar ocasionalmente, registrando un valor demasiado alto o demasiado bajo. Los investigadores introdujeron un pequeño número de estos errores en sus simulaciones. La prueba estadística tradicional reaccionó con fuerza, señalando todo el conjunto de datos como diferente porque el valor promedio se desplazó ligeramente. El nuevo método, sin embargo, ignoró el ruido. Debido a que observaba la forma general de la distribución en lugar de solo el promedio, el pequeño error no cambió la conclusión. Los dos conjuntos de datos seguían pareciendo provenir de la misma fuente, y el método identificó correctamente que eran consistentes.

Cuando los investigadores compararon dos conjuntos de datos que eran realmente diferentes —generados a partir de procesos con configuraciones ligeramente distintas—, el nuevo método se comportó tal como se esperaba. Mostró que las formas de las nubes de datos eran distintas y no se solapaban lo suficiente como para ser consideradas iguales. Crucialmente, a diferencia de la prueba tradicional que eventualmente gritaría "¡diferencia!" con solo añadir más datos, este método se asentó en una respuesta estable que reflejaba el grado real de diferencia entre los dos procesos. No se volvía más ruidoso o extremo a medida que el conjunto de datos crecía; simplemente se volvía más seguro de su juicio.

Los investigadores construyeron su marco de trabajo para que fuera práctico, realizando los cálculos en un software de hoja de cálculo estándar para demostrar que no requiere supercomputadoras costosas ni programación compleja. Argumentan que, para los datos provenientes de sensores, líneas de producción y experimentos, el objetivo no es inferir una población oculta, sino juzgar la estabilidad y la consistencia del sistema mismo. Al centrarse en la distribución real de los números y en cuánto se solapan, este enfoque proporciona una forma estable y transparente de tomar decisiones. Evita la trampa de encontrar diferencias "significativas" donde no existen, ofreciendo a ingenieros y científicos una herramienta que se alinea con la realidad física de su trabajo. El estudio concluye que, para la vasta cantidad de datos generados en la ingeniería moderna, observar la forma de los datos directamente es una forma más fiable de entender lo que realmente está sucediendo que depender de viejas reglas diseñadas para el muestreo aleatorio.

Resumen Técnico: Un Marco Basado en la Distribución para la Evaluación de la Homogeneidad de Datos de Ingeniería

Planteamiento del Problema
El artículo identifica una discrepancia fundamental entre la inferencia estadística convencional y la naturaleza de los datos generados en la ciencia experimental y la ingeniería. Los métodos tradicionales se basan en la premisa del "muestreo aleatorio" de una población teórica, utilizando valores P para inferir significancia. Sin embargo, los datos de ingeniería (provenientes de sistemas de medición, sensores y producción) son productos "producidos", no muestras aleatorias. Estos datos suelen estar físicamente acotados y contienen valores discretos o repetidos debido a la precisión de la medición, y no se ajustan a modelos de distribución preestablecidos.

Los autores argumentan que la aplicación de la inferencia basada en el muestreo aleatorio a tales volúmenes masivos de datos de ingeniería conduce a un "comportamiento de no convergencia". Específicamente, a medida que el tamaño de la muestra ( $n$ ) aumenta, los valores P de pruebas como la prueba t tienden a oscilar o derivar hacia cero, causando que conjuntos de datos generados por el mismo proceso estable sean juzgados falsamente como "estadísticamente diferentes". Además, las métricas tradicionales (media, desviación estándar) son altamente sensibles a los valores atípicos (outliers) y a la precisión de la medición, lo que conduce a conclusiones inestables en grandes conjuntos de datos.

Metodología: Análisis de Datos de Ingeniería (EDA)
El artículo propone un marco analítico llamado Análisis de Datos de Ingeniería (EDA, por sus siglas en inglés), que trata los datos como salidas de un sistema de producción en lugar de muestras de una población. El marco evita conceptos como "población", "muestreo" y valores P. En su lugar, se centra en recuperar la forma real de la distribución y evaluar la homogeneidad basándose en dos criterios primarios:

Estimación de Densidad por Desplazamiento de Intervalos (ISDE):
- Este es el método central para recuperar la densidad de probabilidad sin asumir una distribución específica (por ejemplo, la normal) ni utilizar funciones de kernel.
- El ISDE funciona como un histograma adaptativo. Ordena los datos brutos e identifica valores distintos ( $n'$ ).
- El tamaño de la ventana ( $k$ ) se determina automáticamente basándose en la densidad local de los datos, establecido específicamente como el número impar más grande que no exceda $n'/4$ (ISDE de cuarto dominio).
- La ventana se expande en regiones densas para preservar el detalle y se contrae en regiones dispersas para evitar fluctuaciones espurias. El método es totalmente impulsado por los datos, sin requerir parámetros de ancho de banda o funciones de suavizado.
Criterios de Juicio de Homogeneidad:
- Probabilidad de Traslape ( $P_{overlap}$ ): Calculada como el área de intersección entre dos curvas de densidad recuperadas (utilizando la regla del trapecio). Un umbral de $P_{overlap} \geq 0.95$ indica una alta homogeneidad.
- Distinguibilidad de la Mediana: El método verifica si la densidad en la mediana del Conjunto de Datos A está enmascarada por la densidad del Conjunto de Datos B (y viceversa). Si la densidad en una mediana es menor o igual a la densidad de la otra distribución en ese punto, las distribuciones se consideran indistinguibles.

Resultos Clave
Los autores validaron el marco EDA utilizando datos generados aleatoriamente en Excel 2019, comparándolo con pruebas t convencionales a través de tres escenarios:

Parámetros Idénticos (Datos Homogéneos):
- Inferencia Convencional: A medida que el tamaño de la muestra aumentaba, los valores P acumulados de la prueba t oscilaban violentamente, cayendo frecuentemente por debajo de 0.05, lo que sugería incorrectamente diferencias significativas entre conjuntos de datos generados a partir del mismo proceso.
- EDA: La probabilidad de traslape ( $P_{overlap}$ ) convergió de manera estable hacia 1.0 a medida que $n$ aumentaba. Los criterios de distinguibilidad de la mediana indicaron consistentemente que los conjuntos de datos no eran distinguibles, independientemente del tamaño de la muestra o la precisión decimal.
Sensibilidad a Valores Atípicos (Outliers):
- Inferencia Convencional: La introducción de un pequeño número de valores atípicos (por ejemplo, 19 valores atípicos en 10,000 puntos) causó que el valor P de la prueba t cayera por debajo de 0.05, señalando una falsa "diferencia significativa".
- EDA: La mediana y el Rango Intercuartílico (IQR) se mantuvieron estables. El $P_{overlap}$ se mantuvo alto (>0.95) y las distribuciones permanecieron indistinguibles, demostrando robustez contra la contaminación menor de datos.
Parámetros Diferentes (Datos Heterogéneos):
- Inferencia Convencional: Los valores P se acercaron a cero a medida que el tamaño de la muestra crecía, indicando una diferencia pero fallando en proporcionar una medida estable del grado de diferencia.
- EDA: El $P_{overlap}$ convergió a un valor estable (por ejemplo, ~0.8) que refleja el grado real de diferencia, en lugar de derivar hacia un extremo. El método distinguió con éxito los conjuntos de datos mientras proporcionaba una medida cuantificable de su traslape.

Significancia y Reivindicaciones
El artículo sostiene que, para los datos de ingeniería provenientes de sistemas de producción, la evaluación de la homogeneidad basada en la distribución ofrece una vía analítica más estable, transparente y confiable que la inferencia estadística convencional.

Convergencia: A diferencia de los valores P, que no convergen para datos homogéneos, las métricas de EDA ( $P_{overlap}$ y distinguibilidad) convergen de manera estable a medida que el tamaño de la muestra aumenta. El tamaño de la muestra en EDA afecta la fiabilidad del resultado, pero no altera la dirección de la convergencia.
Fidelidad e Intuitividad: Al recuperar la distribución directamente de los datos sin imponer supuestos de modelo, el EDA revela características estructurales reales (por ejemplo, multimodalidad, efectos de frontera) que las estadísticas de resumen suelen ocultar.
Aplicabilidad en Ingeniería: El marco cambia la pregunta analítica de "¿Es la diferencia estadísticamente significativa?" a "¿Son las distribuciones distinguibles?". Esto se alinea mejor con los objetivos de la ingeniería de juzgar la estabilidad del sistema y la consistencia de los lotes.
Integridad de los Datos: Los autores sugieren que el marco actúa como una salvaguarda contra la manipulación de datos, ya que la manipulación localizada no puede alterar fácilmente la forma de la distribución recuperada en su totalidad.

Los autores concluyen que, si bien la inferencia estadística sigue siendo válida para escenarios de muestreo aleatorio (como encuestas), a menudo se aplica erróneamente a los datos de ingeniería. El EDA proporciona un conjunto de herramientas de "discriminación de ingeniería" distinto, que es robusto ante valores atípicos, precisión de medición y grandes tamaños de muestra. El método está implementado en Excel 2019 y se presenta como un marco preliminar pero reproducible para el análisis práctico de ingeniería.

Más como este