A simple tool for weighted averaging of inconsistent data sets

Este artículo presenta un método basado en estadística bayesiana para promediar de manera robusta conjuntos de datos inconsistentes, demostrando su eficacia en diversos casos críticos y proporcionando una biblioteca de Python de libre acceso para su implementación.

Lo esencial

Imagina que eres un chef intentando descubrir la receta secreta de un plato delicioso. Tienes 10 amigos que te han enviado sus versiones de la receta. La mayoría dicen "2 cucharadas de sal", pero uno dice "200 cucharadas" y otro dice "0.5". Además, cada uno te dice: "Estoy 99% seguro de mi medida".

El problema es que las recetas no coinciden. ¿Qué haces? ¿Ignoras al loco de las 200 cucharadas? ¿O promedias todo y terminas con un plato salado e insípido?

Este es el problema que resuelve el artículo que acabas de leer. Los científicos a menudo tienen datos que no cuadran (medidas inconsistentes) y necesitan un método inteligente para encontrar la "verdad" sin que un dato extraño arruine todo.

Aquí te explico la solución del artículo usando analogías sencillas:

1. El Problema: La "Regla del Promedio" Fallida

Normalmente, cuando los científicos quieren promediar datos, usan una fórmula matemática simple llamada promedio ponderado.

• Cómo funciona: Si alguien dice "200" con mucha seguridad, la fórmula le da mucho peso. Si alguien dice "0.5" con poca seguridad, le da poco peso.
• El fallo: Esta fórmula asume que todos los errores son "normales" (como una campana de Gauss). Si aparece un dato loco (un "outlier"), la fórmula se rompe. Es como si tuvieras un termómetro que marca 1000°C por error; el promedio de temperatura de tu casa se dispararía a valores imposibles, aunque el resto de los termómetros digan 20°C.

2. La Solución: El "Promedio Conservador" (El Método de Sivia)

Los autores proponen un método nuevo, basado en una idea de 1996, que es como tener un detective escéptico.

En lugar de creer ciegamente en la "seguridad" que dice cada amigo (su incertidumbre), el detective asume: "Oye, dices que estás seguro, pero en realidad podrías estar equivocado. Tu error real podría ser mucho más grande de lo que dices".

La analogía de las alas de la mariposa:

• El método antiguo (Gaussiano): Imagina una campana de iglesia. Si te alejas un poco del centro, la probabilidad de que estés en lo correcto cae muy rápido. Si alguien está muy lejos (un dato raro), la campana lo ignora o lo castiga severamente.
• El nuevo método (Jeffreys/Conservador): Imagina que esa campana tiene alas muy largas y suaves que se extienden lejos. Si alguien da un dato raro, en lugar de decir "¡Eso es imposible!", el método dice: "Bueno, es raro, pero como nuestras alas son largas, es posible que simplemente no supimos medir bien la seguridad. Vamos a darle un poco de espacio".

Esto hace que el promedio final no se mueva bruscamente por un dato extraño, sino que se ajuste suavemente.

3. ¿Cómo lo prueban? (Los Experimentos)

Los autores probaron su "detective escéptico" en tres situaciones:

1. Datos simulados: Crearon datos falsos con errores y "locos" (datos raros). El método antiguo falló estrepitosamente con los locos, pero el nuevo método los ignoró con elegancia y encontró la verdad.
2. La Gravedad (G): La constante de la gravedad es famosa por ser difícil de medir. Durante años, los científicos han tenido medidas que no coinciden. El método antiguo tuvo que inflar artificialmente los errores para que todo encajara. El nuevo método encontró un valor muy cercano al oficial, pero con una explicación más lógica y sin trucos.
3. Partículas (El radio del protón): Aquí hay un caso famoso y controvertido. Unos científicos decían que el protón era pequeño, otros que era grande.
   • El método antiguo intentaba forzar un promedio único, lo cual es como decir "el protón es de tamaño medio", lo cual no tiene sentido si hay dos realidades distintas.
   • El nuevo método, al ver las "alas largas", mostró que no hay un solo promedio. La gráfica resultante tenía dos picos (como una montaña con dos cumbres). Esto le dijo a los científicos: "¡Ojo! No hay un solo valor, hay dos grupos de datos muy diferentes. No intentes promediarlos, investiga por qué son distintos".

4. La Herramienta Gratuita

Lo mejor de todo es que los autores no solo escribieron teoría. Crearon un programa de computadora gratuito (una librería de Python) que cualquiera puede usar. Es como si te dieran la receta del detective escéptico para que tú mismo la pruebes en tus propios datos.

En Resumen

Este artículo nos dice: "Cuando los datos no cuadran, no fuerces un promedio simple. Asume que la gente podría haber subestimado sus errores, usa un método que sea flexible con los datos raros y, si la gráfica se rompe en dos, ¡acepta que hay dos verdades y no una!".

Es una herramienta para ser más humildes con los datos y más inteligentes al buscar la verdad.

Resumen técnico

A continuación presento un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Título: Una herramienta simple para el promedio ponderado de conjuntos de datos inconsistentes

Autores: M. Trassinelli y M. Maxton (Institut des NanoSciences de Paris, CNRS, Sorbonne Université).

---

1. El Problema

El promedio ponderado de datos inconsistentes es un desafío común en la ciencia. El método estándar, que utiliza el promedio ponderado por la inversa de la varianza (donde los pesos son $1/\sigma_i^2$), asume que las incertidumbres reportadas ($\sigma_i$) son precisas y que los datos siguen una distribución gaussiana.

Sin embargo, este enfoque falla cuando:

• Existe una dispersión de datos mayor que la suma de las incertidumbres individuales (inconsistencia).
• Hay errores sistemáticos no controlados o sesgos diferentes entre laboratorios.
• Existen valores atípicos (outliers).

En estos casos, el método estándar subestima la incertidumbre final y puede desplazar el valor medio hacia los outliers. Métodos alternativos existentes, como la relación de Birge (que escala todas las incertidumbres por un factor común) o modelos de sesgo aleatorio, a menudo requieren suposiciones complejas, factores de escala arbitrarios o no son adecuados para promedios interlaboratorio donde los errores sistemáticos varían significativamente.

2. Metodología

Los autores proponen y detallan un enfoque basado en estadística bayesiana, originalmente sugerido por Sivia (1996) y Sivia & Skilling (2006), conocido como el promedio ponderado conservador o promedio de Jeffreys.

Premisas fundamentales:

• Incertidumbre como límite inferior: Se asume que la incertidumbre reportada $\sigma_i$ es solo un límite inferior de la verdadera incertidumbre desconocida $\sigma'_i$ ($\sigma_i \leq \sigma'_i$).
• Marginalización: En lugar de asumir una distribución gaussiana directa para cada dato, se integra (marginaliza) sobre la distribución de probabilidad de la verdadera incertidumbre $\sigma'_i$.

Dos enfoques de priores (distribuciones previas) para $\sigma'_i$:

1. Enfoque Conservador (Sivia & Skilling):

   • Utiliza una priori $p(\sigma'_i) \propto 1/(\sigma'_i)^2$.
   • Esto resulta en una función de verosimilitud con "colas" que decaen suavemente ($\propto 1/x^2$).
   • Ventaja: Es robusto ante outliers y datos dispersos, ya que la probabilidad de valores extremos no cae tan drásticamente como en una gaussiana.

2. Enfoque de Priori de Jeffreys (Límite asintótico):

   • Utiliza la priori no informativa de Jeffreys $p(\sigma'_i) \propto 1/\sigma'_i$ en el límite donde el límite superior de la incertidumbre tiende a infinito.
   • Esto produce colas aún más suaves ($\propto 1/x$).
   • Ventaja: Es aún más tolerante a outliers extremos. Aunque la distribución para un solo punto no es integrable, con dos o más puntos la distribución total del promedio está bien definida.

Diferencia clave con el método estándar:
A diferencia del promedio estándar que tiene una forma analítica cerrada, este método no tiene una solución analítica simple para el promedio $\hat{\mu}$ y su incertidumbre $\sigma_{\hat{\mu}}$. Requiere métodos numéricos para maximizar la función de verosimilitud total. La distribución resultante puede ser asimétrica o multimodal, lo cual es una característica informativa que el promedio estándar (gaussiano) oculta.

3. Contribuciones Clave

• Simplificación de suposiciones: El método minimiza las hipótesis, evitando factores de escala globales (como la relación de Birge) o sesgos aleatorios complejos, tratando cada punto de datos de manera independiente respecto a su incertidumbre.
• Herramienta de software: Los autores desarrollaron y publicaron una biblioteca de Python llamada bayesian_average. Esta herramienta implementa tanto el método de Jeffreys como el conservador, permitiendo a los científicos aplicar este método robusto sin necesidad de derivar las fórmulas complejas o escribir código numérico desde cero.
• Análisis de casos críticos: Demuestran la utilidad del método aplicándolo a conjuntos de datos reales y controvertidos donde el método estándar falla o requiere ajustes manuales arbitrarios.

4. Resultados

El método fue probado en tres escenarios principales:

• Datos Sintéticos:

  • En datos consistentes, el método produce incertidumbres ligeramente mayores (factor ~2) que el estándar, reflejando la incertidumbre real de la dispersión.
  • En datos con sesgos aleatorios o outliers, el método estándar falla al no capturar la dispersión real. El método de Jeffreys recupera el valor medio verdadero y asigna una incertidumbre mucho más realista (hasta 6 veces mayor que el estándar en casos extremos), evitando que el outlier desplace el promedio.

• Constante Gravitacional de Newton (CODATA):

  • Al analizar las compilaciones de CODATA (especialmente la de 1998, que contenía una medición muy precisa pero errónea), el promedio de Jeffreys recuperó el valor de referencia aceptado sin necesidad de excluir manualmente el dato atípico.
  • El método estándar, incluso con corrección de Birge, mostró desviaciones significativas o requería factores de expansión extremos (factor 37 en 1998).

• Propiedades de Partículas (Particle Data Group - PDG):

  • Para la mayoría de las propiedades, el método de Jeffreys coincide bien con los valores recomendados por el PDG, pero con incertidumbres ligeramente mayores y más honestas.
  • Caso Crítico (Radio de carga del protón): El método reveló una distribución bimodal clara en los datos del radio del protón. Esto indica que no existe un único valor promedio válido, sino dos poblaciones de datos distintas. El método estándar (y el promedio ponderado simple) fallaría al intentar forzar un único valor medio, ocultando la naturaleza real del problema. El método de Jeffreys expone esta multimodalidad a través de la función de verosimilitud final.

5. Significado e Impacto

• Robustez: El método ofrece una alternativa superior al promedio ponderado estándar cuando los datos son inconsistentes, eliminando la necesidad de decisiones subjetivas sobre qué datos excluir o cómo escalar las incertidumbres.
• Transparencia: Al permitir que la distribución de probabilidad final sea asimétrica o multimodal, obliga al investigador a examinar la forma completa de la distribución en lugar de confiar ciegamente en un solo número ($\hat{\mu} \pm \sigma$). Esto es crucial para identificar problemas subyacentes en los datos (como el caso del radio del protón).
• Accesibilidad: La provisión de la biblioteca bayesian_average elimina la barrera de entrada técnica, haciendo que un método estadísticamente riguroso esté disponible para cualquier científico que trabaje con datos experimentales.
• Conclusión: El artículo no propone que este método reemplace el juicio crítico de expertos, sino que sirve como una herramienta esencial para obtener promedios ponderados simples y robustos en situaciones donde el método estándar conduciría a resultados engañosos.