Plotting correlated data

Este artículo demuestra que las barras de error estándar son insuficientes para evaluar el ajuste de modelos cuando las incertidumbres de los datos están correlacionadas, y propone visualizar la contribución del primer componente principal y las incertidumbres condicionales para mejorar la interpretación gráfica.

Lo esencial

¡Claro que sí! Imagina que este artículo es como una charla entre científicos que se dan cuenta de que están contando una historia incompleta (y a veces engañosa) cuando muestran sus datos.

Aquí tienes la explicación en español, usando analogías sencillas:

🎭 El Problema: La Ilusión de las "Barras de Error"

Imagina que eres un arquitecto y estás midiendo la altura de varios árboles en un bosque. Tienes una cinta métrica que no es perfecta; a veces te equivocas un poco. En el mundo de la ciencia, cuando mostramos estos datos, dibujamos un punto para cada árbol y una línea vertical arriba y abajo (una barra de error) para decir: "El árbol está aquí, pero podría estar un poco más arriba o un poco más abajo".

Hasta ahora, los científicos han asumido que si un modelo (digamos, una predicción de cómo deberían crecer los árboles) toca esas líneas, ¡está bien! Si el modelo pasa por dentro de las barras de la mayoría de los árboles, parece un buen modelo.

Pero aquí está el truco: Este método asume que cada error es independiente. Es como si cada árbol tuviera su propia cinta métrica que falla al azar, sin relación con los demás.

🤝 La Realidad: Los "Amigos" de los Datos

En la vida real, las mediciones a menudo están conectadas. Imagina que usas la misma cinta métrica para medir a todos los árboles. Si la cinta se estira un poco hoy, todos los árboles parecerán más altos. Si se encoge, todos parecerán más bajos.

Esto es lo que el autor llama correlación. Los errores no son amigos solitarios; son un grupo que se mueve juntos.

El problema es que las barras de error tradicionales solo muestran el tamaño del error individual (la longitud de la cinta), pero no muestran que todos los árboles se mueven al unísono.

La analogía del baile:
Imagina que ves a tres personas bailando.

• Sin correlación: Si una persona tropieza, las otras dos siguen bailando normalmente.
• Con correlación: Si una persona tropieza, las otras dos también tropiezan porque están cogidas de la mano.

Si solo miras a cada persona por separado (las barras de error), no ves que están cogidas de la mano. Por eso, un modelo que parece "encajar" visualmente en las barras, podría estar completamente equivocado porque ignora que todos los datos se mueven juntos.

🛠️ Las Soluciones Propuestas: Nuevas Herramientas Visuales

El autor, Lukas Koch, dice: "¡Oye! Necesitamos mostrar esas manos cogidas en el dibujo". Propone tres formas creativas de hacerlo:

1. El Mapa de Colores (Matriz de Correlación)

Imagina que quieres ver quién está cogido de la mano con quién. Podrías hacer un tablero de ajedrez gigante.

• Si dos datos están muy conectados (cogidos de la mano), pintamos esa casilla de un color fuerte.
• Si no tienen relación, la pintamos de blanco.
• El problema: Si imprimes el papel en blanco y negro o si alguien no ve bien los colores, este mapa se vuelve ilegible.
• La solución del autor: Usa Diagramas de Hinton. Imagina que en lugar de pintar cuadros, dibujas círculos.
  • Un círculo grande significa una conexión fuerte.
  • Un círculo pequeño significa una conexión débil.
  • El color (blanco o negro) te dice si se mueven en la misma dirección (positivo) o en direcciones opuestas (negativo). ¡Así, incluso en blanco y negro, ves claramente quién está conectado con quién!

2. Las "Líneas de Correlación" (El Puente entre Vecinos)

En lugar de un mapa gigante, el autor sugiere poner cuerdas entre los puntos de datos vecinos en el gráfico principal.

• Si dos puntos están positivamente correlacionados (se mueven juntos), la cuerda une el lado superior de uno con el superior del otro (o inferior con inferior).
• Si están negativamente correlacionados (uno sube, el otro baja), la cuerda cruza en forma de "X" entre ellos.
• La magia: Si ves una "X" entre dos puntos, sabes que si uno se desvía hacia arriba, el otro probablemente se desviará hacia abajo. Esto te ayuda a juzgar si un modelo tiene sentido o no.

3. El "Viento Principal" (Componente Principal)

A veces, hay un "viento" muy fuerte que empuja a todos los datos en una dirección específica. A esto le llaman el primer componente principal.

• Imagina que los datos son globos. A veces, todos los globos se inflan o se desinflan juntos por un viento fuerte.
• El autor propone dibujar áreas sombreadas (como rayas de sol y sombra) alrededor de las barras de error.
  • Las rayas te muestran la dirección de ese "viento fuerte".
  • Si tu modelo (la línea de predicción) va en la misma dirección que las rayas, ¡está bien!
  • Si tu modelo va en contra de las rayas, ¡está mal! Aunque parezca que toca las barras de error, en realidad está luchando contra el viento principal de los datos.

🏁 Conclusión: ¿Por qué importa esto?

El mensaje final es sencillo: No te fíes solo de lo que ves a simple vista.

Cuando los datos tienen "amigos" (correlaciones), las reglas antiguas de "si la línea toca la barra, está bien" fallan. Podrías pensar que un modelo es genial, cuando en realidad es un desastre porque ignora cómo se mueven los datos en grupo.

El autor nos da nuevas herramientas (líneas cruzadas, círculos de tamaño variable, rayas de dirección) para que, al mirar un gráfico, podamos ver no solo dónde están los datos, sino cómo se relacionan entre sí. Es como pasar de mirar una foto plana a ver una película en 3D donde todos los personajes interactúan.

En resumen:

• Antes: Mirábamos puntos y líneas verticales.
• Ahora: Miramos puntos, líneas verticales, cuerdas cruzadas y direcciones de viento.
• Resultado: Entendemos mejor la verdad detrás de los números y evitamos errores costosos en la ciencia.

Resumen técnico

A continuación se presenta un resumen técnico detallado del artículo "Plotting Correlated Data" (Visualización de Datos Correlacionados) de Lukas Koch, traducido y adaptado al español.

1. El Problema: La Ilusión de los Intervalos de Error Marginales

El artículo aborda un problema fundamental en la visualización de datos científicos: la representación inadecuada de la incertidumbre cuando los puntos de datos tienen incertidumbres correlacionadas.

• Práctica Actual: Tradicionalmente, los datos se visualizan como puntos con barras de error verticales que representan los intervalos de confianza (frecuentistas) o creíbles (bayesianos) marginales (generalmente al 68%). Esto equivale a mostrar solo la raíz cuadrada de los elementos diagonales de la matriz de covarianza.
• La Intuición Fallida: Existe la intuición común de que un modelo ajusta bien los datos si su predicción cae dentro de las barras de error de aproximadamente dos tercios de los puntos.
• La Realidad: Cuando las incertidumbres están correlacionadas (es decir, la matriz de covarianza tiene elementos fuera de la diagonal no despreciables), las barras de error marginales ocultan la estructura real de la incertidumbre. Un modelo puede parecer compatible visualmente (dentro de las barras) pero tener un mal ajuste estadístico (chi-cuadrado o distancia de Mahalanobis muy alto) debido a que viola las correlaciones entre los puntos.
• Consecuencia: Los investigadores no tienen suficiente información en el gráfico estándar para juzgar si un modelo se ajusta bien a los datos o para identificar dónde falla el modelo.

2. Metodología y Propuestas de Visualización

El autor propone enriquecer los gráficos estándar con información adicional sobre la correlación sin perder la legibilidad. Se presentan tres enfoques principales:

A. Visualización de la Matriz de Correlación (Diagramas de Hinton)

• Problema: Los mapas de calor (histogramas 2D) de matrices de correlación suelen depender del matiz del color para distinguir valores positivos de negativos, lo que los hace inaccesibles para personas con daltonismo o en impresiones en blanco y negro.
• Solución: Se propone el uso de Diagramas de Hinton.
  • El valor absoluto de la correlación se representa mediante el área de un símbolo (círculo) en la posición correspondiente.
  • El signo (positivo o negativo) se indica mediante el color (o tono de gris) del símbolo.
  • Ventaja: Permite distinguir fácilmente correlaciones positivas y negativas incluso en escala de grises o para lectores con deficiencias visuales, ya que los puntos pequeños brillantes se distinguen claramente de los oscuros.

B. Líneas de Correlación entre Puntos Vecinos

• Concepto: Para mostrar correlaciones entre puntos adyacentes directamente en el gráfico de datos, se introducen "líneas de correlación".
• Mecánica:
  • Dos líneas conectan las barras de error de puntos vecinos.
  • No se conectan al punto de datos central, sino a una altura relativa en la barra de error que corresponde al coeficiente de correlación.
  • Correlación Positiva: Las líneas conectan los mismos lados de las barras de error.
  • Correlación Negativa (Anticorrelación): Las líneas cruzan y conectan lados opuestos.
  • Sin Correlación: Las líneas coinciden, formando una línea recta directa entre puntos.
• Interpretación: La posición de conexión indica la parte de la incertidumbre "explicada" por la correlación con el vecino. Si un punto fluctúa, la distribución condicional del vecino se desplaza hacia donde la línea se conecta a su barra de error.

C. Gráficos de Componentes Principales (PCA)

• Objetivo: Identificar y visualizar la fuente dominante de varianza en la incertidumbre multivariada.
• Método:
  1. Se realiza un Análisis de Componentes Principales (PCA) sobre la matriz de correlación.
  2. Se selecciona el primer componente principal (el eigenvector con el mayor eigenvalor), que representa la dirección de mayor libertad de variación en el espacio de datos.
  3. Se "resta" la contribución de este componente principal de la covarianza total para obtener una "covarianza restante".
• Visualización:
  • Se dibujan las barras de error marginales totales (covarianza completa).
  • Se dibuja una segunda barra de error interna (covarianza restante).
  • El área entre ambas barras se sombrea (hachurado). La dirección del hachurado indica si la variación del componente principal es positiva o negativa en ese punto.
  • Regla de interpretación: Si la desviación del modelo respecto a los datos sigue la dirección del hachurado (misma dirección para todos los puntos), el modelo debe compararse con la incertidumbre total (borde exterior). Si la desviación es perpendicular o opuesta a la dirección del componente principal, el modelo debe compararse solo con la incertidumbre restante (borde interior), ya que la variación principal es una fluctuación estadística esperada.

D. Incertidumbres Condicionales

• Se incluyen puntos internos (triángulos) que representan la varianza condicional (asumiendo que todos los otros puntos de datos están fijos). Esto muestra la incertidumbre "intrínseca" de un punto, independiente de las fluctuaciones de sus vecinos.

3. Resultados y Ejemplos

El autor demuestra la utilidad de estas técnicas mediante ejemplos sintéticos y un caso de la vida real:

• Ejemplo Sintético: Se muestra un caso donde dos modelos (M1 y M2) parecen compatibles visualmente con las barras de error estándar. Sin embargo, al calcular la distancia de Mahalanobis, M2 es un ajuste terrible.
  • Al añadir las líneas de correlación, se revela que M2 predice valores en lados opuestos de puntos fuertemente correlacionados, lo cual es estadísticamente improbable.
  • Al usar el gráfico de PCA, se ve que M2 no se alinea con la dirección del componente principal dominante, confirmando su incompatibilidad.
• Caso Real (Abe et al., 2018): Se analiza una medición de sección transversal ($\delta p_T$).
  • El gráfico estándar oculta que una "depresión" en los datos es una fluctuación estadística debido a fuertes anticorrelaciones entre bins vecinos.
  • El gráfico de PCA con hachurado hace visible esta anticorrelación, mostrando que el modelo nominal falla porque no respeta la estructura de correlación, mientras que un resultado regularizado sí se ajusta mejor a la estructura de incertidumbre restante.
  • Se combina esto con la razón modelo/datos y el gradiente local de la distancia de Mahalanobis para identificar qué bins específicos contribuyen al mal ajuste.

4. Contribuciones Clave

1. Diagnóstico Visual de Correlaciones: Proporciona herramientas visuales para que los investigadores puedan juzgar rápidamente la compatibilidad de un modelo con datos correlacionados, algo imposible con las barras de error estándar.
2. Accesibilidad: Promueve el uso de Diagramas de Hinton para matrices de correlación, haciendo que la visualización de datos sea accesible para personas con daltonismo y para publicaciones en blanco y negro.
3. Jerarquía de Información: Establece una metodología para agregar información de forma aditiva (marginal -> correlación vecinal -> componente principal -> matriz completa), permitiendo al lector ignorar las capas complejas si es necesario, sin perder la información básica.
4. Implementación de Software: Las técnicas están implementadas en el paquete Python NuStatTools, facilitando su adopción inmediata por la comunidad científica.

5. Significado e Impacto

El artículo es significativo porque cambia el paradigma de la visualización de datos en ciencias cuantitativas.

• Prevención de Errores de Interpretación: Evita que los científicos concluyan erróneamente que un modelo es bueno (o malo) basándose únicamente en la superposición visual con barras de error marginales.
• Mejora de la Comunicación Científica: Permite transmitir la estructura completa de la incertidumbre (no solo su magnitud) en un solo gráfico, reduciendo la necesidad de consultar tablas de covarianza separadas que son difíciles de interpretar intuitivamente.
• Inclusividad: Al priorizar métodos que funcionan sin dependencia exclusiva del color, el trabajo mejora la accesibilidad de la investigación científica para una población global que incluye a cientos de millones de personas con deficiencias en la visión del color.

En conclusión, el autor argumenta que la visualización de datos correlacionados requiere ir más allá de las barras de error simples. La combinación de líneas de correlación, gráficos de componentes principales con hachurado y diagramas de Hinton ofrece un equilibrio óptimo entre densidad de información y legibilidad, permitiendo una evaluación más rigurosa y precisa de los modelos teóricos frente a los datos experimentales.