Plotting correlated data

Este artigo demonstra que as barras de erro tradicionais são insuficientes para avaliar o ajuste de modelos a dados com incertezas correlacionadas e propõe visualizar a contribuição do primeiro componente principal e as incertezas condicionais para melhorar a interpretação gráfica.

O essencial

Imagine que você é um chef de cozinha tentando ajustar a receita de um bolo. Você tem uma lista de ingredientes (os dados) e uma receita ideal (o modelo). O problema é que, na cozinha do mundo real, os ingredientes não são independentes. Se você errar um pouco na quantidade de farinha, é muito provável que também erre um pouco na quantidade de açúcar, porque você usou a mesma colher para medir ambos.

A maioria dos gráficos científicos atuais trata cada ingrediente como se fosse medido por uma pessoa diferente, totalmente isolada. Eles mostram uma "barra de erro" (uma linha vertical) ao lado de cada ponto, dizendo: "Este valor pode variar um pouco para cima ou para baixo".

O artigo de Lukas Koch diz: "Ei, isso está enganando a gente!"

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Problema: A Ilusão das Barras de Erro

Imagine que você tem três amigos (os dados) que estão tentando adivinhar a altura de um prédio.

• Amigo A usa uma régua velha.
• Amigo B usa a mesma régua velha.
• Amigo C usa a mesma régua velha.

Se a régua estiver torta, todos eles erram na mesma direção. Se o Amigo A diz que o prédio é mais alto, o B e o C provavelmente também vão dizer que é mais alto. Eles estão "correlacionados".

Nos gráficos antigos, cada amigo recebe uma barra de erro individual. Se um modelo (uma previsão) cair dentro das barras de erro de dois terços dos amigos, dizemos que o modelo está "certo".

O erro: Se os amigos estão usando a mesma régua torta, eles podem estar todos errados juntos, mas o gráfico não mostra isso! O gráfico parece dizer que eles têm opiniões independentes, quando na verdade estão todos "gritando a mesma mentira" ao mesmo tempo. Isso faz com que um modelo ruim pareça bom, ou um modelo bom pareça ruim.

2. A Solução 1: O Mapa de Conexões (Matriz de Correlação)

Para ver a verdade, precisamos saber quem está conectado a quem.
O autor sugere mostrar um "mapa de conexões" (uma matriz de correlação).

• Analogia: Imagine um mapa de linhas de metrô. Se duas estações (pontos de dados) têm uma linha grossa e colorida entre elas, elas estão fortemente conectadas. Se a linha é pontilhada ou inexistente, elas são independentes.
• O problema das cores: Muitos desses mapas usam cores (vermelho para positivo, azul para negativo). Mas e se você imprimir em preto e branco ou for daltônico? O mapa fica ilegível.
• A solução criativa (Diagramas de Hinton): O autor propõe usar tamanhos de bolinhas.
  • Bolinhas grandes = conexão forte.
  • Bolinhas pequenas = conexão fraca.
  • Cor branca = conexão positiva (eles sobem e descem juntos).
  • Cor preta = conexão negativa (um sobe, o outro desce).
  • Isso funciona perfeitamente em preto e branco e para todos os tipos de visão.

3. A Solução 2: Linhas de "Amizade" (Correlações entre Vizinhos)

Em vez de olhar para um mapa separado, o autor quer colar a informação de conexão diretamente no gráfico principal.

• Analogia: Imagine que cada ponto de dados é uma pessoa segurando um balão (a barra de erro).
• Se duas pessoas são "melhores amigos" (correlação positiva), eles seguram o balão do mesmo lado. Se um puxa para cima, o outro puxa para cima.
• Se são "inimigos" (correlação negativa), um segura o balão para cima e o outro para baixo.
• O autor desenha linhas conectando os balões. Se as linhas se cruzam, é um "inimigo". Se vão paralelas, são "amigos".
• Isso permite que você veja, de relance, se os pontos estão "dançando juntos" ou "brigando".

4. A Solução 3: O "Grande Chefe" (Componente Principal)

Às vezes, não são apenas vizinhos que estão conectados; existe um "Grande Chefe" que controla todos ao mesmo tempo.

• Analogia: Imagine uma orquestra. Às vezes, todos os músicos tocam a mesma nota errada porque o maestro (o "Componente Principal") está batendo a batuta de um jeito estranho.
• O autor sugere desenhar uma área sombreada (hachurada) ao redor dos pontos.
  • A parte de fora é a incerteza total (o que você vê nos gráficos antigos).
  • A parte de dentro é o que sobe se você tirar o "Grande Chefe" da equação.
  • Se o modelo (a receita) estiver dentro da área sombreada, ele está "seguro". Se estiver fora, ele está em conflito com o "Grande Chefe".

Por que isso importa?

O autor nos ensina que, na ciência, não basta olhar para o tamanho do erro de cada ponto isoladamente. Precisamos ver como eles se comportam em grupo.

• Sem essas novas técnicas: Podemos aceitar uma teoria errada porque os erros "parecem" pequenos, mas na verdade eles estão todos errados na mesma direção.
• Com essas novas técnicas: Conseguimos ver a "dança" dos dados. Vemos se os erros estão sincronizados (como um grupo de amigos rindo juntos) ou se são independentes.

Resumo final:
O artigo é um manual de instruções para desenhar gráficos científicos mais honestos. Em vez de apenas mostrar "quão incertos" são os dados, ele mostra "como" eles estão incertos juntos. É como trocar uma foto estática de pessoas por um vídeo onde você vê quem está segurando a mão de quem, revelando a verdadeira dinâmica do grupo.

Resumo técnico

Resumo Técnico: Plotando Dados Correlacionados

1. O Problema

Na visualização de dados científicos, é comum representar pontos de dados com incertezas medidas (valores $y$) em função de valores fixos ($x$). Tradicionalmente, as incertezas são exibidas como barras de erro verticais, representando intervalos de confiança (frequentistas) ou credibilidade (bayesianos), geralmente ao nível de 68%.

A intuição padrão sugere que um modelo se ajusta bem aos dados se sua previsão cair dentro das barras de erro de aproximadamente dois terços dos pontos. No entanto, essa intuição falha quando as incertezas dos pontos de dados são correlacionadas.

• Limitação Atual: As barras de erro padrão mostram apenas a raiz quadrada dos elementos diagonais da matriz de covariância (incertezas marginais).
• Consequência: Se a matriz de covariância possui elementos fora da diagonal não desprezíveis (correlações), o gráfico padrão não fornece informações suficientes para julgar se um modelo se ajusta bem aos dados. Um modelo pode parecer compatível visualmente, mas ter um "chi-quadrado" (distância de Mahalanobis) muito alto devido às correlações não visíveis.

2. Metodologia e Abordagens Propostas

O autor propõe técnicas para incorporar informações sobre correlações diretamente nos gráficos de dados ou em visualizações complementares, sem sobrecarregar excessivamente a leitura.

A. Visualização da Matriz de Correlação (Diagnóstico)

• Matrizes de Correlação: Recomenda-se plotar a matriz de correlação separadamente.
• Diagramas de Hinton: Para garantir acessibilidade (impressão em preto e branco ou para daltônicos), o artigo defende o uso de Diagramas de Hinton. Nesses diagramas, o valor absoluto dos elementos da matriz é representado pela área do símbolo (círculo), e o sinal (positivo/negativo) pela cor (ou contraste de brilho). Isso supera as limitações de mapas de cores divergentes que perdem informação em escala de cinza.

B. Linhas de Correlação (Correlation Lines)

• Conceito: Linhas conectam as barras de erro de pontos de dados vizinhos.
• Interpretação:
  • A posição de conexão na barra de erro relativa ao seu comprimento indica o coeficiente de correlação.
  • Correlação Positiva: As linhas conectam os lados correspondentes (ex: topo a topo).
  • Correlação Negativa: As linhas cruzam, conectando lados opostos (ex: topo a fundo).
  • Sem Correlação: Uma única linha conecta os pontos diretamente.
• Utilidade: Mostra a correlação entre vizinhos e permite estimar como a fixação de um ponto afeta a distribuição esperada do vizinho (variância condicional).

C. Visualização de Componentes Principais (PCA)

• Foco: Identificar e visualizar a direção dominante da variância na matriz de covariância.
• Método:
  1. Calcula-se os autovalores e autovetores da matriz de correlação.
  2. Subtrai-se a contribuição do primeiro componente principal (ou dos $N$ primeiros) da covariância total para obter uma "covariância residual".
  3. Visualização: O gráfico exibe duas barras de erro para cada ponto:
     • Borda Externa: Incerteza total (marginal).
     • Borda Interna (Área Hachurada): Incerteza residual após remover o componente principal.
  4. Padrão de Hachura: Indica a direção do componente principal (positivo ou negativo). Se o desvio do modelo estiver no mesmo lado da hachura que o componente principal, o modelo deve ser comparado à incerteza total. Caso contrário, deve ser comparado apenas à incerteza residual.

D. Incertezas Condicionais

• Representam a incerteza de um ponto de dados assumindo que todos os outros estão fixos.
• Visualizadas como pontos internos (triângulos) dentro das barras de erro. Elas revelam restrições fortes no espaço de parâmetros que não são visíveis nas barras de erro marginais.

3. Resultados e Exemplos

• Caso de Estudo Simulado: O autor demonstra com dados artificiais que o modelo M2 parecia visualmente melhor que o M1 no gráfico tradicional, mas, ao considerar as correlações, o M2 tinha um chi-quadrado muito pior. As novas visualizações (linhas de correlação e PCA) tornaram essa discrepância óbvia.
• Exemplo do Mundo Real (Abe et al., 2018): Aplicação em medições de seção de choque de $\delta p_T$.
  • O gráfico de PCA revelou fortes anticorrelações entre os bins 2, 3 e 4, indicando que um "vale" nos dados era provavelmente uma flutuação estatística e não física.
  • A visualização combinada com a razão modelo/dados e o gradiente local da distância de Mahalanobis mostrou que a discrepância real era impulsionada pelos bins 1 e 8, e não pelo vale visualmente proeminente.

4. Contribuições Principais

1. Conscientização: Evidencia que gráficos de barras de erro padrão são insuficientes e potencialmente enganosos na presença de correlações.
2. Técnicas de Visualização: Propõe um conjunto de ferramentas visuais (Linhas de Correlação, Gráficos de Componentes Principais com hachuras, Incertezas Condicionais) que podem ser sobrepostas aos gráficos tradicionais.
3. Acessibilidade: Defende o uso de Diagramas de Hinton para matrizes de correlação, tornando a pesquisa acessível a leitores daltônicos e em impressões monocromáticas.
4. Interpretabilidade: Fornece "regras de bolso" para interpretar os novos gráficos (ex: comparar modelos com as bordas internas ou externas dependendo do alinhamento com o componente principal).
5. Ferramenta de Software: Implementação das técnicas no pacote Python NuStatTools.

5. Significado e Conclusão

O artigo conclui que a prática atual de plotar apenas incertezas marginais pode levar a conclusões erradas sobre a qualidade do ajuste de modelos. As novas técnicas propostas são aditivas: elas não substituem as barras de erro tradicionais, mas adicionam camadas de informação que permitem ao leitor discernir a estrutura de correlação.

• Se houver um componente principal dominante, os gráficos de PCA são ideais.
• Se as correlações forem de curto alcance (vizinhos), as linhas de correlação são eficazes.
• Em todos os casos, recomenda-se fornecer a matriz de correlação completa (via Diagrama de Hinton) como referência.

Essas melhorias visuais são cruciais para a integridade da análise de dados em ciências quantitativas, permitindo uma avaliação mais precisa da concordância entre dados e modelos teóricos.