The Fréchet correlation coefficient for heterogeneous random objects

Resumo Técnico: Coeficiente de Correlação de Fréchet para Objetos Aleatórios Heterogêneos

1. O Problema

No contexto moderno de análise de dados multimodais, é comum encontrar cenários onde tanto as variáveis resposta ($Y$) quanto os preditores ($X$) residem em espaços métricos heterogêneos (não euclidianos). Exemplos incluem dados em espaços de Wasserstein (distribuições), matrizes simétricas definidas positivas (SPD), esferas ou grafos.

Nesses cenários, as medidas clássicas de poder explicativo, como o coeficiente de determinação $R^2$ de Euclides ou correlações de Pearson, não são diretamente aplicáveis ou são enganosas. As principais limitações das abordagens existentes são:

• Perda de Informação Geométrica: Reduzir objetos complexos a resumos euclidianos (ex: médias) pode descartar a variação cientificamente relevante.
• Falta de Direcionalidade: Muitas medidas de dependência modernas (ex: covariância de distância, associação de perfil) são simétricas em $(X, Y)$ e não quantificam especificamente quanto da variação de $Y$ é explicada por $X$.
• Dificuldade de Estimativa: Definir e estimar médias condicionais de Fréchet em espaços gerais é computacionalmente desafiador e muitas vezes requer modelos paramétricos específicos.

O objetivo central do artigo é definir um coeficiente direcional, livre de modelo (model-free) e interpretável que quantifique a proporção da variação de Fréchet de $Y$ explicada por $X$, permitindo a comparação de preditores heterogêneos em uma escala comum.

2. Metodologia

2.1 Definição do Coeficiente de Correlação de Fréchet (FCC)
Os autores definem o FCC ($\rho$) como a redução relativa na variância de Fréchet da resposta após condicionar no preditor.
Seja $\mu_F$ a média global de Fréchet de $Y$ e $\mu_{F,x}$ a média condicional de Fréchet dada $X=x$. A variância de Fréchet é $V_F = E[d^2(Y, \mu_F)]$ e a variância residual condicional é $V(x) = E[d^2(Y, \mu_{F,x}) | X=x]$.

O coeficiente é definido como:
$$\rho = 1 - \frac{E[V(X)]}{V_F}$$
Onde $E[V(X)]$ representa a variação residual de $Y$ após condicionar em $X$.

Propriedades Teóricas:

• Intervalo Unitário: $0 \le \rho \le 1$.
• Interpretação de 1: $\rho = 1$ se e somente se $Y$ for uma função mensurável de $X$ (dependência funcional quase certa).
• Interpretação de 0: $\rho = 0$ se e somente se a média condicional de Fréchet for igual à média global ($\mu_{F,X} = \mu_F$) quase certamente. Isso implica que a independência entre $X$ e $Y$ leva a $\rho=0$, mas o inverso não é necessariamente verdade (o FCC mede dependência da média, não de toda a distribuição).
• Direcionalidade: Distingue claramente entre preditor e resposta, ao contrário de medidas simétricas.

2.2 Estimador Baseado em Partições
A estimação direta da função de média condicional de Fréchet $x \mapsto \mu_{F,x}$ é um problema não paramétrico difícil em espaços métricos gerais. Para contornar isso, os autores propõem um estimador baseado em partições:

1. O espaço do preditor $\mathcal{X}$ é dividido em células $\{\Omega_m\}_{m=1}^{M_n}$.
2. Calcula-se a média e a variância de Fréchet dentro de cada célula.
3. O estimador $\hat{\rho}$ é construído substituindo as expectativas populacionais pelas médias amostrais ponderadas pelas frequências das células.

Vantagens:

• Evita a estimação não paramétrica explícita da função de regressão de Fréchet.
• É computacionalmente eficiente e flexível.
• Pode ser aplicado a qualquer geometria do preditor, desde que uma partição mensurável seja definida (ex: usando protótipos ou agrupamento).

3. Contribuições Principais

1. Formulação Teórica do FCC: Estabelecem o FCC como um funcional de variação explicada para objetos em espaços métricos, provando suas propriedades de fronteira ($\rho=0$ e $\rho=1$) e sua interpretação como uma medida de efeito direcional.
2. Teoria Assintótica do Estimador:
   • Provam a consistência do estimador baseado em partições sob condições de regularidade (tamanho das células divergente e densidade suficiente).
   • Derivam a distribuição assintótica sob a hipótese nula ($H_0: \rho=0$) em dois regimes:
     • Partição Fixa ($M_n$ constante): A estatística segue uma distribuição qui-quadrado ponderada.
     • Partição Crescente ($M_n \to \infty$): Dependendo da estrutura de variância cumulativa, a distribuição converge para uma Normal ou para um caos gaussiano de segunda ordem (qui-quadrado ponderado).
   • Estendem os resultados para variedades Riemannianas de dimensão finita e para respostas no espaço de Wasserstein unidimensional (via embedding $L^2$ de quantis).
3. Validação Empírica: Demonstram através de simulações que o FCC é competitivo e interpretável em cenários complexos, incluindo dados em esferas, espaços de Wasserstein e matrizes SPD.

4. Resultados e Simulações

Os autores realizaram extensas simulações comparando o FCC com outras medidas de dependência (Correlação de Pearson, Coeficiente de Chatterjee, Covariância de Esfera/Ball, Covariância de Energia).

• Cenários Euclidianos: O FCC recupera o comportamento esperado, competindo bem com medidas de dependência não lineares.
• Cenários Não-Euclidianos:
  • Dados de Bicicletas (Exemplo Ilustrativo): Mostraram que o FCC captura padrões temporais (perfil de demanda) que a $R^2$ euclidiana (total de aluguéis) ignora.
  • Simulações (Wasserstein e SPD): O FCC demonstrou alto poder estatístico na detecção de dependências não lineares e estruturadas em espaços de métricas complexas.
  • Robustez: O método mostrou-se robusto a ruídos e capaz de lidar com preditores e respostas em geometrias diferentes (ex: preditor escalar, resposta em SPD).

Um ponto chave é que, em certos cenários de dependência global simples (como no modelo Wishart), métodos baseados em distância pura (como Covariância de Ball) podem ter vantagem, mas o FCC oferece uma interpretação de "variação explicada" que essas outras não fornecem diretamente.

5. Significado e Conclusão

O artigo apresenta uma ferramenta fundamental para a estatística moderna de dados complexos. O Coeficiente de Correlação de Fréchet (FCC) preenche uma lacuna crítica ao fornecer uma métrica padronizada (escala 0 a 1) para comparar a força explicativa de preditores heterogêneos.

Impacto Prático:

• Permite que pesquisadores em áreas como neurociência (conectomas), genética e ciências sociais comparem a importância de variáveis de naturezas distintas (ex: dados circulares vs. distribuições) em relação a uma resposta complexa.
• Oferece uma alternativa viável e computacionalmente eficiente à regressão de Fréchet completa, focando na quantificação da força da relação em vez da modelagem da superfície de regressão.
• A abordagem baseada em partições torna o método acessível e aplicável em diversas geometrias sem a necessidade de derivar kernels ou métricas específicas para cada novo tipo de dado.

Em suma, o FCC generaliza o conceito de $R^2$ para o mundo não euclidiano, mantendo a interpretabilidade e a direcionalidade essenciais para a análise de dados multimodais.