Homogeneity and Sub-homogeneity Pursuit: Iterative Complement Clustering PCA

Título: Homogeneidade e Busca de Sub-homogeneidade: Análise de Componentes Principais de Agrupamento Complementar Iterativo (CPCA)

Autores: Daning Bi, Le Chang e Yanrong Yang (Australian National University)
Data: Março de 2022

---

1. O Problema

A Análise de Componentes Principais (PCA) é a técnica de redução de dimensionalidade mais popular, projetada para capturar a homogeneidade (padrões comuns) em dados de alta dimensão. No entanto, a PCA tradicional enfrenta desafios significativos quando os dados possuem uma estrutura de grupos (clusters) oculta:

• Falha na Identificação de Sub-homogeneidade: Em dados provenientes de diferentes populações ou grupos (ex.: ações de diferentes indústrias), existem padrões específicos de cada grupo, chamados de sub-homogeneidade. A PCA tradicional tende a ignorar esses padrões se a variância da homogeneidade global (comum a todos) for muito maior que a variância específica de cada grupo.
• Mascaramento de Estrutura: A forte correlação global (homogeneidade) pode mascarar as correlações internas dos grupos, fazendo com que métodos de agrupamento (clustering) tradicionais falhem em separar os dados corretamente, agrupando tudo em um único cluster.
• Curse of Dimensionality: Em cenários onde o número de variáveis ($p$) é comparável ou maior que o tamanho da amostra ($n$), as estimativas da PCA tornam-se inconsistentes, dificultando a extração precisa tanto da homogeneidade quanto das estruturas de grupo.

O objetivo do estudo é desenvolver um método capaz de identificar e estimar simultaneamente a homogeneidade global e a sub-homogeneidade específica de cada grupo, mesmo quando a estrutura de grupos é desconhecida a priori.

---

2. Metodologia: CPCA (Iterative Complement Clustering PCA)

Os autores propõem um novo método chamado CPCA, que utiliza uma abordagem iterativa para estimar componentes comuns e específicos de clusters. A representação de dados proposta é de baixo posto (low-rank) com estrutura de bloco-diagonal nos resíduos.

Modelo Matemático

Os dados $x_i$ são decompostos em:
$$x_i = \sum_{k=1}^{r_c} g_{ik}\phi_k + \sum_{j=1}^{J} \sum_{h=1}^{r_j} f_{ih}^{(j)}\gamma_h^{(j)} + \epsilon_i$$
Onde:

• $\sum g_{ik}\phi_k$: Componentes comuns (Homogeneidade).
• $\sum f_{ih}^{(j)}\gamma_h^{(j)}$: Componentes específicos do cluster $j$ (Sub-homogeneidade).
• $\epsilon_i$: Ruído.

O Algoritmo CPCA

O método opera em três etapas principais, iterando entre a estimativa de componentes e o agrupamento:

1. Etapa Inicial:

   • Aplica-se PCA diretamente nos dados originais para estimar os componentes comuns iniciais ($G_0, \Phi_0$).
   • Calcula-se o "complemento" (resíduos): $X_c^0 = X - G_0\Phi_0^\top$.
   • Realiza-se um agrupamento hierárquico inicial nos dados complementares para obter clusters provisórios.

2. Etapa Iterativa:

   • Refinamento dos Componentes Comuns: Para cada cluster atual, realiza-se uma PCA local. Os componentes resultantes de todos os clusters são combinados e submetidos a uma segunda camada de PCA para extrair a informação comum global atualizada ($G_s, \Phi_s$).
   • Refinamento dos Clusters (LOO-PCR Clustering): Utiliza-se um método inovador de agrupamento baseado em Regressão de Componentes Principais (PCR) com "Leave-One-Out" (LOO).
     • Para cada variável $k$, ela é removida dos dados complementares.
     • Realiza-se PCA em cada cluster restante.
     • A variável $k$ é usada como resposta e os componentes dos clusters como preditores em modelos de PCR.
     • A variável $k$ é atribuída ao cluster que minimiza a Soma dos Quadrados dos Resíduos (SSR). Se o SSR for muito alto, a variável pode formar seu próprio cluster.
   • O processo repete-se até que a atribuição dos clusters converja (medida pelo Índice Rand Ajustado - ARI).

3. Etapa Final:

   • Com os clusters finais, realiza-se a estimativa final dos componentes comuns e dos componentes específicos de cada cluster.

---

3. Contribuições Chave

1. Novo Paradigma de Decomposição: O artigo formaliza a distinção entre homogeneidade e sub-homogeneidade, propondo uma representação de dados que captura ambos os níveis de estrutura.
2. Algoritmo Iterativo CPCA: Desenvolve um método que resolve o problema circular de "precisar dos clusters para estimar a homogeneidade e da homogeneidade para encontrar os clusters" através de iteração.
3. Método de Agrupamento LOO-PCR: Introduz uma técnica de clustering baseada em PCR que supera os métodos hierárquicos tradicionais, especialmente em cenários de alta dimensionalidade ($p \gg n$), pois utiliza a capacidade preditiva dos componentes para validar a pertinência ao grupo.
4. Fundamentação Teórica: Demonstra teoricamente que, sob certas condições (quando a sub-homogeneidade de clusters distintos é distinta), o método consegue identificar corretamente a pertença aos clusters.

---

4. Resultados

Os autores validaram o método através de estudos de simulação extensivos e análise de dados reais de retornos de ações.

Estudos de Simulação

• Cenários: Testados em diferentes configurações de $n$ (tamanho da amostra) e $p$ (número de variáveis), incluindo casos onde a sub-homogeneidade tem variância muito menor que a homogeneidade.
• Desempenho de Recuperação: O CPCA (especialmente a versão final iterativa, CPCA F) apresentou erros de recuperação (MSRE) significativamente menores que a PCA tradicional e métodos não iterativos. A PCA tradicional falhou em capturar a estrutura de clusters, tratando a sub-homogeneidade como ruído.
• Regressão (PCR): Em modelos de regressão onde apenas alguns clusters específicos eram relevantes para prever a resposta, o CPCA combinado com Group Lasso superou a PCA tradicional, identificando corretamente os grupos preditores e reduzindo o erro de previsão (MSPE).
• Estimativa de Covariância: O CPCA forneceu estimativas de matrizes de covariância e precisão mais precisas (menor distância de Frobenius em relação à matriz populacional) do que a PCA e o método POET (Principal Orthogonal complEment Thresholding).

Análise de Dados Reais (Retornos de Ações)

• Dados: Retornos diários de 160 ações de 8 indústrias diferentes (CRSP, 2014).
• Agrupamento:
  • A PCA tradicional e o agrupamento hierárquico direto falharam em separar as indústrias (ARI = 0.09), agrupando a maioria das ações em um único grupo devido ao efeito de mercado (homogeneidade).
  • O CPCA removeu o efeito de mercado e identificou corretamente a estrutura industrial. O ARI melhorou de 0.09 para 0.72 na versão final, agrupando a maioria das ações de acordo com suas indústrias reais.
• Carteira de Mínima Variância (MVP):
  • Uma carteira global de mínima variância construída usando a matriz de covariância estimada pelo CPCA (com clusters finais) apresentou o menor desvio padrão (STD) e os melhores Índices de Informação (IR) e Sharpe (SR) em comparação com carteiras baseadas em PCA tradicional e POET.

---

5. Significância e Conclusão

O artigo demonstra que a análise de dados de alta dimensão com estrutura de grupos requer mais do que a simples aplicação da PCA. A sub-homogeneidade contém informações críticas que, se ignoradas, levam a representações de dados pobres e previsões inadequadas.

• Impacto Prático: O método CPCA é particularmente útil em finanças (para entender efeitos setoriais além do mercado), genética e outras áreas onde dados heterogêneos são agrupados.
• Inovação: A abordagem iterativa e o uso de PCR para clustering resolvem o dilema da dependência mútua entre a estimativa de componentes comuns e a descoberta de clusters.
• Conclusão: O CPCA oferece uma ferramenta robusta para desvendar estruturas complexas em dados de alta dimensão, superando as limitações da PCA clássica e fornecendo estimativas superiores para inferência estatística, previsão e otimização de carteiras.

O código R e os dados utilizados estão disponíveis como material suplementar para reprodução dos resultados.