Dynamic spectral co-clustering of directed networks to unveil latent community paths in VAR-type models

Título: Agrupamento Espectral Dinâmico de Redes Direcionadas para Revelar Caminhos de Comunidades Latentes em Modelos do Tipo VAR

Autores: Younghoon Kim (Cornell University) e Changryong Baek (Sungkyunkwan University)
Data: Julho de 2025

---

1. O Problema

A identificação de causalidade de Granger em redes em modelos de Autoregressão Vetorial (VAR) de alta dimensão é crucial para entender dependências complexas entre variáveis. No entanto, a literatura existente enfrenta limitações significativas:

• Dependência de Esparsidade: A maioria dos métodos atuais (como Lasso) baseia-se na estimativa de coeficientes esparsos para construir redes. Isso pode ser simplista demais, falhando em capturar interações fortes em pares que não são esparsos (ex.: efeitos de transbordamento financeiro ou propagação de estímulos).
• Perda de Direcionalidade: Abordagens baseadas em Modelos de Bloco Estocástico (SBM) aplicadas a séries temporais frequentemente exigem a simetrização de matrizes Laplacianas, o que elimina a informação de direcionalidade essencial para a causalidade de Granger.
• Estrutura Estática: Métodos convencionais assumem uma única representação de rede para todas as ordens de defasagem (lags) ou para todo o período temporal. Isso impede a detecção de estruturas de comunidade que evoluem ao longo do tempo (ciclicamente) ou que variam entre diferentes horizontes temporais (curto, médio e longo prazo).
• Falta de Modelos Dinâmicos Direcionados: Não há uma metodologia robusta que integre a estrutura de rede direcionada em modelos VAR, permitindo o rastreamento da evolução de comunidades em diferentes "estações" ou ciclos temporais.

2. Metodologia Proposta

Os autores propõem uma nova metodologia chamada ScBM-VAR-type, que combina modelos de séries temporais com Modelos de Bloco Estocástico Corrigido por Grau (Degree-Corrected Stochastic Co-Block Models - ScBM) em redes direcionadas.

2.1. Estrutura do Modelo

O framework estende o modelo VAR padrão para incorporar a estrutura de rede diretamente nas matrizes de transição:

• ScBM-VAR: Assume uma única estrutura de rede para todas as defasagens.
• ScBM-PVAR (Periodic VAR): Permite que a estrutura da rede mude sazonalmente (ex.: trimestralmente), capturando ciclos evolutivos.
• ScBM-VHAR (Vector Heterogeneous Autoregressive): Modela dependências em diferentes horizontes temporais (diário, semanal, mensal) como "estações" distintas, permitindo estruturas de comunidade diferentes para efeitos de curto, médio e longo prazo.

A matriz de adjacência populacional $A$ é modelada como:
$$A = \mu \Theta_y Y B Z' \Theta_z$$
Onde $Y$ e $Z$ são matrizes de pertencimento às comunidades de envio e recebimento, $B$ é a matriz de links entre comunidades, e $\Theta$ corrige a heterogeneidade dos graus dos nós.

2.2. Algoritmo de Agrupamento Espectral Co-Direcionado

O método utiliza uma abordagem de agrupamento espectral adaptada para redes direcionadas:

1. Estimação: Estima-se as matrizes de transição $\hat{\Phi}$ dos modelos VAR/PVAR/VHAR via Mínimos Quadrados Ordinários (OLS).
2. Decomposição SVD: Calculam-se os vetores singulares esquerdo e direito (top-K) das matrizes de transição agregadas.
3. Normalização: As linhas dos vetores singulares são normalizadas para ter comprimento unitário.
4. Clustering: Aplica-se o algoritmo k-means nas linhas normalizadas para identificar as comunidades de envio e recebimento.

2.3. Suavização de Vetores Singulares (PisCES)

Para garantir transições suaves entre as estruturas de comunidade em diferentes estações (evitando mudanças abruptas e não físicas), os autores integram o algoritmo PisCES (Pisces: A Spectral Clustering Algorithm for Dynamic Networks).

• O algoritmo suaviza os vetores singulares entre estações consecutivas usando um parâmetro de ajuste $\alpha$.
• Assume-se que a estrutura de comunidade de recebimento da estação $m-1$ é idêntica à de envio da estação $m$ (para modelos cíclicos como PVAR), criando uma evolução contínua.

2.4. Seleção de Parâmetros

Um esquema de validação cruzada é proposto para selecionar o parâmetro de suavização $\alpha$, minimizando um critério baseado na entropia de von Neumann (uma generalização matricial da entropia de Shannon), adaptado para matrizes de valores contínuos.

3. Contribuições Chave

1. Modelagem de Redes Direcionadas Dinâmicas: É a primeira metodologia a integrar explicitamente a direcionalidade (causalidade de Granger) e a evolução temporal de comunidades dentro de modelos VAR de alta dimensão, sem depender apenas de esparsidade.
2. Extensão para PVAR e VHAR: Adaptação dos modelos ScBM para capturar sazonalidade (PVAR) e dependências de memória longa em múltiplos horizontes (VHAR), tratando dias, semanas e meses como "estações" com estruturas de rede distintas.
3. Fundamentação Teórica Rigorosa:
   • Estabelecimento de condições de estabilidade para os modelos ScBM-PVAR e ScBM-VHAR.
   • Prova de consistência dos estimadores, decompondo o erro em componentes de estimação e ruído da rede.
   • Derivação de limites superiores para as taxas de misclassificação (erro de agrupamento), mostrando como a suavização reduz o erro de variância, embora introduza um viés controlado.
4. Algoritmo Eficiente: Desenvolvimento de um algoritmo combinando agrupamento espectral direcionado com suavização de vetores singulares para redes multicamadas direcionadas.

4. Resultados

4.1. Simulações Numéricas

Estudos de simulação foram realizados com diferentes tamanhos de variáveis ($q$), tamanhos de amostra ($T$) e configurações de caminhos de comunidades.

• Desempenho: A precisão do agrupamento e o Índice de Rand Ajustado (ARI) aumentam consistentemente com o tamanho da amostra.
• Efeito da Suavização: A aplicação do algoritmo PisCES (com $\alpha > 0$) geralmente melhora a precisão em comparação com o agrupamento estático ($\alpha = 0$), especialmente em cenários com ruído, confirmando os limites teóricos de erro.
• Robustez: O método demonstra robustez mesmo quando o número de comunidades varia entre estações.

4.2. Aplicações Empíricas

• Aplicação 1: Emprego Não Agrícola nos EUA (Dados Trimestrais)

  • Dados: 22 setores industriais (1990-2020).
  • Modelo: ScBM-PVAR com 4 estações (trimestres).
  • Descoberta: O método revelou estruturas de comunidade cíclicas que não eram óbvias visualmente. Por exemplo, o setor de Mineração agrupou-se consistentemente com Atacado e Bens Duráveis em três estações, mas separou-se de Bens Não Duráveis, apesar de certas similaridades visuais nas séries temporais. Isso indica dependências estruturais ocultas além da correlação simples.

• Aplicação 2: Volatilidade Realizada de Índices de Ações Globais (Dados Diários)

  • Dados: 20 índices de mercados financeiros internacionais (2010-2017).
  • Modelo: ScBM-VHAR (Diário, Semanal, Mensal).
  • Descoberta: A estrutura de comunidade varia drasticamente dependendo do horizonte temporal.
    • Índices emergentes (NSEI, MXX, BVSP) mostraram agrupamentos diferentes em curto, médio e longo prazo.
    • Índices desenvolvidos (FTSE, GDAXI, FCHI) estavam no mesmo grupo no curto prazo, mas divergiram em horizontes mais longos.
    • O método capturou que a proximidade geográfica não é o único fator determinante; a dinâmica de volatilidade revela agrupamentos latentes baseados em mecanismos de transmissão de risco específicos para cada horizonte temporal.

5. Significância e Conclusão

Este trabalho representa um avanço significativo na análise de redes em séries temporais de alta dimensão. Ao mover-se além da suposição de esparsidade e de redes estáticas, a metodologia proposta permite:

• Interpretação Dinâmica: Rastrear como as relações de causalidade entre variáveis evoluem ao longo do tempo e em diferentes ciclos.
• Descoberta de Estruturas Latentes: Identificar grupos de variáveis que compartilham dinâmicas de transmissão de choque, mesmo que suas trajetórias individuais pareçam diferentes.
• Aplicabilidade Financeira e Econômica: Oferece ferramentas poderosas para análise de risco sistêmico, onde a compreensão da direção e da evolução das dependências é crítica.

Limitações Futuras: Os autores reconhecem que a determinação automática do número de comunidades de envio e recebimento para cada estação ainda é um desafio, assim como a seleção ótima de ordens de defasagem em modelos PVAR complexos. O desenvolvimento de um framework formal para rastrear a trajetória individual de comunidades ao longo do tempo é apontado como uma direção futura.

O código R para as simulações e aplicações está disponível publicamente no GitHub, facilitando a reprodutibilidade e adoção da metodologia.