Bayesian local clustering of functional data via semi-Markovian random partitions

Título: Agrupamento Local de Dados Funcionais via Partições Aleatórias Semi-Markovianas

Autores: Giovanni Toto (Universidade do Texas em Austin) e Antonio Canale (Universidade de Pádua).

---

1. O Problema

A análise de dados funcionais (FDA) lida com observações que são curvas ou superfícies suaves definidas em um domínio contínuo. O agrupamento (clustering) de dados funcionais é um desafio complexo.

• Agrupamento Global vs. Local: A maioria dos métodos tradicionais realiza um agrupamento global, onde toda a curva é atribuída a um único grupo. No entanto, curvas funcionais podem exibir comportamentos heterogêneos em diferentes regiões de seu domínio (ex: comportamentos similares nas extremidades, mas diferentes no centro).
• Limitação dos Métodos Atuais: Abordagens existentes baseadas em processos de Dirichlet ou modelos de Markov Ocultos (HMM) muitas vezes impõem restrições excessivas. Especificamente, modelos baseados em HMMs ou partições dependentes de primeira ordem (como o tRPM de Page et al., 2022) não capturam adequadamente a natureza de suporte local das expansões em bases de funções (como B-splines), onde a identidade local de uma curva depende de múltiplos coeficientes adjacentes, não apenas de um ponto de transição.

2. Metodologia Proposta

Os autores propõem um framework hierárquico Bayesiano que combina duas inovações principais:

A. Agrupamento Indireto via Expansão em B-splines

• As curvas $y_i(x)$ são aproximadas por uma expansão em B-splines de grau $d$: $y_i(x) \approx \sum b_k(x)\theta_{ik}$.
• Em vez de agrupar as curvas inteiras, o modelo atribui rótulos de cluster locais ($c_{ik}$) a cada coeficiente da base $k$.
• Propriedade Chave: Devido à propriedade de suporte local das B-splines, duas curvas são consideradas idênticas em um subintervalo se compartilharem $d+1$ coeficientes consecutivos. Isso permite que curvas pertençam a clusters diferentes em diferentes partes do domínio, mas se sobreponham parcialmente.

B. Modelo de Partição Aleatória Semi-Markoviana (smRPM)

Para modelar a evolução dos rótulos de cluster ao longo dos índices da base ($k=1, \dots, K$), os autores introduzem o smRPM, uma generalização do modelo tRPM (temporal Random Partition Model).

• Dependência de Ordem Superior ($d_\rho$): Diferente dos modelos Markovianos padrão (ordem 1), o smRPM introduz uma dependência de ordem $d_\rho$. Isso é crucial para alinhar a estrutura de dependência com o grau da base B-spline ($d$). Se $d_\rho = d$, o modelo garante que a alocação de cluster seja consistente com a necessidade de $d+1$ coeficientes compartilhados para identidade local.
• Variáveis Auxiliares e Persistência: O modelo utiliza variáveis latentes binárias ($\gamma_{ik}$) que especificam se uma unidade $i$ pode ser realocada. Se $\gamma_{ik}=1$, a unidade fica "travada" no mesmo cluster por $d_\rho$ transições subsequentes.
• Dependência nas Variáveis Auxiliares ($d_\gamma$): Para maior flexibilidade, o modelo permite que as próprias variáveis auxiliares $\gamma_{ik}$ sejam dependentes (modelo autoregressivo logístico de ordem $d_\gamma$), capturando padrões de persistência mais complexos na estrutura de agrupamento.

C. Inferência

• O modelo é estimado via Amostragem de Gibbs.
• São derivadas distribuições condicionais completas para as partições ($\rho_k$), as variáveis auxiliares ($\gamma_{ik}$) e os parâmetros de dependência ($\alpha$).
• O algoritmo utiliza o "Algoritmo 8" de Neal (2000) para atualizar eficientemente as partições, mesmo com a complexidade introduzida pela dependência de ordem superior.

3. Contribuições Principais

1. Novo Modelo de Partição (smRPM): Introdução de um modelo de partição aleatória dependente que relaxa a suposição de Markovianidade de primeira ordem, permitindo dependências de ordem superior tanto na evolução das partições quanto nas variáveis latentes que as governam.
2. Alinhamento com B-splines: A proposta de alinhar a ordem de dependência do modelo ($d_\rho$) com o grau da base B-spline, garantindo que a estrutura estatística reflita a propriedade geométrica de suporte local das funções.
3. Flexibilidade e Generalidade: Embora motivado por dados funcionais, o smRPM é apresentado como uma ferramenta geral para problemas onde sequências de partições dependentes são centrais, superando as limitações de modelos HMM e tRPM.
4. Inferência Bayesiana Não-Paramétrica: O framework permite inferência sobre o número de clusters e sua evolução sem fixar a quantidade de grupos a priori.

4. Resultados Empíricos

Estudos de Simulação

• Desempenho: Estudos simulados mostram que o smRPM com $d_\rho$ e $d_\gamma$ ajustados ao grau da base (ou à dependência real dos dados) supera consistentemente o tRPM (Markoviano) e modelos com dependência de variáveis auxiliares nula.
• Robustez: O modelo demonstra robustez mesmo quando o número de funções base ou o grau da base é mal especificado, embora a superestimação do número de bases seja preferível à subestimação.
• Comparação: Em cenários de dados funcionais, o smRPM superou o modelo de agrupamento local funcional baseado em HMM (HMFLCM) de Fan & Sarkar (2024), especialmente em tamanhos de amostra menores, fornecendo melhores índices de Rand Ajustado (ARI) e menores erros quadráticos médios (RMSE).

Aplicação Real: Níveis de Maré na Lagoa de Veneza

• Dados: Níveis horários de maré de 11 estações de monitoramento em Veneza.
• Contexto: Análise de dois intervalos temporais, incluindo períodos de ativação do sistema de proteção contra inundações (MOSE).
• Descobertas:
  • O modelo identificou comportamentos globais (todas as estações agindo similarmente quando o MOSE está inativo) e comportamentos locais complexos (divergências durante tempestades ou ativação do MOSE).
  • Diferente de métodos globais, o smRPM capturou que uma estação específica manteve um comportamento distinto (cluster vermelho) durante todo o período, enquanto outras se agruparam dinamicamente em clusters azuis e amarelos.
  • A distribuição posterior do número de clusters forneceu uma medida de incerteza valiosa, mostrando que, embora a estimativa pontual sugira 3 clusters, há probabilidade significativa para outros números, refletindo a instabilidade natural dos dados.

5. Significado e Conclusão

O trabalho representa um avanço significativo na estatística Bayesiana não-paramétrica e na análise de dados funcionais.

• Impacto Teórico: O smRPM oferece uma alternativa flexível e matematicamente rigorosa às suposições de Markov de primeira ordem, permitindo modelar dependências de longo alcance e estruturas de persistência mais complexas em dados sequenciais.
• Impacto Prático: A capacidade de realizar agrupamento local "indireto" através de coeficientes de base permite uma análise mais granular e realista de fenômenos físicos e biológicos onde o comportamento muda ao longo do tempo ou espaço, superando a rigidez do agrupamento global.
• Futuro: Os autores sugerem extensões para ruído não-Gaussiano (Processos Gaussianos), modelagem conjunta de grupos de parâmetros e incorporação de covariáveis específicas para curvas e bases.

Em suma, o artigo propõe uma solução elegante e poderosa para o problema de identificar padrões locais em dados funcionais, unindo a flexibilidade das B-splines com uma nova estrutura de dependência estocástica.