Coarse-to-fine spatial GLMM for scalable prediction and multiscale analysis

1. Declaração do Problema

Os Modelos Lineares Mistos Generalizados (GLMMs) Espaciais são amplamente utilizados para analisar dados espaciais não Gaussianos (por exemplo, contagens, respostas binárias) em campos como epidemiologia e ecologia. No entanto, os métodos existentes enfrentam três limitações críticas:

• Escalabilidade e Custo Computacional: As abordagens tradicionais de Processo Gaussiano (GP) possuem uma complexidade computacional de $O(N^3)$, tornando-as inviáveis para grandes conjuntos de dados. Embora aproximações baseadas em funções de base (por exemplo, SPDE, splines) melhorem a velocidade, elas exigem que o número de funções de base ($L$) seja especificado a priori.
• O Problema da Degenerescência: Em modelos de funções de base, a escolha de $L$ é um compromisso. Um $L$ pequeno leva ao excesso de suavização e baixa precisão preditiva, enquanto um $L$ grande aumenta o custo computacional e pode causar instabilidade numérica (degenerescência), particularmente em métodos baseados em SPDE. Como o $L$ ótimo depende da complexidade desconhecida do processo espacial subjacente, determiná-lo é difícil.
• Falta de Decomposição Multiescala: GLMMs espaciais convencionais geralmente modelam o processo espacial como uma única entidade. Eles lutam para decompor padrões espaciais em escalas distintas (por exemplo, tendências de grande escala vs. variações locais de fina escala), o que é crucial para entender a heterogeneidade espacial complexa.
• Integração com Aprendizado de Máquina: A inferência baseada em verossimilhança em GLMMs espaciais padrão torna difícil integrá-los em pipelines de otimização modernos orientados por perda de validação usados em aprendizado de máquina.

2. Metodologia: CF-GLMM

Os autores propõem o Modelo Linear Misto Generalizado Espacial de Fina para Grossa (CF-GLMM), uma extensão da estrutura de Modelagem Espacial de Fina para Grossa (CFSM) originalmente projetada para dados Gaussianos.

Arquitetura Central

O modelo representa o processo espacial latente $z(s)$ como uma agregação de modelos locais por escala:
$$z_{1:R}(s) = \sum_{r=1}^{R} z_r(s)$$
onde $R$ é o número de escalas, e cada $z_r(s)$ representa um processo em uma largura de banda espacial específica $h_r$. As larguras de banda diminuem geometricamente ($h_r = \alpha h_{r-1}$), movendo-se de escalas grossas para finas.

Especificação do Modelo

• Distribuição da Resposta: O modelo acomoda distribuições da família exponencial, focando especificamente em Poisson (dados de contagem) e Bernoulli (dados binários).
• Função de Ligação: Utiliza funções de ligação padrão (por exemplo, ligação log para Poisson, ligação logit para Bernoulli).
• Modelagem Local: Para cada escala $r$, a área de estudo é partitionada em $C_r$ centros locais (via agrupamento k-means). Um modelo local é ajustado em cada centro, estimando médias e variâncias locais. Essas estimativas locais são agregadas usando um produto ponderado de funções de densidade de probabilidade para formar o processo de escala única $z_r(s)$.

Algoritmo de Otimização

Diferentemente de métodos Bayesianos ou baseados em verossimilhança que exigem priores explícitos, o CF-GLMM utiliza Validação de Retenção (HV) para otimização:

1. Adição Sequencial de Escalas: O algoritmo começa com $R=1$ (escala mais grossa). Ele adiciona sequencialmente escalas mais finas ($R=2, 3, \dots$) estimando o novo componente de escala $z_r(s)$ nos resíduos das escalas anteriores.
2. Minimização da Perda de Validação: Em cada passo, o modelo é treinado em um subconjunto de dados e validado em um conjunto de retenção. O número de escalas $R$ é aumentado apenas se a perda de deviance (perda de Poisson ou Logística) no conjunto de validação diminuir.
3. Ajuste Automático: O processo para quando adicionar mais escalas não reduz mais a perda de validação. Isso determina automaticamente o número ótimo de escalas ($R$) e o número total de modelos locais (funções de base), eliminando a necessidade de ajuste manual de $L$.
4. Ponderação Iterativa: O algoritmo utiliza uma abordagem de Mínimos Quadrados Ponderados Iterativamente (IRLS), atualizando pesos com base nas derivadas atuais da função de ligação para minimizar a perda quadrática ponderada.

Complexidade Computacional

• O método evita a inversão de grandes matrizes de covariância.
• A complexidade é $O(N)$ (linear com o tamanho da amostra) porque agrega modelos locais independentes.
• O algoritmo é naturalmente paralelizável.

3. Contribuições Principais

1. Extensão para Dados Não Gaussianos: Estende com sucesso a estrutura CFSM de respostas Gaussianas para Modelos Lineares Mistos Generalizados (GLMMs), permitindo a análise de dados espaciais de contagem e binários.
2. Resolução do Problema da Degenerescência: Ao otimizar o número de escalas ($R$) e modelos locais via perda de validação, o método evita problemas de degenerescência associados a contagens fixas e especificadas pelo usuário de funções de base em modelos SPDE ou splines tradicionais.
3. Extração de Características Multiescala: O modelo inerentemente decompõe processos espaciais em componentes distintos por escala ($z_1, \dots, z_R$), permitindo a identificação separada de tendências de grande escala e variações locais de fina escala.
4. Compatibilidade com Aprendizado de Máquina: A dependência de otimização baseada em validação (em vez de priores Bayesianos) torna o método facilmente integrável com pipelines modernos de aprendizado de máquina.
5. Implementação de Software: O método é implementado no pacote R spCF.

4. Resultados

Os autores avaliaram o método através de experimentos de Monte Carlo e uma aplicação do mundo real.

Experimentos de Monte Carlo (Previsão Espacial)

• Precisão: Em simulações com dados de contagem Poisson, o CF-GLMM superou consistentemente GLM padrão, GAM (baseado em splines) e métodos baseados em SPDE (INLA), particularmente para grandes tamanhos de amostra ($N \ge 6.000$).
• Escalabilidade: Enquanto a precisão do SPDE degradava à medida que $N$ aumentava (devido a funções de base insuficientes para capturar padrões de fina escala), o CF-GLMM manteve ou melhorou a precisão conforme $N$ crescia.
• Tempo de Computação: O CF-GLMM demonstrou escalabilidade linear. Para $N=20.000$, levou ~65 segundos, significativamente mais rápido que métodos GP completos e competitivo com aproximações escaláveis.
• Dados Binários: Resultados semelhantes foram observados para dados binários, onde o CF-GLMM evitou a instabilidade numérica (RMSE singular) vista no SPDE para amostras pequenas a médias.

Análise Multiescala

• Recuperação de Características: Em experimentos projetados para recuperar três escalas espaciais distintas (grande, moderada, pequena), o CF-GLMM alcançou coeficientes de correlação mais altos com os padrões espaciais verdadeiros em comparação com Mapas de Autovetores de Moran (MEM), um método multiescala padrão.
• Adaptabilidade: O CF-GLMM aprendeu com sucesso o número apropriado de escalas, enquanto o MEM exigia um número fixo de autovetores, frequentemente levando a subajuste de detalhes de fina escala.

Aplicação do Mundo Real: COVID-19 em Tóquio

• Dados: Analisou contagens de infecção em grades de 500m em todo Tóquio para dois períodos (Início de 2020 e Fim de 2021).
• Desempenho Preditivo: O CF-GLMM mostrou ajuste de modelo superior (menor deviance, maior pseudo-$R^2$) em comparação com GLM.
• Padrões Espaciais:
  • GLM: Produziu hotspots suaves e generalizados.
  • CF-GLMM: Revelou "padrões de listras" detalhados ao longo de linhas ferroviárias e hotspots localizados, capturando a influência das redes de transporte na disseminação do vírus.
• Quantificação de Incerteza: O CF-GLMM forneceu estimativas de incerteza mais realistas (Coeficiente de Variação), enquanto o GLM subestimou a incerteza ao ignorar a dependência espacial.
• Mudança de Escala: A decomposição multiescala revelou uma mudança na dinâmica de transmissão: o período inicial foi dominado por surtos localizados de pequena escala no centro da cidade, enquanto o período tardio mostrou aumento da dispersão de grande escala para áreas suburbanas.

5. Significado

O CF-GLMM representa uma mudança de paradigma na estatística espacial, fechando a lacuna entre a geostatística tradicional e o aprendizado de máquina moderno.

• Utilidade Prática: Fornece uma ferramenta robusta e escalável para analisar conjuntos massivos de dados espaciais (por exemplo, vigilância de doenças, monitoramento ambiental) sem o "pesadelo de ajuste" de selecionar o número de funções de base.
• Interpretabilidade: A capacidade de decompor processos espaciais em componentes interpretáveis por escala oferece novos insights sobre os mecanismos que impulsionam a heterogeneidade espacial.
• Potencial Futuro: A estrutura é altamente extensível, oferecendo uma base para modelagem espaço-temporal, coeficientes variáveis espacialmente e integração com arquiteturas de aprendizado profundo para desempenho preditivo aprimorado.

Em resumo, o artigo apresenta uma estrutura computacionalmente eficiente, flexível e precisa para GLMMs espaciais que supera as limitações de escalabilidade e degenerescência dos métodos existentes, ao mesmo tempo que fornece capacidades únicas para análise multiescala.