A review of regularised estimation methods and cross-validation in spatiotemporal statistics

1. Formulação do Problema

A análise de dados geoespaciais e espaço-temporais tornou-se cada vez mais complexa devido à explosão de "big geospatial data" (por exemplo, sensoriamento remoto, LiDAR, dados de crowdsourcing). Este crescimento apresenta dois desafios estatísticos primários:

• Complexidade Computacional: À medida que o número de localizações espaciais ($N$) e variáveis ($q$) aumenta, a dimensionalidade da matriz de covariância das observações cresce para $qNT \times qNT$. A inversão desta matriz tem um custo computacional cúbico ($O(N^3)$), tornando a estimação de máxima verossimilhança padrão inviável para grandes conjuntos de dados.
• Seleção de Modelos e Interpretabilidade: Métodos tradicionais de seleção passo a passo são computacionalmente ineficientes e lutam em cenários de alta dimensionalidade. Além disso, modelos de aprendizado profundo, embora poderosos, frequentemente carecem de interpretabilidade (natureza de "caixa preta"), enquanto modelos geostatísticos e econométricos espaciais exigem estruturas interpretáveis para compreender dependências espaciais e relações entre variáveis.

O artigo aborda a necessidade de procedimentos de estimação regularizada para lidar com redução de dimensionalidade, seleção de variáveis e estimação de estruturas complexas de dependência espacial, mantendo eficiência computacional e interpretabilidade do modelo.

2. Framework Metodológico

Os autores estruturam sua revisão em torno de um framework de modelo espaço-temporal de efeitos mistos:
$$Y_t(s) = \mu_t(s) + \omega_t(s) + \varepsilon_t(s)$$
Onde:

• $\mu_t(s)$: Componente de efeitos fixos (comportamento médio, variáveis exógenas).
• $\omega_t(s)$: Componente de efeitos aleatórios (dependência espacial/temporal, heterogeneidade).
• $\varepsilon_t(s)$: Erro estocástico (ruído branco).

A revisão categoriza as técnicas de regularização com base no componente que elas visam e no tipo de modelo espacial utilizado:

A. Modelos Geostatísticos (Espaço Contínuo)

Estes modelos utilizam funções de covariância baseadas em distância (por exemplo, euclidiana, círculo máximo).

• Regularização de Efeitos Fixos: Foca na seleção de variáveis (seleção de preditores) usando LASSO (Least Absolute Shrinkage and Selection Operator) e suas extensões (Adaptive LASSO, Group LASSO).
  • Desafio: O LASSO padrão falha com preditores correlacionados. O Adaptive LASSO é destacado como a solução para garantir consistência na seleção mesmo com covariáveis cruzadamente correlacionadas.
  • Técnicas: Estimação de Máxima Verossimilhança Penalizada (PMLE), estimadores esparsos de um passo e tapering de covariância para aproximar verossimilhanças.
• Regularização de Efeitos Aleatórios: Foca na estrutura da matriz de covariância/precisão.
  • Matrizes de Precisão Esparsas: Uso de graphical LASSO para induzir zeros na matriz de covariância inversa, implicando independência condicional entre localizações distantes.
  • Aproximações de Baixo Rango: Uso de estimação penalizada para selecionar um subconjunto de funções de base locais (por exemplo, via decomposição de Cholesky) para reduzir o rango da matriz de covariância, diminuindo assim o custo computacional.

B. Modelos de Autoregressão Espacial (Dados Discretos/Lattice)

Estes modelos (SAR, CAR) correlacionam explicitamente a variável resposta com observações adjacentes através de uma matriz de pesos $W$.

• Regularização do Modelo de Média: Aplicação de LASSO para selecionar regressores relevantes na presença de defasagens espaciais.
• Regularização de Estrutura:
  • Seleção de Matriz de Pesos: Em vez de assumir uma $W$ fixa, a regularização é usada para selecionar a matriz de pesos ótima de um conjunto de candidatos (por exemplo, pesos direcionais) ou para estimar a matriz completa $W$ (frequentemente exigindo restrições estruturais como triangularidade ou blocos diagonais para identificabilidade).
  • Estimação Conjunta: Métodos que estimam simultaneamente coeficientes de regressão, parâmetros autoregressivos e a matriz de pesos espaciais.

C. Abordagens Bayesianas

O artigo revisa a penalização bayesiana, que trata o parâmetro de penalidade $\lambda$ como um hiperparâmetro.

• Priors de Encolhimento: Uso de priors como a distribuição Laplace (para LASSO) ou distribuição Normal (para Ridge) para encolher coeficientes.
• Modelos Hierárquicos: Uso de Aproximações Laplace Aninhadas Integradas (INLA) para inferência eficiente em grandes conjuntos de dados.
• Seleção de Modelos: Técnicas como priors Spike-and-Slab e prior $g$ de Zellner para seleção de variáveis em contextos espaço-temporais.

3. Contribuições Principais: Validação Cruzada (CV) sob Dependência

Uma parte significativa do artigo é dedicada a estratégias de Validação Cruzada (CV), argumentando que a CV aleatória padrão falha para dados espaço-temporais devido à autocorrelação (levando a estimativas de desempenho excessivamente otimistas).

Os autores propõem esquemas de CV Orientada ao Alvo que respeitam a estrutura dos dados:

1. CV Temporal: Usa bloqueio (por exemplo, subconjuntos bloqueados em $k$-fold, validação forward) para preservar a ordem temporal e prevenir vazamento de dados do futuro para o passado.
2. CV Espacial: Usa bufferização ou bloqueio espacial para garantir que os conjuntos de treinamento e teste sejam espacialmente independentes.
   • Métodos: Spatial Leave-One-Location-Out (SLOO), Spatial $k$-fold e bufferização baseada em alcances de variograma.
   • Conceito: Introdução da "Área de Aplicabilidade" (AOA) para definir zonas válidas de previsão.
3. CV Espaço-Temporal: Combina bloqueio espacial e temporal.
   • LTO (Leave-Time-Out): Itera sobre blocos de tempo.
   • LLO (Leave-Location-Out): Itera sobre blocos espaciais.
   • LLTO (Leave-Location-and-Time-Out): Itera sobre células espaço-temporais.
   • NNDM (Nearest Neighbour Distance Matching): Uma variante que garante que a distribuição de distâncias entre os conjuntos de treinamento e teste corresponda ao cenário de previsão.

4. Resultados e Descobertas

• Eficiência: Métodos regularizados (PMLE, LASSO) reduzem significativamente a carga computacional ao induzir esparsidade em matrizes de covariância/precisão e selecionar variáveis relevantes, tornando viável a análise em grande escala.
• Consistência de Seleção: Adaptive LASSO e priors de encolhimento bayesianos fornecem seleção de modelos consistente mesmo quando preditores são altamente correlacionados, uma questão comum em dados geoespaciais.
• Compensação Viés-Variância: A regularização introduz viés, mas reduz a variância, levando a um melhor desempenho preditivo fora da amostra em comparação com modelos não penalizados, desde que o parâmetro de penalidade $\lambda$ seja ajustado corretamente.
• Importância da Estratégia de CV: A revisão demonstra que ignorar a dependência espaço-temporal na CV leva a overfitting severo. Esquemas orientados ao alvo (LLO, LTO, LLTO) são essenciais para obter estimativas não tendenciosas da acurácia preditiva.
• Ecossistema de Software: O artigo cataloga pacotes R (sperrorest, blockCV, CAST, mlr3spatiotempcv) e ferramentas MATLAB que implementam essas técnicas específicas de CV e regularização.

5. Significado e Direções Futuras

• Interpretabilidade vs. Caixas Pretas: O artigo defende modelos estatísticos regularizados em detrimento do aprendizado profundo em cenários onde a compreensão dos mecanismos espaciais subjacentes (por exemplo, identificar drivers específicos de poluição ou doença) é crucial.
• Preenchendo a Lacuna: Fornece um framework unificado conectando geostatística (contínua) e econometria espacial (discreta) através da lente da regularização.
• Pesquisa Futura:
  • Estimação de Função de Covariância: Desenvolvimento de splines regularizados para estimar funções de covariância espacial automaticamente, garantindo simultaneamente a definição positiva.
  • Estimação de Matriz de Pesos: Ir além de matrizes de pesos fixas na autoregressão espacial para estimar totalmente $W$ usando regularização, potencialmente usando matrizes baseadas em distância como alvos de encolhimento para manter a interpretabilidade geográfica.
  • Escalabilidade: Melhorar ainda mais a eficiência computacional para conjuntos de dados massivos (por exemplo, via reamostragem escalável ou computação distribuída).

Em conclusão, esta revisão serve como um guia abrangente para estatísticos e cientistas de dados, estabelecendo a regularização e a validação cruzada especializada como o kit de ferramentas padrão para analisar dados espaço-temporais modernos e de alta dimensionalidade.