mnorm: An R Package for Calculation and Differentiation of Conditional Multivariate Normal Densities and Probabilities

Resumo Técnico de "mnorm: Um Pacote R para Cálculo e Diferenciação de Densidades e Probabilidades Normais Multivariadas Condicionais"

Definição do Problema
A distribuição normal multivariada (MVN) é fundamental para a modelagem econométrica, particularmente para a estimação de máxima verossimilhança (MLE) e inferência Bayesiana. Embora pacotes R existentes, como mvtnorm, pbivnorm e mvnfast, forneçam ferramentas robustas para o cálculo de probabilidades e densidades MVN, eles frequentemente carecem de funcionalidades específicas exigidas para tarefas de otimização avançadas. Especificamente, muitas aplicações práticas requerem:

1. Gradientes Analíticos: A capacidade de diferenciar densidades e probabilidades MVN em relação a vários parâmetros (covariâncias, limites de integração e componentes condicionais) para acelerar rotinas de otimização numérica.
2. Cálculos Condicionais: Computação eficiente de probabilidades normais multivariadas condicionais e truncadas.
3. Marginais Não Normais: Lidar com casos onde as distribuições marginais são não normais via cópula Gaussiana.
4. Desempenho: Computação de alta velocidade, particularmente para casos bivariados e trivariados, e suporte para processamento paralelo.

As soluções existentes frequentemente dependem de diferenciação numérica, que é computacionalmente dispendiosa, ou carecem das capacidades de gradiente específicas necessárias para modelos econométricos complexos, como modelos de seleção de amostra e modelos de alternância endógena (endogenous switching models).

Metodologia
O pacote mnorm aborda essas limitações por meio de uma combinação de derivações teóricas e implementações de computação de alto desempenho:

• Derivações Analíticas: A principal contribuição é a derivação de fórmulas analíticas de forma fechada para os gradientes de densidades e probabilidades MVN. Essas fórmulas abrangem:
  • Derivadas em relação ao vetor de argumento ($x$).
  • Derivadas em relação à matriz de covariância ($\Sigma$), incluindo o tratamento de restrições de simetria.
  • Derivadas em relação aos limites de integração (limites inferiores e superiores).
  • Derivadas em relação aos componentes condicionais (dados) em distribuições condicionais.
  • Derivadas em relação aos parâmetros de distribuições marginais não normais (ex: Student's $t$, logística e distribuições PGN) quando utilizadas dentro de uma estrutura de cópula Gaussiana.
• Implementação Algorítmica:
  • Baixas Dimensões ($m \leq 3$): O pacote utiliza quadratura de Gauss-Legendre com 30 pontos de amostra para probabilidades bivariadas e trivariadas, implementando métodos de Drezner e Wesolowsky (bivariado) e Drezner (trivariado).
  • Altas Dimensões ($m > 3$): O pacote emprega o algoritmo de Geweke-Hajivassiliou-Keane (GHK) com uma sequência de Richtmyer determinística e reordenação de variáveis.
  • Probabilidades Condicionais: O pacote calcula densidades e probabilidades MVN condicionais derivando as matrizes de média e covariância condicionais e aplicando as funções padrão de densidade/probabilidade à dimensionalidade reduzida.
• Arquitetura Computacional:
  • O pacote é escrito em Rcpp e utiliza RcppArmadillo para operações de álgebra linear para garantir velocidade.
  • Suporta Processamento Paralelo de Múltiplas Operações (OMP) para computação paralela (multi-core).
  • Inclui limites específicos para log-probabilidades e suas derivadas para auxiliar na prova de consistência e normalidade assintótica de estimadores.

Principais Contribuições

1. Capacidades de Diferenciação: A principal contribuição é o fornecimento de funções (dmnorm e pmnorm) que retornam não apenas densidades e probabilidades, mas também seus gradientes analíticos em relação a $x$, $\Sigma$, limites de integração e valores condicionais.
2. Suporte Condicional e Truncado: O pacote oferece rotinas eficientes para densidades e probabilidades MVN condicionais, permitindo que os usuários especifiquem índices de componentes condicionais.
3. Integração de Cópula Gaussiana: Suporta marginais não normais ao permitir que os usuários especifiquem distribuições (PGN, Student's $t$, logística, normal) e diferenciem probabilidades em relação aos seus parâmetros.
4. Otimização de Desempenho: Ao implementar gradientes analíticos, o pacote evita o custo computacional da diferenciação numérica. Também otimiza a velocidade para casos de baixa dimensão usando métodos de quadratura especializados e para casos de alta dimensão via algoritmo GHK.
5. Limites Teóricos: Os autores derivam limites superiores úteis para as derivadas de log-probabilidades e limites inferiores para log-probabilidades, que são relevantes para a análise econométrica teórica.

Resultos
O artigo apresenta análises extensas de eficiência comparando o mnorm contra alternativas populares (mvtnorm, mvnfast, pbivnorm, TruncatedNormal, tlrmvnmvt):

• Velocidade de Gradiente: Gradientes analíticos fornecidos pelo mnorm superam significativamente os gradientes numéricos. Em casos de 5 dimensões, calcular gradientes analíticos para densidades é comparável em tempo ao cálculo da própria densidade, enquanto gradientes numéricos exigem múltiplas chamadas de função ($m+1$ ou mais), sendo de 5 a 10 vezes mais lentos. Para probabilidades, a vantagem de velocidade dos gradientes analíticos sobre os numéricos é ainda mais pronunciada, especialmente quando o número de dimensões não condicionadas é baixo.
• Cálculo de Densidade: A função dmnorm é mais rápida que dmvn (de mvnfast) e dmvnorm (de mvtnorm) tanto em configurações de núcleo único quanto em configurações paralelas de 8 núcleos para casos de 5 e 100 dimensões.
• Cálculo de Probabilidade:
  • Bivariada/Trivariada: pmnorm é notavelmente mais rápido que pbivnorm e o algoritmo TVPACK do mvtnorm (que requer loops para vetorização), mantendo precisão comparável (diferenças absolutas máximas $\approx 10^{-16}$).
  • Alta Dimensão: Em dimensões 16, 64, 128 e 512, pmnorm demonstra velocidade e precisão comparáveis ao pacote tlrmvnmvt e TruncatedNormal, muitas vezes superando o mvtnorm em velocidade.
• Eficiência Condicional: O cálculo de probabilidades condicionais é altamente eficiente porque as derivadas em relação aos valores condicionados são funções das derivadas em relação a outros parâmetros, exigindo tempo de computação adicional mínimo.

Significância e Alegações
Os autores afirmam que o pacote mnorm é de "interesse especial para a implementação de estimadores de máxima verossimilhança em modelos econométricos". Especificamente, a capacidade de calcular gradientes analíticos acelera substancialmente as rotinas de otimização numérica, o que é crítico para modelos complexos como:

• Modelos de seleção de amostra multivariados e multinomiais.
• Modelos econométricos de alternância endógena (endogenous switching models).

O artigo afirma que, ao fornecer rotinas rápidas, precisas e diferenciáveis para densidades e probabilidades MVN condicionais, o mnorm facilita a implementação desses estimadores. Os autores mantêm-se modestos quanto à novidade do pacote, posicionando-o como uma extensão de ferramentas existentes que preenche lacunas específicas em diferenciação e tratamento condicional, em vez de substituir os algoritmos fundamentais de cálculo MVN encontrados em outros pacotes. Os limites fornecidos para as derivadas de log-probabilidade são apresentados como uma contribuição suplementar à literatura sobre razões de Mills inversas e consistência de estimadores.