Generation of Multivariate Discrete Data with Generalized Poisson, Negative Binomial and Binomial Marginal Distributions

Resumo Técnico: Geração de Dados Discretos Multivariados com Distribuições Marginais de Poisson Generalizada, Binomial Negativa e Binomial

Autores: Chak Kwong (Tommy) Cheng e Hakan Demirtas (Universidade de Illinois em Chicago).

---

1. O Problema (Contexto e Motivação)

A análise de dados discretos multivariados é fundamental em áreas como epidemiologia, ciências sociais, genômica e estudos ambientais. Frequentemente, pesquisadores precisam de dados sintéticos para testar a robustez de modelos estatísticos, avaliar o viés de estimadores ou simular cenários complexos do mundo real.

Os métodos existentes para simular dados de contagem correlacionados apresentam limitações significativas:

• Falta de flexibilidade: Muitos algoritmos dependem de um único tipo de distribuição (ex: apenas Poisson).
• Restrições de correlação: Alguns métodos só conseguem gerar correlações positivas ou são limitados a correlações baixas e médias pequenas.
• Complexidade estrutural: Métodos baseados em variáveis latentes muitas vezes só permitem estruturas de troca (exchangeable) ou exigem a especificação de uma distribuição conjunta complexa, o que é difícil de implementar.

2. Metodologia Proposta

O artigo propõe um novo algoritmo de geração de dados que se baseia no framework de dados ordinais de Demirtas (2006). A principal inovação é que o método não exige a especificação de uma distribuição conjunta, mas apenas das distribuições marginais e de uma matriz de correlação viável.

O Algoritmo (Passo a Passo):

1. Colapso em Variáveis Binárias: Cada variável discreta (Poisson Generalizada, Binomial Negativa ou Binomial) é convertida em uma variável binária. Para isso, utiliza-se a mediana da distribuição original para criar categorias "0" e "1", tentando manter a esperança da variável binária próxima de 0,5 (o que otimiza a performance do algoritmo).
2. Ajuste da Correlação Binária (Iteração): Como a correlação entre as variáveis discretas originais ($\delta^*_{ij}$) não é a mesma que a correlação entre as variáveis binárias colapsadas, o algoritmo utiliza um procedimento iterativo. Ele busca uma matriz de correlação binária ($\Sigma$) que, ao ser convertida de volta para a escala original, resulte na correlação alvo desejada.
3. Geração via Variável Latente Normal: Utiliza-se a abordagem de Emrich e Piedmonte (1991), que emprega uma variável normal multivariada latente e uma matriz de correlação tetracórica para gerar os dados binários correlacionados.
4. Reversão (Expansão): Os dados binários gerados são "expandidos" de volta para as escalas discretas originais (Poisson, Binomial ou Binomial Negativa) usando as proporções de probabilidade calculadas no passo de colapso.

3. Principais Contribuições

• Unificação: Um único framework capaz de lidar com três das principais distribuições de contagem e, crucialmente, com distribuições mistas (ex: uma variável sendo Poisson e outra Binomial Negativa no mesmo conjunto).
• Flexibilidade de Correlação: Permite a especificação de correlações tanto positivas quanto negativas.
• Simplicidade de Entrada: O usuário só precisa definir as marginais e a matriz de correlação, sem precisar modelar a dependência conjunta complexa.
• Ferramenta Computacional: O desenvolvimento do pacote R MultiDiscreteRNG, que implementa todo o processo de validação, colapso e geração.

4. Resultados e Avaliação

Os autores avaliaram o método através de estudos de simulação e aplicações em dados reais:

• Simulações: Foram testados quatro cenários (Poisson Generalizada, Binomial Negativa, Binomial e um cenário Misto) com amostras pequenas ($N=200$) e grandes ($N=2000$).
  • Precisão: Os estimadores (via método dos momentos) mostraram viés relativo (RB) geralmente abaixo de 5% e taxas de cobertura (CR) próximas ao nível nominal de 95%.
  • Estabilidade: À medida que o tamanho da amostra aumentou, a precisão e a estabilidade dos parâmetros melhoraram significativamente.
• Dados Reais: O método foi aplicado com sucesso a três conjuntos de dados:
  1. National Medical Expenditure Survey (NMES): Dados de saúde dos EUA.
  2. Australian Health Survey (AHS): Dados de utilização de serviços de saúde na Austrália.
  3. Los Angeles Crime Data: Dados de criminalidade de LA.
  • Em todos os casos, o algoritmo conseguiu replicar com sucesso os parâmetros marginais e as correlações observadas nos dados originais.

5. Significância e Limitações

Significância: O trabalho preenche uma lacuna importante na computação estatística, fornecendo uma ferramenta robusta para pesquisadores que precisam de dados sintéticos multivariados que respeitem propriedades de dispersão (sobre ou subdispersão) e estruturas de dependência complexas.

Limitações:

• Limites de Correlação: O método é limitado pelos limites de Hoeffding-Fréchet. Se a correlação desejada exceder os limites teóricos impostos pelas distribuições marginais binárias, o algoritmo não pode ser aplicado.
• Custo Computacional: A busca pela correlação binária correta exige múltiplas iterações, o que pode ser custoso em termos de processamento, embora a geração final de dados após o ajuste seja rápida.