Bandwidth-free nonparametric density estimation for grouped data

Resumo Técnico: Estimativa de Densidade Não Paramétrica Livre de Largura de Banda para Dados Agrupados

Definição do Problema
Em muitos contextos científicos e práticos — que variam de relatórios experimentais com incerteza a restrições de confidencialidade e não-detectáveis — os dados não estão disponíveis em um formato convencional de observação individual. Em vez disso, os dados são coletados de forma "agrupada", onde apenas a frequência de observações que caem dentro de intervalos específicos (bins) é conhecida. O desafio reside em estimar a função de densidade de probabilidade (PDF) não agrupada subjacente a partir desses contagens agrupadas sem o conhecimento prévio da forma paramétrica da distribuição.

Abordagens não paramétricas existentes, como estimadores de densidade de kernel adaptados para dados agrupados, sofrem de uma dependência crítica da seleção da largura de banda (bandwidth), o que impacta significativamente a suavidade e a precisão da estimativa. Além disso, métodos não paramétricos padrão frequentemente carecem de identificabilidade quando aplicados a dados agrupados; isto é, múltiplas densidades distintas podem produzir a mesma distribuição de frequência agrupada.

Metodologia: Estimativa de Log-Concavidade Ajustada pela Média (MALC)
Os autores propõem um método não paramétrico totalmente automático e livre de largura de banda chamado estimativa de densidade de Log-Concavidade Ajustada pela Média (MALC) para dados contínuos univariados agrupados. O método baseia-se na premissa de que a densidade subjacente é log-côncava (ou seja, $f(x) = \exp(\phi(x))$ onde $\phi$ é côncava), uma classe que abrange muitas distribuições populares (ex: Gaussiana, Gamma, Weibull), mantendo-se suficientemente ampla para evitar suposições paramétricas restritivas.

O algoritmo MALC procede em três estágios principais:

1. Recuperação da Média via EM: Como a verdadeira média dos dados não observados é desconhecida, os autores primeiro a estimam. Eles assumem uma distribuição Gaussiana para fins de estimativa e aplicam o algoritmo de Expectativa-Maximização (EM) aos dados agrupados para encontrar o Estimador de Máxima Verossimilhança (MLE) da média ($\hat{\mu}_n$). Resultados teóricos demonstram que, sob a divergência de Kullback-Leibler (KL), a densidade Gaussiana mais próxima de uma densidade log-côncava verdadeira $f_0$ compartilha a mesma média. Consequentemente, mesmo que a distribuição verdadeira não seja Gaussiana, este passo fornece uma recuperação altamente precisa da média populacional, com o erro limitado pela largura da grade ($\delta$).

2. Estimativa de Log-Concavidade Discreta: As probabilidades empíricas observadas dos bins são suavizadas para obter uma função de massa de probabilidade (PMF) log-côncava discreta. Isso é alcançado maximizando uma verossimilhança logarítmica penalizada sobre funções discretamente côncavas, utilizando o pacote R logConDiscr. Este passo produz uma PMF discreta única ($\hat{p}_n$) que é a aproximação log-côncava mais próxima das frequências agrupadas observadas no sentido KL.

3. Convolução e Desagrupamento: Para recuperar uma densidade contínua, o método constrói uma variável aleatória $X_{n,\delta}$ definida como a convolução da variável log-côncava discreta (baseada em $\hat{p}_n$) e uma variável de perturbação contínua $Z_{n,\delta}$ suportada em $[0, \delta)$. A perturbação é parametrizada (usando uma distribuição Beta) de tal forma que a convolução resultante tenha uma média igual à média recuperada $\hat{\mu}_n$. Finalmente, o MLE de uma densidade log-côncava contínua é computado a partir de amostras desta convolução usando o pacote logcondens. Este passo efetivamente "desagrupa" os dados ao encontrar a densidade log-côncava contínua mais próxima da distribuição convolvida.

Principais Contribuições Teóricas

• Identificabilidade e Consistência: O artigo estabelece que, embora o problema de recuperar uma densidade log-côncava a partir de dados agrupados seja geralmente não identificável (múltiplas densidades podem gerar as mesmas probabilidades agrupadas), o estimador MALC proposto converge para um limite único. À medida que o tamanho da amostra $n \to \infty$ e a largura da grade $\delta \to 0$, o estimador mostra-se consistente com a verdadeira densidade subjacente, desde que a densidade verdadeira seja log-côncava.
• Natureza Livre de Largura de Banda: Ao contrário dos métodos baseados em kernel, a abordagem MALC não exige que o usuário selecione um parâmetro de suavização ou largura de banda, tornando-a totalmente automática.
• Robustez: Resultados teóricos e de simulação indicam que a suposição de log-concavidade é robusta; o método apresenta bom desempenho mesmo quando a distribuição verdadeira não é estritamente log-côncava, particularmente para amostras de pequeno a médio porte.

Resultados e Avaliação
O desempenho do MALC foi avaliado através de extensas simulações contra três competidores baseados em kernel: Blower e Kelsall (2002), BinnedNP (Barreiro Ures et al., 2019a) e KernSmooth (Wand et al., 2025).

• Estudo de Simulação: Em várias distribuições (tanto log-côncavas como Gamma e Qui-quadrado, quanto não log-côncavas como Log-normal e Student's $t$) e variando tamanhos de amostra ($10^2$ a $10^6$) e larguras de grade, o MALC consistentemente alcançou o menor erro $L_2$. Demonstrou desempenho superior em regimes de amostras pequenas e exibiu maior estabilidade (menor sensibilidade) a mudanças na largura da grade em comparação com os métodos baseados em kernel.
• Aplicação no Mundo Real: O método foi aplicado a dados de mortalidade agrupados de seis países (Canadá, EUA, Japão, Coreia do Sul, Noruega, Austrália) abrangendo idades de 0–110 anos. Os resultados estimaram com sucesso as densidades de mortalidade e as funções de risco (hazard functions) específicas por idade, revelando padrões demográficos esperados, como a maior expectativa de vida no Japão e na Noruega em comparação com os EUA. O método também forneceu estimativas suaves e não decrescentes das funções de risco, consistentes com as propriedades das densidades log-côncavas.

Significância e Alegações
Os autores alegam que o MALC oferece uma alternativa robusta e automática para a análise tradicional de dados agrupados. Sua principal significância reside na eliminação da necessidade de seleção de largura de banda, uma fonte comum de instabilidade e dependência do usuário na estimativa não paramétrica. O método é particularmente valioso em cenários onde os dados são inerentemente agrupados devido a restrições técnicas ou de confidencialidade, e onde a distribuição subjacente é desconhecida ou complexa.

O artigo nota modestamente limitações: a implementação atual é restrita a dados univariados com larguras de grade uniformes. Além disso, embora o método assuma a log-concavidade, reconhece que o estimador resultante pode não preservar perfeitamente as probabilidades exatas dos bins dos dados originais (compatibilidade), embora as simulações sugiram que esse compromisso gera estimativas de densidade globais favoráveis. O trabalho futuro é identificado como a extensão do método para grades não uniformes e configurações multivariadas.