Resumo Técnico: Estimativa de Densidade Simbólica para Distribuições Discretas

Formulação do Problema

Distribuições de probabilidade discretas são fundamentais para modelagem de dados de contagem e resultados categóricos. No entanto, o catálogo de distribuições interpretáveis e analiticamente tratáveis expandiu-se historicamente apenas por meio de derivações matemáticas caso a caso. Analistas tipicamente enfrentam um trade-off: assumir uma família paramétrica específica arrisca má especificação do modelo, enquanto abordagens não paramétricas flexíveis ou neurais (por exemplo, redes autorregressivas, fluxos normalizadores) frequentemente resultam em modelos implícitos de "caixa preta" que carecem de funções de massa de probabilidade (FMPs) em forma fechada.

Os autores abordam o problema da Estimativa de Densidade Simbólica (SDE): recuperar automaticamente uma FMP simbólica em forma fechada que melhor se ajuste a dados discretos observados, sem prespecificar uma família distribucional. Esta tarefa é não trivial devido ao espaço de expressões combinatorialmente grande e à exigência estrita de que qualquer fórmula proposta deve definir uma FMP válida (não negativa e normalizada). Diferentemente da regressão padrão, distribuições discretas envolvem construções combinatoriais específicas, como fatoriais e coeficientes binomiais.

Metodologia: O Framework SDE

O framework SDE proposto opera no domínio do log-probabilidade para melhorar a estabilidade numérica e transformar fatores combinatoriais multiplicativos em componentes aditivos. O método integra priores estruturais específicos do domínio com busca evolutiva e uma etapa de inferência consciente de validade.

1. Conjunto de Operadores e Espaço de Busca

O espaço de hipóteses é induzido por um conjunto de operadores personalizado $\mathcal{O}$ compreendendo:

• Aritmética básica: $+$, $-$, $\times$, $\wedge$.
• Funções elementares: $\log$, $\exp$, $|\cdot|$, $\sin$, $\cos$.
• Primitivas combinatoriais no domínio log: $\log\Gamma(t+1)$ (log-fatorial), $\log\binom{n}{k}$, e $\log B(a,b)$ (função log-Beta). Estas primitivas representam fatoriais, coeficientes binomiais e termos de função-Beta comuns em FMPs discretas, mantendo estabilidade numérica para argumentos grandes.

Para gerenciar o vasto espaço de busca (estimado em $>10^{19}$ possibilidades para complexidade modesta), os autores empregam dois tipos de restrições:

• Priors de Complexidade de Operadores: Dois perfis de complexidade complementares atribuem custos simbólicos suaves aos operadores. Um perfil favorece estruturas combinatoriais (por exemplo, $\log C$, $\log B$), enquanto o outro favorece motivos de família exponencial (por exemplo, $\log F$, $\log$). Isso guia a busca evolutiva em direção a distribuições estruturalmente diversas sem restringir a expressividade.
• Restrições de Gramática Estrutural:
  • Linearidade: Argumentos de funções especiais (por exemplo, $\log\Gamma$, $\log B$) são restritos a formas afins para prevenir composições profundamente aninhadas e não identificáveis.
  • Atomicidade: A exponenciação é restrita a expoentes atômicos (variáveis únicas ou constantes) para evitar estruturas compostas complexas.

2. Estimativa e Ponderação

O sistema estima o log-FMP a partir de $M$ amostras i.i.d. Para lidar com contagens zero e alta variância em regiões de baixa probabilidade, utiliza-se um estimador suavizado $\hat{p}(x) = \frac{c(x) + \alpha}{M + \alpha K}$ (correspondente à média posterior de Dirichlet).

• Truncamento de Suporte: O domínio de ajuste é restrito a bins com contagens efetivas suficientes ($M\hat{p}(x) \geq \tau$) para mitigar ruído de amostra finita nas caudas.
• Mínimos Quadrados Ponderados: A busca visa um erro de reconstrução ponderado no log-FMP. Os pesos são derivados da variância inversa das estimativas de frequência log (via método Delta), reduzindo o peso de observações ruidosas.

3. Procedimento de Busca e Inferência

A busca central utiliza uma estratégia evolutiva multi-início:

• Múltiplas execuções evolutivas são realizadas, cada uma usando um perfil de complexidade diferente para enviesar a busca em direção a diferentes motivos canônicos.
• Candidatos são evoluídos via mutação e cruzamento, seguidos por seleção consciente de custos equilibrando erro de reconstrução e complexidade simbólica.
• Inferência Pós-Busca: Candidatos agrupados passam por uma validação em três etapas:
  1. Triagem de Perda: Descarte de expressões com alto erro de reconstrução.
  2. Validade Probabilística: Garantia de normalização aproximada ($|\sum e^{f(x)} - 1| < \epsilon$) e massa log limitada.
  3. Controle de Complexidade: Rejeição de expressões que excedem orçamentos de operadores.
• Candidatos válidos são classificados lexicograficamente por complexidade simbólica e erro residual. Parâmetros são refinados via busca local discreta partindo de termos simbólicos identificáveis.

4. Extensões

O framework estende-se naturalmente a estruturas complexas ao ampliar o conjunto de operadores:

• Misturas Finitas: Introduzidas via a primitiva binária $\text{logaddexp}(u, v) = \log(e^u + e^v)$, permitindo aplicações aninhadas para representar misturas arbitrárias no espaço log.
• Modelos Inflados de Zeros: Introduzidos via uma primitiva $\log \delta_0(x)$ codificando uma massa pontual em zero, combinada com $\text{logaddexp}$ para modelar a mistura de uma massa zero e uma distribuição de base.

Contribuições Principais

1. Primeiro Framework Simbólico para Distribuições Discretas: A SDE é o primeiro framework a integrar a verificação de validade de FMP (não negatividade e normalização) diretamente no processo de descoberta simbólica, combinando ajuste de log-FMP ponderado com verificações de validade embutidas.
2. SDEBench: Os autores contribuem com um conjunto de dados de benchmark abrangendo 14 distribuições discretas base (incluindo famílias exponenciais, leis de potência e modelos mistos) e suas variantes infladas de zeros/mistura para suportar avaliação sistemática.
3. Validação Empírica: O método demonstra recuperar modelos clássicos, generalizados e estruturados a partir de amostras finitas, preenchendo a lacuna entre seleção paramétrica rígida e métodos de caixa preta.

Resultados Experimentais

Os autores avaliam a SDE no conjunto de dados SDEBench ($M=50.000$) e em um conjunto de dados real de sequenciamento de RNA de célula única (scRNA-seq).

• Precisão de Recuperação: A SDE recupera com sucesso a forma simbólica correta (até equivalência algébrica) para todas as 14 distribuições base no benchmark, incluindo estruturas combinatoriais complexas como a Beta-Binomial e a Hipergeométrica Negativa. Também identifica corretamente estruturas de mistura aninhadas e formas infladas de zeros.
• Precisão de Parâmetros: Parâmetros inferidos estão tipicamente dentro de alguns por cento da verdade fundamental. Por exemplo, em um cenário ruidoso, o método recuperou $r=9,999, p=0,700$ para uma Binomial Negativa com verdadeiro $r=10, p=0,70$.
• Robustez: O método demonstra resiliência ao ruído de amostragem. Embora modelos complexos requeiram mais dados (por exemplo, a recuperação da Beta-Binomial degrada-se em $M=500$), alvos mais simples permanecem recuperáveis mesmo em tamanhos de amostra pequenos.
• Desempenho Comparativo:
  • Contra Baselines Paramétricas Oracle (MoM/MLE): A SDE alcança precisão comparável sem exigir que a família seja conhecida a priori.
  • Contra Baselines Não Paramétricas/Neurais (KDE, Pyro): A SDE fornece expressões em forma fechada interpretáveis, enquanto KDE e Pyro frequentemente produzem ajustes não suaves, oscilatórios ou artefatos de fronteira (por exemplo, próximo a zero para Poisson Inflado de Zeros).
  • Contra Regressão Simbólica Genérica (PySR): O PySR frequentemente produz expressões estruturalmente inválidas que falham em satisfazer restrições de FMP, enquanto a busca consciente de validade da SDE garante plausibilidade física.
• Aplicação do Mundo Real: Em dados de scRNA-seq de PBMC (Gene 4046), a SDE descobriu um modelo de mistura conciso e interpretável combinando dois componentes de decaimento geométrico e uma linha de base constante. Este modelo alcançou um Menor Erro Quadrático Médio (MSE) no log-FMP empírico do que modelos de família fixa padrão (selecionados via AIC) e baselines neurais de caixa preta.

Significado e Alegações

O artigo alega que a SDE oferece uma alternativa principiante à modelagem paramétrica manual e a estimadores de densidade de caixa preta opacos. Ao operar no domínio do log-probabilidade com um conjunto personalizado de operadores primitivos, o framework pode descobrir automaticamente FMPs em forma fechada interpretáveis que revelam a estrutura composicional das distribuições subjacentes.

Os autores enfatizam que a força central do framework reside em sua extensibilidade: estruturas complexas como misturas finitas e modelos inflados de zeros são recuperadas via extensões mínimas de operadores sem modificar o procedimento de busca subjacente, a função de perda ou as restrições. Esta capacidade suporta a identificação de modelos discretos estruturados e heterogêneos onde a interpretabilidade e o insight estrutural são essenciais.

O trabalho posiciona a SDE como uma abordagem prática para modelagem de distribuições, particularmente em cenários onde a família verdadeira é desconhecida ou onde os dados exibem variações estruturais complexas (por exemplo, excesso de zeros ou multimodalidade) que famílias paramétricas padrão falham em capturar. Os autores notam que, embora a formulação atual foque em distribuições discretas univariadas, a abordagem fornece uma base para futura expansão para configurações multivariadas e contínuas.