Uncertainty-Aware Model Selection with a Calibrated Probability-Generating-Function-Based Bayesian Information Criterion

Resumo Técnico: Seleção de Modelos Consciente de Incerteza com um PGF-BIC Calibrado

Definição do Problema
A seleção de modelos estocásticos de expressão gênica a partir de dados de contagem de RNA de célula única requer um equilíbrio entre o ajuste (goodness-of-fit) e a complexidade mecanística. Embora o Critério de Informação Bayesiano baseado na Função Geradora de Probabilidades (PGF-BIC) ofereça um método computacionalmente eficiente para comparar modelos sem reconstruir distribuições completas de contagem, sua implementação convencional baseia-se em uma regra de limiar zero. Esta regra seleciona o modelo mais complexo sempre que seu escore penalizado for inferior ao do modelo mais simples. No entanto, essa abordagem falha ao não considerar a incerteza de amostragem na diferença do escore ajustado. Em amostras finitas, as flutuações na função geradora de probabilidades (PGF) empírica e nos pesos de covariância estimados podem criar vantagens aparentes de escore para modelos complexos que são indistinguíveis do ruído, levando à seleção excessiva de modelos desnecessariamente complexos.

Metodologia
Os autores propõem uma regra PGF-BIC consciente de incerteza que substitui o corte fixo de zero por um limiar baseado em dados. A metodologia procede através dos seguintes passos técnicos:

1. Decomposição do Escore: A diferença nos escores penalizados ($\Delta_n$) entre um modelo complexo ($M_2$) e um modelo mais simples ($M_1$) é decomposta em um termo de penalidade determinístico e um termo estocástico que representa a diferença nas distâncias de ajuste minimizadas. O componente estocástico surge da variabilidade conjunta da PGF empírica e dos pesos de covariância estimados.
2. Formulação do Limiar via Desigualdade de Cantelli: Para determinar uma margem de seleção que controle a probabilidade de seleção incorreta, os autores utilizam a desigualdade unilateral de Cantelli. Isso permite a derivação de um limiar expresso em termos do desvio padrão da diferença de escore, garantindo que a probabilidade de selecionar o modelo complexo quando este não oferece uma vantagem real ao nível da população seja limitada por um nível alvo $\alpha$.
3. Análise de Função de Influência: Para estimar a escala necessária das flutuações de amostragem sem recorrer a reamostragem (ex: bootstrap), os autores utilizam funções de influência. Ao tratar o escore de diferença ajustado como um funcional da distribuição dos dados, eles derivam uma expansão de Taylor de primeira ordem. Isso resulta em uma representação da flutuação de amostragem como uma soma de contribuições específicas de cada célula ($\psi(X_i)$).
4. Estimativa de Variância: A variância da soma da função de influência é estimada para quantificar o desvio padrão da diferença de escore. Esta estimativa contabiliza a variabilidade tanto na PGF empírica quanto nos pesos de covariância estimados.
5. Regra de Seleção: O modelo complexo é selecionado apenas se sua vantagem de esscore exceder o limiar calculado ($\Delta_n > c_{n,\alpha}$), onde $c_{n,\alpha}$ é derivado do desvio padrão estimado e da taxa de erro alvo.

Principais Contribuições

• Regra de Decisão Calibrada: O artigo introduz uma regra PGF-BIC modificada que incorpora a incerteza de amostragem na decisão de seleção de modelos, indo além da abordagem binária de "menor escore vence".
• Estimativa Analítica de Variância: Uma derivação inovadora utilizando funções de influência fornece uma descrição de primeira ordem das flutuações de amostragem na diferença de escore do PGF-BIC. Isso permite o cálculo de um limiar baseado em dados sem o custo computacional de reamostragem ou otimizações adicionais.
• Preservação de Eficiência: A calibração mantém a eficiência computacional do framework PGF-BIC original, pois utiliza ajustes de modelos existentes e não requer a reconstrução de distribuições completas de contagem ou avaliações repetidas de verossimilhança.

Resultos
Os autores validam o método proposto usando um benchmark comparando um modelo de Poisson (mais simples) contra um modelo de Burst (mais complexo), onde a distribuição de Poisson é um limite de fronteira da distribuição de Burst.

• Descobertas de Simulação: Em simulações onde os dados foram gerados pelo modelo de Poisson, a regra PGF-BIC convencional frequentemente selecionou o modelo de Burst mais complexo (taxas de seleção incorreta de ~70% em $n=100$ e ~35% em $n=1000$).
• Desempenho de Calibração: A regra consciente de incerteza reduziu significativamente a taxa de seleção incorreta do modelo complexo em vários tamanhos de amostra ($n=100, 500, 1000$). O limiar calibrado conseguiu distinguir entre vantagens genuínas do modelo e flutuações causadas pelo ruído de amostragem.

Significância e Alegações
O artigo afirma que a calibração proposta aborda uma limitação crítica dos critérios de seleção de modelos padrão no contexto de dados de célula única: a incapacidade de distinguir vantagens de ajuste reproduzíveis de artefatos induzidos por ruído em amostras finitas. Ao quantificar a incerteza da diferença de escore, o método evita o sobreajuste (over-fitting) de modelos estocásticos de expressão gênica. Os autores enfatizam que esta abordagem integra a quantificação de incerteza na seleção de modelos mantendo a tratabilidade computacional necessária para analisar conjuntos de dados de célula única em larga escala, não exigindo nem reamostragem nem etapas de otimização adicionais.