Practical Boundary Degeneracy and Reverse-Martingale Limits in Sequential Binary Models

Resumo Técnico: Degenerescência Prática de Fronteira e Limites de Reverse-Martingala em Modelos Binários Sequenciais

Declaração do Problema
O artigo aborda um fenômeno estatístico recorrente em dados binários sequenciais onde amostras finitas criam a aparência de "degenerescência de fronteira". Isso ocorre em três configurações distintas:

1. Ensaios de Bernoulli: Uma longa sequência de todas as falhas (ou todos os sucessos) leva um analista a estimar uma probabilidade exatamente igual a zero (ou um).
2. Regressão Logística: Separação completa ou quase completa faz com que os coeficientes ajustados diverjam, levando as probabilidades previstas às fronteiras (0 ou 1).
3. Trajetórias de Risco Sequencial: Uma pontuação de risco aproxima-se de uma fronteira antes que o estado subjacente tenha se estabilizado.

Em todos os três casos, há uma tentação de declarar probabilidades exatas de fronteira ($p=0$ ou $p=1$) com base em dados finitos. O artigo argumenta que, embora dados sequenciais finitos possam justificar declarações de fronteira práticas (por exemplo, $p \le \varepsilon$), eles não fornecem evidências para probabilidades de fronteira exatas. A confusão central reside em confundir uma estimativa próxima à fronteira finita com a lei condicional limite à qual o processo converge.

Metodologia e Estrutura
O artigo unifica essas três configurações sob uma estrutura de reverse-martingala, utilizando o teorema clássico de convergência de reverse-martingala (Doob, 1953; Durrett, 2019).

• Formulação de Reverse-Martingala: Em vez da filtração padrão progressiva ($\mathcal{F}_1 \subseteq \mathcal{F}_2 \subseteq \dots$), o artigo considera uma filtração decrescente ($\mathcal{G}_1 \supseteq \mathcal{G}_2 \supseteq \dots$). Para um resultado binário $Y \in \{0, 1\}$, o processo $M_n = E(Y | \mathcal{G}_n)$ é uma reverse-martingala que converge quase certamente para um limite $M_\infty = E(Y | \mathcal{G}_\infty)$.
• Definição de Degenerescência: A degenerescência de fronteira é redefinida como uma propriedade da lei limite $M_\infty$, e não como um evento de amostra finita. Um processo é praticamente degenerado na fronteira se $M_\infty \le \varepsilon$ ou $M_\infty \ge 1-\varepsilon$.
• Regra de Parada de Três Condições ($\tau_{RM}$): Para distinguir a certeza aparente transitória da degenerescência limite genuína, o artigo propõe uma regra de parada que exige três condições simultâneas:
  1. Proximidade à Fronteira ($B_n \le \varepsilon$): A estimativa atual está próxima da fronteira.
  2. Largura de Incerteza ($W_n \le w$): O intervalo de confiança ou medida de incerteza é suficientemente estreito.
  3. Estabilidade da Trajetória ($r_n \le \eta$): A trajetória é estável, medida por um defeito de estabilidade (por exemplo, a diferença entre a estimativa atual e uma média retroativa ou uma projeção de estado latente).

Esta abordagem complementa, em vez de substituir, ferramentas clássicas como testes binomiais unilaterais, limites de Clopper-Pearson, sequências de confiança e o Teste de Razão de Probabilidade Sequencial de Wald (SPRT). Embora o SPRT seja ótimo para testes de hipóteses simples-verso-simples, ele não aborda declarações unilaterais compostas, separação logística ou estabilidade de trajetória.

Principais Contribuições

1. Unificação: O artigo fornece uma única estrutura teórica (reverse-martingalas) para interpretar sequências de falhas totais de Bernoulli, separação logística e trajetórias de risco instáveis como manifestações da mesma confusão entre estimativas finitas e leis limites.
2. Remédio Operacional: Deriva a regra de parada $\tau_{RM}$, que previne declarações prematuras de probabilidades de fronteira ao exigir estabilidade e controle de incerteza além da proximidade à fronteira.
3. Insight de Regularização: No contexto da regressão logística, o artigo defende estimadores regularizados (por exemplo, ridge, Firth ou priores bayesianos) para garantir probabilidades ajustadas finitas, interpretando coeficientes divergentes como artefatos numéricos da separação e não como evidência de probabilidades exatas de fronteira.

Resultados Numéricos
O artigo apresenta cinco estudos numéricos para validar a estrutura:

• Experimentos de Eventos Raros de Bernoulli: Demonstra que, embora uma MLE ordinária ($\hat{p}_n = 0$) ocorra frequentemente em amostras de eventos raros, uma regra de parada de "praticamente zero" (baseada em um $\varepsilon$ pré-especificado) controla o erro do Tipo-I. A igualdade da MLE a zero é mostrada como um artefato de amostra finita, não uma prova de $p=0$.
• Regressão Logística de Baixa e Alta Dimensionalidade: Mostra que, mesmo com coeficientes verdadeiros finitos, eventos raros combinados com covariáveis (especialmente em altas dimensões) levam a um comportamento "semelhante à separação", incluindo amostras de uma única classe, não convergência e logits ajustados extremos. A regularização (ridge) estabiliza essas estimativas, convertendo coeficientes divergentes em probabilidades preditivas finitas.
• Estabilidade vs. Proximidade: Em uma simulação controlada de trajetórias de risco condicional, uma regra "apenas de fronteira" parou com probabilidade 0,999 em uma trajetória transitória que posteriormente retornou ao interior. Em contraste, a regra de três condições ($\tau_{RM}$) reduziu essa taxa de falso positivo para 0,107, mantendo 100% de poder de parada em trajetórias genuinamente estáveis e convergentes à fronteira.
• Ilustração com Dados Reais (Experimento de Seguro de Saúde RAND): Utilizando um conjunto de dados real com um resultado raro (prevalência de 1,5%), o estudo confirma que pequenas subamostras frequentemente produzem probabilidades ajustadas instáveis e extremas. A adição de termos de modelo flexíveis (design quadrático) exacerba isso, reforçando a necessidade de diagnósticos de estabilidade.

Significado e Alegações
O artigo alega que a estrutura proposta oferece uma maneira mais confiável de interpretar fenômenos de fronteira em amostras finitas. Seu significado principal é a distinção entre estimativas finitas próximas à fronteira e leis limites de fronteira.

Os autores afirmam que agir com base na proximidade à fronteira sem evidências de estabilidade é prematuro. A visão de reverse-martingala reinterpreta a degenerescência de fronteira como uma propriedade da lei condicional limite ($M_\infty$). Consequentemente, o artigo argumenta que amostras finitas justificam declarações práticas de fronteira controladas (por exemplo, "estamos confiantes de que $p \le \varepsilon$"), mas nunca probabilidades exatas de fronteira. O ganho operacional é a capacidade de separar a certeza aparente transitória da degenerescência limite genuína, prevenindo conclusões errôneas em monitoramento sequencial, tratamento adaptativo e modelagem de eventos raros.