Practical Boundary Degeneracy and Reverse-Martingale Limits in Sequential Binary Models

Sintesi Tecnica: Degenerazione Pratica del Confine e Limiti di Martingala Inversa nei Modelli Binari Sequenziali

Enunciato del Problema
Il documento affronta un fenomeno statistico ricorrente nei dati binari sequenziali in cui campioni finiti creano l'apparenza di una "degenerazione del confine". Ciò si verifica in tre contesti distinti:

1. Prove di Bernoulli: Una lunga serie di soli fallimenti (o solo successi) porta un analista a stimare una probabilità esattamente pari a zero (o uno).
2. Regressione Logistica: La separazione completa o quasi completa causa la divergenza dei coefficienti stimati, spingendo le probabilità previste verso i confini (0 o 1).
3. Traiettorie di Rischio Sequenziali: Un punteggio di rischio si avvicina a un confine prima che lo stato sottostante si sia stabilizzato.

In tutti e tre i casi, vi è la tentazione di dichiarare probabilità di confine esatte ($p=0$ o $p=1$) basandosi su dati finiti. Il documento sostiene che, sebbene i dati sequenziali finiti possano giustificare affermazioni di confine pratiche (ad esempio, $p \le \varepsilon$), non forniscono prove per probabilità di confine esatte. La confusione fondamentale risiede nel confondere una stima finita vicina al confine con la legge condizionale limite alla quale il processo converge.

Metodologia e Quadro Teorico
Il documento unifica questi tre contesti sotto un quadro di martingala inversa, utilizzando il classico teorema di convergenza delle martingale inverse (Doob, 1953; Durrett, 2019).

• Formulazione di Martingala Inversa: Invece della filtrazione standard in avanti ($\mathcal{F}_1 \subseteq \mathcal{F}_2 \subseteq \dots$), il documento considera una filtrazione decrescente ($\mathcal{G}_1 \supseteq \mathcal{G}_2 \supseteq \dots$). Per un esito binario $Y \in \{0, 1\}$, il processo $M_n = E(Y | \mathcal{G}_n)$ è una martingala inversa che converge quasi certamente a un limite $M_\infty = E(Y | \mathcal{G}_\infty)$.
• Definizione di Degenerazione: La degenerazione del confine è ridefinita come una proprietà della legge limite $M_\infty$, non come un evento di campione finito. Un processo è praticamente degenerato al confine se $M_\infty \le \varepsilon$ o $M_\infty \ge 1-\varepsilon$.
• Regola di Arresto a Tre Condizioni ($\tau_{RM}$): Per distinguere la certezza apparente transitoria dalla degenerazione limite genuina, il documento propone una regola di arresto che richiede tre condizioni simultanee:
  1. Vicinanza al Confine ($B_n \le \varepsilon$): La stima corrente è vicina al confine.
  2. Ampiezza dell'Incertezza ($W_n \le w$): L'intervallo di confidenza o la misura di incertezza sono sufficientemente stretti.
  3. Stabilità della Traiettoria ($r_n \le \eta$): La traiettoria è stabile, misurata da un difetto di stabilità (ad esempio, la differenza tra la stima corrente e una media retrospettiva o una proiezione di stato latente).

Questo approccio completa, piuttosto che sostituire, strumenti classici come i test binomiali unilaterali, i limiti di Clopper-Pearson, le sequenze di confidenza e il Test del Rapporto di Probabilità Sequenziale (SPRT) di Wald. Sebbene lo SPRT sia ottimale per il test di ipotesi semplice contro semplice, non affronta affermazioni unilaterali composte, la separazione logistica o la stabilità della traiettoria.

Contributi Chiave

1. Unificazione: Il documento fornisce un'unica struttura teorica (martingale inverse) per interpretare le serie di fallimenti di Bernoulli, la separazione logistica e le traiettorie di rischio instabili come manifestazioni della stessa confusione tra stime finite e leggi limite.
2. Rimedio Operativo: Deriva la regola di arresto $\tau_{RM}$, che previene dichiarazioni premature di probabilità di confine richiedendo stabilità e controllo dell'incertezza in aggiunta alla vicinanza al confine.
3. Insight sulla Regularizzazione: Nel contesto della regressione logistica, il documento sostiene l'uso di stimatori regolarizzati (ad esempio, ridge, Firth o prior bayesiani) per garantire probabilità stimate finite, interpretando i coefficienti divergenti come artefatti numerici della separazione piuttosto che come prove di probabilità di confine esatte.

Risultati Numerici
Il documento presenta cinque studi numerici per validare il quadro teorico:

• Esperimenti su Eventi Rari di Bernoulli: Dimostra che, sebbene una MLE ordinaria ($\hat{p}_n = 0$) si verifichi frequentemente in campioni di eventi rari, una regola di arresto a "quasi-zero" (basata su un $\varepsilon$ pre-specificato) controlla l'errore di Tipo I. L'uguaglianza della MLE a zero è mostrata come un artefatto di campione finito, non una prova di $p=0$.
• Regressione Logistica a Bassa e Alta Dimensionalità: Mostra che, anche con coefficienti veri finiti, eventi rari combinati con covariate (specialmente in alta dimensionalità) portano a un comportamento simile alla "separazione", inclusi campioni di una sola classe, mancata convergenza e logit stimati estremi. La regolarizzazione (ridge) stabilizza queste stime, convertendo coefficienti divergenti in probabilità predittive finite.
• Stabilità vs. Vicinanza: In una simulazione controllata di traiettorie di rischio condizionale, una regola basata "solo sul confine" si è arrestata con probabilità 0,999 su una traiettoria transitoria che in seguito è tornata all'interno. Al contrario, la regola a tre condizioni ($\tau_{RM}$) ha ridotto questo tasso di falsi positivi a 0,107 mantenendo al 100% il potere di arresto su traiettorie genuinamente stabili e convergenti al confine.
• Illustrazione su Dati Reali (Esperimento RAND sull'Assicurazione Sanitaria): Utilizzando un dataset reale con un esito raro (prevalenza dell'1,5%), lo studio conferma che piccoli sottocampioni producono spesso probabilità stimate estreme e instabili. L'aggiunta di termini di modello flessibili (progettazione quadratica) esacerba questo fenomeno, rafforzando la necessità di diagnosi di stabilità.

Significato e Affermazioni
Il documento afferma che il quadro proposto offre un modo più affidabile per interpretare i fenomeni di confine in campioni finiti. Il suo significato principale risiede nella distinzione tra stime finite vicine al confine e leggi limite di confine.

Gli autori affermano che agire sulla vicinanza al confine senza prove di stabilità è prematuro. La visione di martingala inversa ripropone la degenerazione del confine come una proprietà della legge condizionale limite ($M_\infty$). Di conseguenza, il documento sostiene che i campioni finiti giustificano affermazioni di confine pratiche controllate (ad esempio, "siamo fiduciosi che $p \le \varepsilon$") ma mai probabilità di confine esatte. Il vantaggio operativo è la capacità di separare la certezza apparente transitoria dalla degenerazione limite genuina, prevenendo conclusioni errate nel monitoraggio sequenziale, nel trattamento adattivo e nella modellazione di eventi rari.