Discrete-time, discrete-state multistate Markov models from the perspective of algebraic statistics

Sintesi Tecnica: Modelli di Markov multistato a tempo discreto e stato discreto dalla prospettiva della statistica algebrica

Definizione del Problema
Il saggio affronta la struttura algebrica sottostante ai modelli di Markov multistato a tempo discreto e stato discreto, una classe di modelli ampiamente utilizzati nell'analisi della storia degli eventi per descrivere processi che evolvono attraverso sequenze di stati. Sebbene la fattorizzazione probabilistica delle probabilità di percorso sia ben nota, le relazioni polinomiali (vincoli algebrici) tra le probabilità congiunte dei percorsi non sono state esplorate sistematicamente all'interno del quadro della statistica algebrica. Nello specifico, gli autori mirano a stabilire un ponte tra l'analisi della storia degli eventi e la statistica algebrica, caratterizzando questi modelli tramite parametrizzazioni monomiali e studiando i loro ideali di annullamento associati. Viene fatta una distinzione fondamentale tra modelli non omogenei (dove le probabilità di transizione variano nel tempo) e modelli omogenei (dove le probabilità di transizione sono invarianti nel tempo), nonché tra modelli con vincoli strutturali come transizioni proibite o stati assorbenti.

Metodologia
Gli autori utilizzano gli strumenti della statistica algebrica, concentrandosi in particolare su:

1. Parametrizzazione Monomiale: Formalizzano la probabilità congiunta di un percorso finito come un monomio in termini di parametri della distribuzione iniziale ($\pi$) e probabilità di transizione ($a$). Questo definisce una mappa $\phi$ dallo spazio dei parametri al simplesso delle probabilità.
2. Implicitizzazione e Ideali di Annullamento: L'oggetto algebrico centrale di studio è il nucleo della mappa di pullback $\phi^*$, denotato come l'ideale di annullamento $I$. Questo ideale consiste in tutte le relazioni polinomiali che si annullano sulle probabilità congiunte dei percorsi implicite nel modello.
3. Ideali Torici e Modelli Gerarchici: Gli autori analizzano se questi modelli corrispondano a modelli gerarchici decomponibili (i cui ideali di annullamento sono torici e generati da binomiali). Utilizzano i risultati della teoria dei complessi simpliciali e dei modelli grafici decomponibili.
4. Stima della Massima Verosimiglianza (MLE): Il saggio confronta le classiche formule statistiche MLE con gli approcci algebrici (risolvendo le equazioni di verosimiglianza tramite moltiplicatori di Lagrange o analizzando l'ideale di verosimiglianza) per determinare se la formulazione algebrica offra vantaggi computazionali o riveli differenze strutturali (ad esempio, l'inclusione stretta del modello all'interno della sua chiusura di Zariski).
5. Verifica Computazionale: Gli esempi sono verificati utilizzando Macaulay2 e R, inclusi casi di applicazioni a dati reali di testi shakespeariani per illustrare i risultati teorici.

Contributi Chiave e Risultati

• Modelli Non Omogenei:

  • Gli autori dimostrano che i modelli di Markov multistato di ordine $k$ non omogenei, quando i vincoli statistici (non negatività e somma uguale a uno) vengono trascurati, sono modelli gerarchici decomponibili.
  • Di conseguenza, i loro ideali di annullamento sono ideali torici generati da esplicite famiglie di binomiali. Questi generatori corrispondono a enunci di indipendenza condizionale tra blocchi di variabili (Proposizione 4.5).
  • Modelli con transizioni proibite (ad esempio, modelli malattia-morte) sono mostrati essere sezioni di coordinate del modello generale. I loro ideali di annullamento si ottengono aggiungendo equazioni lineari ($p_{path} = 0$) all'ideale generale (Corollario 4.7).
  • Fondamentalmente, nell'ambito non omogeneo, il modello statistico $M$ è esattamente uguale all'intersezione tra la varietà algebrica $V$ e il simplesso delle probabilità $\Delta$ (Proposizione 4.9).
  • La formula statistica classica per la MLE coincide con la MLE algebrica per i modelli gerarchici decomponibili, fornendo un estimatore razionale unico a forma chiusa.

• Modelli Omogenei:

  • L'omogeneità temporale impone vincoli algebrici aggiuntivi perché i parametri di transizione sono identificati tra diversi passi temporali. Ciò causa il fatto che i modelli omogenei generalmente cadono al di fuori della classe dei modelli gerarchici decomponibili.
  • L'ideale di annullamento per i modelli omogenei è strettamente più grande di quello dei loro controparti non omogenei. Gli autori derivano una famiglia generale di relazioni binomiali indotte dall'omogeneità temporale (Proposizione 5.2), analoghe alle relazioni dei rapporti di probabilità (odds-ratio).
  • Tuttavia, esempi computazionali (ad esempio, Esempio 1 ed Esempio 5) dimostrano che questi binomiali derivati non generano l'ideale di annullamento completo in generale; sono necessari polinomi di grado superiore.
  • Un risultato significativo è che, per i modelli omogenei, il modello statistico $M$ è strettamente incluso nell'intersezione $V \cap \Delta$ (Proposizione 6.2). Ciò significa che la varietà algebrica contiene punti che soddisfano i vincoli polinomiali ma non corrispondono a distribuzioni di probabilità valide sotto l'assunzione di Markov omogenea.
  • Di conseguenza, risolvere il problema della MLE algebricamente (tramite l'ideale di verosimiglianza) può essere sostanzialmente più complesso rispetto all'uso di metodi statistici classici, che forniscono stimatori diretti in forma chiusa sommando i conteggi delle transizioni nel tempo.

• Applicazioni:

  • La teoria è applicata a un modello malattia-morte e a un modello malattia-morte reversibile.
  • Un'applicazione su dati reali consiste nel modellare le parole inglesi dai lavori di Shakespeare come percorsi di Markov. Gli autori calcolano le MLE sia per modelli omogenei che non omogenei del primo ordine, nonché un modello omogeneo del secondo ordine (collassando gli stati in vocali, consonanti e spazio). Dimostrano discrepanze tra le frequenze empiriche dei percorsi e le probabilità del modello adattato, evidenziando in particolare come i modelli omogenei non riescano a catturare le frequenze di bigrammi specifiche per posizione (ad esempio, "th" all'inizio delle parole) che i modelli non omogenei invece catturano.

Significatività e Rivendicazioni
Il saggio sostiene di fornire il primo studio statistico-algebrico sistematico dei modelli di Markov a tempo discreto multistato. La sua significatività primaria risiede nel:

1. Quadro Unificato: Traduce le assunzioni di modellazione (transizioni proibite, stati assorbenti, omogeneità temporale) in precisi vincoli algebrici (sezioni di coordinate, ulteriori relazioni binomiali).
2. Approfondimento Strutturale: Chiarisce che, mentre i modelli non omogenei si inseriscono agevolmente nella ben nota classe dei modelli gerarchici decomponibili, i modelli omogenei presentano un comportamento algebrico più complesso, portando a un divario tra il modello statistico e la sua chiusura di Zariski.
3. Cautela Metodologica: Evidenzia che, per i modelli omogenei, i metodi statistici classici sono spesso superiori per semplicità e immediatezza rispetto agli approcci algebrici, i quali possono comportare la risoluzione di sistemi complessi con molteplici soluzioni o polinomi di grado superiore.
4. Direzioni Future: Gli autori identificano problemi aperti, tra cui il trattamento algebrico dei dati con censura a destra, la piena generazione degli ideali di annullamento per i modelli omogenei e l'estensione di questi risultati a miscele di modelli di Markov e modelli grafici colorati.

Gli autori mantengono un tono modesto riguardo l'utilità dei metodi algebrici per l'inferenza, osservando che, sebbene i punti di vista algebrici forniscano una profonda comprensione strutturale, i metodi statistici classici rimangono spesso la via più semplice per la stima dei parametri, particolarmente nel caso omogeneo.