How many unseen species are in multiple areas?

1. Il Problema

In ecologia e in altri campi (come la modellazione di argomenti, la genetica o l'analisi di errori nel codice), esiste un forte interesse nel descrivere la composizione delle specie e la biodiversità, specialmente quando si confrontano più aree geografiche.
Il problema centrale affrontato è la scoperta di specie non osservate in popolazioni eterogenee composte da due aree distinte.

• Limiti degli approcci esistenti: La letteratura statistica ha ampiamente trattato il caso di una singola popolazione omogenea (usando metodi come gli stimatori di Good-Turing o approcci Bayesiani non parametrici basati su processi di Dirichlet). Tuttavia, il caso di due o più aree è molto più complesso matematicamente.
• La sfida specifica: In un contesto a due aree, non basta stimare il numero totale di specie; è cruciale stimare le specie condivise (presenti in entrambe le aree) e le specie specifiche di ciascuna area. Gli approcci frequentisti esistenti si limitano spesso a previsioni "one-step-ahead" (per la prossima osservazione) o richiedono assunzioni asintotiche forti, senza fornire una teoria distributiva completa per campioni di dimensioni arbitrarie future.

2. Metodologia Proposta

Gli autori propongono un nuovo framework Bayesiano non parametrico basato sul Processo di Dirichlet Finito Vettoriale (Vec-FDP - Vector of Finite Dirichlet Process).

• Modello Statistico:

  • Si assume che le osservazioni provengano da due aree ($j=1, 2$) con distribuzioni di probabilità discrete $P_1$ e $P_2$.
  • Le distribuzioni sono modellate come miscele finite di atomi comuni: $P_j = \sum_{m=1}^M w_{j,m} \delta_{\tau_m}$.
  • Ipotesi chiave: Le due aree condividono lo stesso insieme di $M$ specie (atomi $\tau_m$), ma le proporzioni di abbondanza ($w_{j,m}$) possono variare tra le aree.
  • Il numero totale di specie $M$ è una variabile casuale finita (distribuita secondo una Poisson spostata, $M \sim \text{Pois}_1(\Lambda)$).
  • I pesi $w_j$ seguono distribuzioni Dirichlet simmetriche con parametri di omogeneità $\gamma_j$.

• Strumenti Teorici:

  • Viene derivata la pEPPF (partially Exchangeable Partition Probability Function), che descrive la probabilità di partizione dei dati osservati.
  • Si utilizzano coefficienti fattoriali generalizzati (centrali e non centrali) per ottenere espressioni analitiche chiuse.
  • Il modello permette di calcolare esattamente le distribuzioni posteriori per:
    1. Il numero di specie distinte locali ($K_{j,n_j}$).
    2. Il numero di specie distinte globali ($K_{n_1,n_2}$).
    3. Il numero di specie condivise ($S_{n_1,n_2}$).

• Previsione Out-of-Sample:

  • Il contributo principale è la capacità di prevedere il numero di nuove specie (locali, globali e condivise) in campioni aggiuntivi di dimensioni arbitrarie $m_1$ e $m_2$, andando oltre la semplice previsione "one-step-ahead".
  • Vengono forniti stimatori chiusi per la probabilità di scoprire nuove specie condivise in $m$ passi.

3. Contributi Chiave

1. Teoria Distributiva Chiusa: Per la prima volta, viene fornita una teoria distributiva esatta (senza approssimazioni computazionali costose come MCMC) per l'analisi in-sample e out-of-sample in scenari a due aree.
2. Previsione Multi-step: Estende la letteratura frequentista e bayesiana permettendo previsioni per campioni futuri di qualsiasi dimensione ($m_1, m_2$), non solo per la singola osservazione successiva.
3. Stimatori per Specie Condivise: Sviluppa stimatori per il numero di nuove specie condivise e per la copertura del campione (sample coverage) per le specie condivise, un problema trascurato nella letteratura precedente.
4. Strategie di Stima dei Parametri: Propone due strategie per stimare i parametri iperparametrici ($\gamma, \Lambda$):
   • Bayes I: Massima verosimiglianza marginale.
   • Bayes II: Basata su indici di diversità (Simpson e Morisita), computazionalmente più efficiente e robusta in caso di specificazione errata del modello.
5. Efficienza Computazionale: Grazie alle formule chiuse, la previsione può essere eseguita in meno di mezzo secondo, rendendo il metodo scalabile rispetto ai metodi basati su simulazione.

4. Risultati

Gli autori hanno validato il metodo attraverso:

• Studio di Simulazione:
  • Confronto con stimatori frequentisti (Yue & Clayton, Chao et al.) e modelli benchmark (Indipendente e Pooled).
  • I risultati mostrano che il metodo proposto (specialmente Bayes I e Bayes II) offre prestazioni competitive o superiori in termini di Errore Quadratico Medio (RMSE) per la previsione di nuove specie condivise e globali.
  • Il modello è robusto anche in scenari di specificazione errata (es. pesi Zipf vs Dirichlet) e in casi di campioni sbilanciati ($n_1 \ll n_2$), dove l'approccio congiunto "presta forza" (borrows strength) dall'area con più dati.
• Analisi su Dati Reali (Formiche a Trieste):
  • Applicazione su un dataset di formiche raccolte in due parchi di Trieste (Bosco Bovedo e Orto Lapidario).
  • Il modello ha permesso di valutare la probabilità di scoperta di nuove specie condivise in campioni futuri.
  • Le mappe di calore (heatmaps) generate per le previsioni $m$-step hanno dimostrato che, sebbene la probabilità di trovare una nuova specie in un singolo passo sia bassa (saturazione del campione), l'investimento in ulteriori campioni può essere quantificato per raggiungere una probabilità di scoperta desiderata.

5. Significato e Impatto

• Avanzamento Teorico: Colma un vuoto significativo nella letteratura sulla statistica non parametrica per popolazioni multiple, fornendo strumenti analitici esatti dove prima si facevano affidamento su metodi computazionali approssimati.
• Utilità Pratica: Offre agli ecologi e ai ricercatori uno strumento decisionale potente per la determinazione della dimensione del campione. Permette di rispondere alla domanda: "Quanti campioni aggiuntivi sono necessari per scoprire nuove specie condivise con una certa probabilità?", ottimizzando così tempo e risorse.
• Generalizzabilità: Sebbene il paper si concentri su due aree, la struttura teorica apre la strada a generalizzazioni per $d > 2$ aree (sebbene la complessità combinatoria aumenti esponenzialmente) e ad applicazioni in altri domini come la genetica e l'analisi testuale.

In sintesi, il paper presenta un metodo rigoroso, efficiente e pratico per l'analisi della biodiversità in contesti multi-area, superando i limiti delle previsioni a un passo e fornendo una visione completa della dinamica di scoperta delle specie condivise.