Folded Transport MCMC: Certifiable Quotient Posterior Computation for Symmetric Bayesian Models

Sintesi Tecnica: Folded Transport MCMC (FolT-MCMC)

1. Definizione del Problema

I modelli bayesiani che esibiscono scambiabilità finita — come i modelli di miscela con componenti scambiabili o i problemi di identificazione strutturale con modi ravvicinati — definiscono distribuzioni a posteriori invarianti rispetto a un gruppo di permutazioni delle etichette ($G$). Questa simmetria induce $m!$ (o generalmente $|G|$) modi a posteriori equivalenti, un fenomeno noto come label switching (scambio di etichette).

Gli approcci standard Markov Chain Monte Carlo (MCMC) che operano sull'intero spazio dei parametri etichettati affrontano due problemi critici:

1. Multimodalità Ridondante: La catena deve attraversare $|G|$ modi simmetrici, portando a un cattivo mixing e a diagnostiche di convergenza inaffidabili.
2. Certificazione Vacua: I certificati di convergenza basati su limiti del gap spettrale (ad esempio, tramite il framework LCNF) diventano vacui. Il rapporto di oscillazione della densità logaritmica viene gonfiato dal "gap tra i modi" (cross-mode gap) tra i modi simmetrici separati, causando il collasso dei limiti certificati inferiori sul gap spettrale verso lo zero, anche quando la catena effettua un buon mixing all'interno di un singolo modo.

Sebbene esistano metodi di relabeling post-hoc per recuperare i parametri identificabili, essi non affrontano le difficoltà di mixing sottostanti della catena né forniscono garanzie certificate di convergenza per il processo di campionamento stesso.

2. Metodologia: Folded Transport MCMC

Il documento introduce Folded Transport MCMC (FolT-MCMC), un framework che esegue l'inferenza direttamente sulla posteriora quoziente (la distribuzione sugli classi di equivalenza) piuttosto che sull'intero spazio etichettato.

Meccanismo Centrale:

• Target Quoziente: Il metodo definisce un dominio fondamentale $D$ (ad esempio, una camera ordinata per le permutazioni o un semispazio per le riflessioni) e una densità target ripiegata $\pi_F(z) = |G| \cdot \pi(z)$ per $z \in D$. Ciò elimina la multimodalità simmetrica, lasciando un singolo modo rappresentativo per orbita.
• Proposta Quoziente: Viene costruito un campionatore di indipendenza su $D$. La densità di proposta $q_F$ è formata simmetrizzando un normalizing flow appreso $T_F$ (addestrato su campioni ripiegati) sulle orbite del gruppo:
  $$q_F(z) = \sum_{g \in G} q_{T_F}(g \cdot z)$$
  Ciò garantisce che la proposta rispetti la simmetria pur essendo addestrata sulla struttura a singolo modo dello spazio quoziente.
• Campionamento: L'algoritmo esegue l'Independence Metropolis–Hastings (IMH) nel dominio fondamentale $D$ utilizzando la proposta quoziente.

Framework Teorico:
FolT-MCMC si integra con il framework di certificazione LCNF (Local Concentration and Normalizing Flow). Il documento dimostra che la certificazione basata sull'oscillazione LCNF si trasferisce alla metrica quoziente:

• Metrica Quoziente: Viene utilizzata una metrica $d_G(\theta, \theta') = \min_{g \in G} \|\theta - g \cdot \theta'\|$ per gestire gli argomenti di copertura vicino al confine del ripiegamento.
• Limiti Corretti per il Stabilizzatore: Il framework incorpora un limite di massa della balla corretto per lo stabilizzatore per tenere conto dei punti sul confine del ripiegamento dove l'azione del gruppo non è libera.
• Certificazione: Il metodo calcola un limite inferiore certificato del quantile-core ($QC_\gamma$) per il gap spettrale. Questo limite è computabile da campioni finiti e dai parametri della rete, fornendo una diagnostica rigorosa della stabilità del rapporto di densità sul core ad alta probabilità della posteriora.

3. Contributi Chiave

1. Framework della Posteriora Quoziente: Gli autori definiscono la target ripiegata $\pi_F$ e dimostrano un'identità esatta dell'HPD (Highest Posterior Density) ($K_\alpha^F = K_\alpha \cap D$). Costruiscono la proposta quoziente $q_F$ e mostrano che il pavimento di densità migliora di un fattore $|G|$, favorendo significativamente la copertura.
2. Certificazione nello Spazio Quoziente: Il documento stabilisce che il teorema dell'oscillazione empirica LCNF si trasferisce al contesto quoziente. I principali risultati teorici includono:
   • Il raggio di copertura $\varepsilon^*_F$ nello spazio quoziente è minore o uguale al raggio srotolato $\varepsilon^*_U$.
   • Il limite certificato inferiore migliora ogni volta che il flow srotolato presenta una "deficienza di proposta tra i modi" (ovvero, non riesce a coprire simultaneamente tutti i modi simmetrici).
3. Validazione Empirica: Esperimenti estesi dimostrano che FolT-MCMC produce certificati non vacui laddove i metodi srotolati falliscono.
   • Miscele Gaussiane: Su dimensioni $d=2$ a $20$, il certificato ripiegato rimane stabile ($QC_\gamma \in [0.90, 0.94]$), mentre il certificato srotolato collassa (ad esempio, a $0.016$ per $d=20$).
   • Label Switching: Per miscele con fino a $24$ modi equivalenti ($m=4$), il certificato ripiegato migliora di un fattore $145\times$ rispetto alla baseline srotolata.
   • Applicazione nel Mondo Reale: Applicato ai dati di accelerometri di un edificio super alto durante il tifone Mangkhut, FolT-MCMC ha prodotto un certificato non vacuo per un problema di identificazione a tre modi ravvicinati dove il certificato srotolato era vacuo.

4. Risultati e Prestazioni

• Indipendenza dalla Dimensione: Il certificato ripiegato è empiricamente quasi indipendente dalla dimensione. Al contrario, il certificato srotolato degrada rapidamente con la dimensione a causa della difficoltà dell'architettura di accoppiamento nel rappresentare strutture multimodali in alte dimensioni.
• Sensibilità al Numero di Modi: Il certificato srotolato è più sensibile al numero di modi simmetrici ($s = |G|$) che alla dimensione ambiente. L'aumento dei modi da 6 a 24 ha causato un degrado di $15\times$ nel certificato srotolato, mentre il raddoppio della dimensione (con modi fissi) ha causato solo un degrado di $2\times$.
• Confronto con le Baseline:
  • vs. Unfolded IMH: FolT-MCMC raggiunge alti tassi di accettazione e recupera i parametri reali, mentre le catene srotolate spesso si bloccano o non riescono a esplorare la posteriora.
  • vs. Random Permutation Sampler (RPS): Sebbene l'RPS possa recuperare stime puntuali corrette tramite permutazione post-hoc, non migliora la qualità della proposta sottostante (i tassi di accettazione rimangono bassi) e manca di un framework di certificazione compatibile. FolT-MCMC fornisce un certificato stretto e non vacuo che corrisponde agli effettivi campioni efficaci (ESS).
  • vs. Post-hoc Sorting: L'ordinamento dei campioni da una catena bloccata produce stime puntuali corrette ma non fornisce alcuna garanzia di convergenza. FolT-MCMC assicura che il campionatore esplori effettivamente la posteriora.

5. Significato e Rivendicazioni

Il documento sostiene che FolT-MCMC risolve la barriera fondamentale della convergenza certificabile nei modelli bayesiani simmetrici.

• Ripristino della Non-Vacuità: Il contributo primario è il ripristino dell'utilità dei certificati basati sull'oscillazione in presenza di multimodalità simmetrica. Ripiegando lo spazio, il metodo rimuove l'oscillazione tra i modi che rende vacui i certificati srotolati.
• Distinzione dalla Stima Puntuale: Gli autori sottolineano che, sebbene il relabeling post-hoc possa recuperare stime puntuali corrette sotto simmetria esatta, esso non può certificare che il campionatore sia convergito o che gli intervalli di credibilità siano validi. FolT-MCMC è necessario per l'inferenza della posteriora certificata.
• Principio di Design: Il documento identifica una regola di design critica: il confine del ripiegamento deve trovarsi in una valle a bassa densità tra i modi simmetrici. Se il confine attraversa regioni ad alta densità (come nel caso del diagnostico "banana"), il limite di oscillazione totale può aumentare, sebbene il certificato del quantile-core spesso migliori comunque.

Limitazioni Riconosciute:

• Il certificato si applica al core ad alta probabilità della posteriora, non al supporto completo (comportamento della coda). Le garanzie di gap spettrale a supporto completo per il transport MCMC con spazi di stato illimitati rimangono un problema aperto.
• Il metodo richiede la conoscenza esatta del gruppo di simmetria $G$ e del dominio fondamentale $D$.
• La somma delle orbite nella proposta scala con $|G|$, il che potrebbe richiedere approssimazioni per gruppi molto grandi (sebbene gestibile per $m \le 5$).

In sintesi, FolT-MCMC offre una soluzione geometrica allo scambio di etichette che trasforma un problema multimodale ridondante e difficile da certificare in un compito di inferenza unimodale e certificabile, colmando il divario tra le garanzie teoriche di convergenza e le prestazioni pratiche nei modelli bayesiani simmetrici.