Separate Exchangeability as Modeling Principle in Bayesian Nonparametrics

Technische Samenvatting: Separate Uitwisselbaarheid als een Modelleringprincipe in de Bayesiaanse Nietparametrische Statistiek

Probleemstelling
Het artikel adresseert een hiaat in de Bayesiaanse nietparametrische (BNP) inferentie met betrekking tot de behandeling van data die gestructureerd zijn als rechthoekige arrays (matrices) bestaande uit twee verschillende typen experimentele eenheden (bijv. rijen en kolommen). Hoewel uitwisselbaarheid (invariantie onder alle permutaties) en gedeeltelijke uitwisselbaarheid (invariantie onder permutaties binnen specifieke groepen) goed gevestigde principes zijn, betogen de auteurs dat separate uitwisselbaarheid—invariantie onder onafhankelijke permutaties van rij- en kolomindices—vaak onderbenut wordt in de BNP-literatuur, ondanks het feit dat dit het natuurlijke modelleringsprincipe is voor dergelijke datastructuren.

Het kernprobleem ontstaat wanneer standaard BNP-modellen, met name die gebaseerd op afhankelijke discrete willekeurige maten (zoals het Afhankelijke Dirichlet-proces, DDP), gedeeltelijke uitwisselbaarheid induceren in plaats van separate uitwisselbaarheid. In scenario's waarin dezelfde experimentele eenheden (bijv. specifieke genen, eiwitten of OTU's) worden waargenomen over verschillende blokken heen (bijv. subjecten, tijdstippen of condities), legt gedeeltelijke uitwisselbaarheid een restrictieve symmetrie op: het staat het lenen van informatie toe met betrekking tot de distributie van clusters over groepen, maar faalt in het toestaan van het lenen van informatie met betrekking tot de specifieke realisatie van clusters. Bijvoorbeeld, onder gedeeltelijke uitwisselbaarheid betekent het observeren dat Eenheid A en Eenheid B samen in een cluster zitten in Groep 1, niet dat de waarschijnlijkheid toeneemt dat Eenheid A en Eenheid B samen in een cluster zitten in Groep 2, tenzij de waarschijnlijkheid dat A met elke andere eenheid clustert ook toeneemt. Dit negeert de structurele identiteit van de eenheden over de matrix heen.

Methodologie
De auteurs stellen een raamwerk voor om constructieve BNP-modellen te bouwen die expliciet separate uitwisselbaarheid afdwingen. Ze introduceren twee primaire klassen van modellen:

1. Separaat Uitwisselbare Geneste Partities:

   • Concept: De auteurs generaliseren geneste partitiemodellen (zoals het Nested Dirichlet Process, NDP) om separate uitwisselbaarheid te respecteren. In plaats van alleen de prior wet van partities over groepen te delen (zoals in NDP), deelt het voorgestelde model de realisatie van de partitie binnen clusters van groepen.
   • Constructie: Het model clustert eerst de kolommen (groepen) met behulp van een Exchangeable Partition Probability Function (EPPF). Binnen elk kolomcluster worden de rijen (experimentele eenheden) gepartitioneerd. Cruciaal is dat alle kolommen binnen een specifiek cluster exact dezelfde rij-partitie realisatie delen.
   • Implementatie: Ze stellen een "Separaat Uitwisselbaar NDP-CAM" voor (Nested Dirichlet Process met Common Atoms). Dit model gebruikt latente indicatoren om kolomclusters en geneste rijpartities te definiëren. Er wordt aangetoond dat het voldoet aan het Aldous-Hoover representatietheorema voor separaat uitwisselbare arrays.
   • Generalisatie: Het raamwerk staat toe de standaard Dirichlet-proces (DP) priors te vervangen door flexibelere Gibbs-type priors (bijv. Pitman-Yor Proces, Mixture of Finite Mixtures) voor zowel de kolompartitie als de rijpartitie, waarbij de computationele tractabiliteit behouden blijft via gegeneraliseerde Chinese Restaurant Processes (gCRP).

2. Separaat Uitwisselbare Nietparametrische Regressie:

   • Concept: De auteurs passen de Dependent Dirichlet Process (DDP) aan voor regressieproblemen waarbij twee sets experimentele eenheden betrokken zijn (bijv. eiwitten en subjecten).
   • Constructie: Ze modificeren de ANOVA DDP door additieve effecten te introduceren in de atomen van de willekeurige maat. Specifiek zijn de atomen gedefinieerd als lineaire predictoren die termen bevatten die specifiek zijn voor de rij-eenheid, termen specifiek voor de kolom-eenheid, en een globale term.
   • Formulering: Het model neemt aan $y_{i,j} \sim F_{(i,j)}$, waarbij de willekeurige maat $F_{(i,j)}$ atomen heeft gecentreerd rond $\beta_h + \xi_i + \eta_j$. Deze structuur zorgt ervoor dat de gezamenlijke wet invariant is onder aparte permutaties van $i$ en $j$.
   • Flexibiliteit: Vergelijkbaar met de partitiemodellen kunnen de priors voor de rij- en kolomeffecten worden gekozen uit Gibbs-type processen om een flexibele clustering van de regressiecoëfficiënten mogelijk te maken.

Belangrijkste Bijdragen

• Theoretische Verduidelijking: Het artikel herformuleert bestaande ad-hoc argumenten tegen bepaalde afhankelijke willekeurige partitiemodellen (bijv. Lee et al., 2013; Page et al., 2022) als consequenties van het schenden van separate uitwisselbaarheid. Het biedt een formele probabilistische rechtvaardiging waarom gedeeltelijke uitwisselbaarheid ongepast is wanneer dezelfde experimentele eenheden in meerdere groepen voorkomen.
• Modelconstructie: Het biedt de eerste systematische afleiding van de separaat uitwisselbare tegenhangers van veelgebruikte gedeeltelijk uitwisselbare BNP-modellen (specifiek NDP en DDP).
• Tractabiliteit: De auteurs tonen aan dat deze modellen analytisch en computationeel tractabel blijven. Ze leiden de geïmpliceerde Exchangeable Partition Probability Functions (EPPF) en Partial EPPFs (pEPPF) af, wat het gebruik van standaard Markov Chain Monte Carlo (MCMC) algoritmen (specifiek partially collapsed Gibbs sampling) mogelijk maakt.
• Informatie Delen (Borrowing of Strength): Het artikel verheldert de aard van het informatie delen: separate uitwisselbaarheid maakt het mogelijk om te leren over de specifieke co-clustering van eenheden in één groep om de co-clustering in een andere groep te informeren, een kenmerk dat afwezig is bij standaard gedeeltelijke uitwisselbaarheid.

Resultaten en Toepassingen
De auteurs illustreren de methodologie met behulp van twee echte datasets:

1. Microbioom Data (Diet Swap Study):

   • Data: Frequenties van 119 Operationele Taxonomische Eenheden (OTU's) over 38 subjecten.
   • Toepassing: Het model clustert subjecten op basis van hun microbioomprofielen terwijl het tegelijkertijd OTU's binnen die subjectclusters clustert.
   • Resultaat: Het model identificeerde succesvol subjectclusters die overeenkomen met geografische regio's (VS versus landelijk Afrika). Cruciaal is dat, in tegenstelling tot modellen met gedeeltelijke uitwisselbaarheid, het zinvolle inferentie bood op de co-clustering van specifieke OTU's binnen subjectclusters, waarbij de identiteit van de OTU's over de subjecten heen werd gerespecteerd.

2. Eiwitexpressie Data (Ataxia Studie):

   • Data: Abundantie van ~3,990 eiwitten over 32 subjecten (16 controles, 16 patiënten) gemeten op verschillende leeftijden.
   • Toepassing: Een nietparametrisch regressiemodel werd gebruikt om eiwit-specifieke hellingsverschillen ($\gamma_i$) in expressietrajecten over de leeftijd tussen gevallen en controles te identificeren.
   • Resultaat: Het model schatte de eiwit-specifieke hellingsverschillen en rangschikte eiwitten op basis van de grootte van deze verschillen. De aanpak identificeerde succesvol de hoogst gerangschikte eiwitten die geassocieerd zijn met de ziekte, wat het nut van separate uitwisselbaarheid aantoont bij het verwerken van complexe, multidimensionale experimentele ontwerpen met ontbrekende data.

Betekenis en Claims
Het artikel stelt dat separate uitwisselbaarheid een superieur modelleringsprincipe is voor matrix-gestructureerde data waarbij experimentele eenheden hun identiteit behouden over verschillende condities heen. De auteurs claimen dat:

1. Getrouwheid aan het Ontwerp: Separate uitwisselbaarheid de experimentele opzet getrouwer weergeeft dan gedeeltelijke uitwisselbaarheid, die vaak structurele informatie van de designmatrix wegwerpt.
2. Noodzaak voor Specifieke Inferentie: Bepaalde inferentiële doelen, zoals bepalen of specifieke eenheden (bijv. OTU 1 en OTU 2) samen in een cluster zitten in meerdere groepen, kunnen niet coherent geformuleerd of uitgevoerd worden zonder separate uitwelsbaarheid.
3. Praktische Haalbaarheid: De voorgestelde modellen zijn niet louter theoretische constructen, maar zijn computationeel haalbaar en bieden flexibele alternatieven voor bestaande BNP-instrumenten, waarbij het vermogen om inferentie uit te voeren behouden blijft terwijl de specifieke symmetrieën van de data worden gerespecteerd.

De auteurs concluderen dat zorgvuldige overweging van de experimentele opzet vaak noodzaakt om verder te gaan dan "omnibus" uitwisselbaarheid of standaard gedeeltelijke uitwisselbaarheid naar meer specifieke symmetrie-aannames zoals separate uitwisselbaarheid.