Joint Bayesian Parameter and Model Order Estimation for Low-Rank Probability Mass Tensors

Technische Samenvatting: Gezamenlijke Bayesiaanse Parameter- en Modelorde-schatting voor Low-Rank Waarschijnlijkheidsmassa-tensoren

Probleemstelling
In de statistische signaalverwerking en machine learning is het verkrijgen van een betrouwbare schatting van de gezamenlijke kansmassa-functie (PMF) van een set discrete willekeurige variabelen een fundamentele uitdaging. Hoewel de gezamenlijke PMF gerepresenteerd kan worden als een $N$-dimensionale tensor, lijdt directe schatting via histogrammethoden aan de "vloek van dimensionaliteit", waarbij een exponentieel aantal observaties nodig is naarmate het aantal variabelen toeneemt.

Recente benaderingen modelleren de gezamenlijke PMF als een low-rank Canonical Polyadic Decomposition (CPD), wat een link legt met latente variabele modellen zoals het Naïve Bayes-model. Echter, bestaande CPD-gebaseerde schattingsalgoritmen (bijv. maximum likelihood of gekoppelde tensorfactorisatie) vereisen dat de tensorrang (modelorde) vooraf wordt gespecificeerd. In de praktijk is de ware rang onbekend. Huidige oplossingen omvatten het selecteren van een rang uit een kandidaatset met behulp van kruisvalidatie (CV) of informatiecriteria (AIC, BIC, DNML). Deze procedures zijn computationeel duur, omdat ze meerdere trainingsruns vereisen, en lopen het risico op model-misspecificatie als de ware rang niet in de kandidaatset is opgenomen.

Methodologie
Het artikel stelt een nieuw Bayesiaans kader voor, genaamd VB-PMF (Variational Bayesian PMF), dat zowel de low-rank componenten van een gezamenlijke PMF-tensor schat als de rang ervan direct afleidt uit de geobserveerde data, waardoor kruisvalidatie overbodig wordt.

1. Bayesiaanse Modelspecificatie:

   • De gezamenlijke PMF wordt gemodelleerd als een CPD waarbij de laadvector $\lambda$ de voorafgaande kansen van latente toestanden representeert en de factor-matrices $A_n$ de conditionele PMF's representeren.
   • Om de kans-simplex restricties (niet-negativiteit en som gelijk aan één) af te dwingen, kennen de auteurs Dirichlet-priors toe aan de laadvector $\lambda$ en de kolommen van de factor-matrices.
   • Cruciaal is dat een sparsity-promotende Dirichlet-prior wordt opgelegd aan de laadvector door de hyperparameter $\alpha_\lambda$ op een kleine waarde te zetten (bijv. $10^{-6}$). Dit stimuleert de posterior distributie om massa te concentreren op een beperkt aantal componenten, wat effectief irrelevante rank-één termen identificeert en wegfiltert.

2. Variational Inference (VI) Oplossing:

   • Omdat exacte Bayesiaanse inferentie computationeel onhandelbaar is vanwege hoog-dimensionale integratie, maken de auteurs gebruik van Variational Inference.
   • Een mean-field benadering wordt gebruikt, waarbij wordt aangenomen dat de posterior distributie factoriseert in onafhankelijke distributies voor de latente variabelen ($Z$), de laadvector ($\lambda$) en de factor-matrices ($A_n$).
   • Het algoritme werkt iteratief de variational parameters bij om de Evidence Lower Bound (ELBO) te maximaliseren. Dit levert gesloten vorm update-vergelijkingen op voor alle posterior distributies, wat zorgt voor deterministische convergentie zonder de noodzaak van sampling (in tegenstelling tot MCMC-methoden).

3. Automatische Rangdetectie:

   • De rang wordt automatisch afgeleid na convergentie. Componenten met geschatte gewichten ($\hat{\lambda}_r$) onder een afgeleide pruning-drempel ($\alpha_\lambda / T$, waarbij $T$ de datasetgrootte is) worden als irrelevant beschouwd en verwijderd.
   • Het algoritme wordt geïnitialiseerd met een rang $R$ die groter dan of gelijk aan de ware rang is (bijv. voldoend aan de Kruskal uniciteitscondities). De sparsity-promotende prior zorgt ervoor dat overbodige componenten naar verwaarloosbare waarden convergeren en worden gepruned, waardoor alleen de significante latente componenten overblijven.

Belangrijkste Bijdragen

• Verenigd Bayesiaans Kader: Het artikel introduceert een methode om zowel de parameters als de rang van een gezamenlijke PMF-tensor te schatten in één enkele trainingsrun, waardoor de computationele kosten van kruisvalidatie of grid search worden vermeden.
• Sparsity-gestuurde Ranginferentie: Door gebruik te maken van de eigenschappen van de Dirichlet-distributie identificeert de methode automatisch de correcte modelorde via posterior pruning, waardoor handmatige thresholding of modelselectie niet langer nodig is.
• Efficiënt Deterministisch Algoritme: De afleiding van een Variational Inference oplossing biedt closed-form updates en deterministische convergentie, wat een computationeel efficiënter alternatief biedt voor sampling-gebaseerde Bayesiaanse methoden (MCMC) en iteratieve likelihood-gebaseerde strategieën die meerdere rang-proeven vereisen.
• Robuustheid tegen Ontbrekende Data: Het kader gaat op natuurlijke wijze om met ontbrekende observaties (outage probabilities) door te marginaliseren over niet-geobserveerde variabelen binnen de likelihood functie.

Experimentele Resultaten
De auteurs valideren de methode met behulp van synthetische data en real-world datasets (UCI classificatie-taken en MovieLens 10M aanbevelingsdata).

• Synthetische Data:

  • Rang Consistentie: Naarmate het aantal observaties toeneemt, convergeert VB-PMF consistent naar de ware tensorrang, wat de statistische consistentie aantoont.
  • Nauwkeurigheid: VB-PMF bereikt een Mean Kullback-Leibler Divergence (KLD) en Mean Squared Relative Error (MSRE) die vergelijkbaar met of beter zijn dan state-of-the-art methoden (SQ-AIC, SQ-BIC, SQ-DNML, CTF en Tensor Networks), met name in scenario's met ontbrekende data.
  • Efficiëntie: De runtime van VB-PMF is aanzienlijk lager dan methoden die kruisvalidatie vereisen (bijv. CTF-ValErr, SQ-AIC) omdat het slechts één enkele training run vereist, ongeacht de initiële rang-instelling.
  • Hyperparameter Sensitiviteit: De methode is robuust tegen de keuze van de initiële rang (mits deze voldoende groot is) en de hyperparameter $\alpha_\lambda$, mits $\alpha_\lambda$ klein genoeg is ingesteld om sparsity te bevorderen.

• Real-World Applicaties:

  • Classificatie: Op vijf UCI datasets behaalde VB-PMF een classificatie-accuratesse en F1-scores die vergelijkbaar zijn met Random Forests (een sterke discriminatieve benchmark) en presteerde het beter dan andere PMF-gebaseerde benaderingen. Het model bood interpreteerbare inzichten in latente stemblokken in de Congressional Voting dataset, die discriminatieve modellen niet kunnen onthullen.
  • Aanbeveling: Op de MovieLens 10M dataset (voorspellen van filmratings) behaalde VB-PMF een RMSE en MAE die vergelijkbaar zijn met Coupled Tensor Factorization (CTF3D) en aanzienlijk beter dan Biased Matrix Factorization (BMF), met een runtime die ongeveer 10 keer sneller is dan CTF3D.

Betekenis en Claims
Het artikel claimt dat het voorgestelde VB-PMF framework een significante vooruitgang biedt ten opzichte van bestaande PMF-schattingstechnieken door parameter-schatting en modelorde-selectie te verenigen. De primaire betekenis ligt in:

1. Eliminatie van Kruisvalidatie: Het verwijdert de computationele bottleneck van het selecteren van een rang via CV of informatiecriteria, wat het haalbaar maakt voor grootschalige datasets.
2. Interpreteerbaarheid: Door de volledige gezamenlijke PMF te schatten via low-rank componenten, biedt het model een interpreteerbare representatie van de datastructuur (bijv. latente klassen in classificatie) die puur discriminatieve modellen missen.
3. Computationele Efficiëntie: De variational benadering biedt een deterministische, closed-form oplossing die sneller is dan zowel sampling-gebaseerde Bayesiaanse inferentie als iteratieve rang-selectiestrategieën.

De auteurs concluderen dat VB-PMF een robuuste, efficiënte en nauwkeurige oplossing biedt voor gezamenlijke PMF-schatting, met name in scenario's met hoog-dimensionale discrete data en ontbrekende observaties, zonder de noodzaak voor handmatige modeltuning.