🤖 machine learning

Composing Non-Conjugate Factor Graphs with Closed-Form Variational Inference

Dit artikel toont aan dat gesloten-vorm variational inference kan worden behouden in diepe probabilistische architecturen door het combineren van vijf specifieke factorgrafische primitieven, waardoor de constructie van universele functiebenaderaars zoals beslisbomen en Bayesiaanse mixtures of experts met gekalibreerde onzekerheid mogelijk wordt zonder dat er geleerde gating-parameters nodig zijn.

Oorspronkelijke auteurs: Mykola Lukashchuk, Kyrylo Yemets, Wouter M. Kouw, Dmitry Bagaev, żsmail Şenöz, Jeff Beck, Bert de Vries

Gepubliceerd 2026-05-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mykola Lukashchuk, Kyrylo Yemets, Wouter M. Kouw, Dmitry Bagaev, żsmail Şenöz, Jeff Beck, Bert de Vries

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je het weer probeert te voorspellen. Je hebt een team van zeven verschillende weersvoorspellers: één is geweldig in het opsporen van regen, een ander is een tovenaar in het voorspellen van hittegolven, en een derde is uitstekend in het raden van windsnelheden.

In de oude manier om dit te doen (standaard machine learning) zou je zeven allemaal om hun mening vragen, ze vaste gewichten geven (bijvoorbeeld: "Regenman krijgt 20% van de stemmen, Hitteman krijgt 10%"), en hun antwoorden middelen. Het probleem? Soms is "Regenman" eigenlijk vreselijk in het voorspellen van hittegolven, maar het systeem weet niet dat het moet stoppen met naar hem te luisteren. Het behandelt zijn vertrouwen als een vast feit, niet als een gevoel dat verandert met de situatie.

Dit artikel stelt een nieuwe manier voor om een "super-voorspeller"-team te bouwen dat slimmer, flexibeler is en – het allerbelangrijkste – weet wanneer het aan het raden is.

Het Probleem: De "Black Box"-Valstrik

Meestal, wanneer je lagen van slimme componenten stapelt om een dieper, complexer systeem te maken, breek je de wiskunde. De vergelijkingen worden zo rommelig dat computers ze niet exact kunnen oplossen. Ze moeten het antwoord raden met behulp van trial-and-error-methoden (zoals sampling of black-box optimalisatie). Dit is snel maar vaak onnauwkeurig, en het vertelt je niet hoe zeker het systeem is over zijn antwoord.

De Oplossing: Een Lego-set voor Probabilistische Modellen

De auteurs ontdekten een speciale set van vijf Lego-blokjes (wiskundige bouwstenen) die in elke volgorde aan elkaar geklikt kunnen worden om diepe, complexe modellen te bouwen. De magische truc is dat, ongeacht hoe je ze stapelt, de wiskunde simpel genoeg blijft om exact op te lossen.

Hier zijn de vijf blokjes:

De Softdot: Een basisrekenmachine die invoer mengt (zoals het mengen van ingrediënten).
De Exponentiële Link: Een schakelaar die een getal omzet in een "vertrouwensscore" (het zorgt ervoor dat de score altijd positief is).
De Gamma Prior: Een regel die zegt: "We verwachten dat deze vertrouwensscore ergens in dit bereik ligt."
De Gaussian Likelihood: Een standaard klokkromme-regel voor hoe waarschijnlijk een waarneming is.
De Equality Node: Een lijm die zegt: "Deze twee verschillende draden moeten exact dezelfde waarde dragen."

Hoe Het Werkt: Het "Slimme Gating"-Systeem

Het artikel laat zien hoe je deze blokjes kunt gebruiken om een systeem te bouwen dat werkt als een verkeersleider.

Diepte 0 (Statisch): Stel je een comité voor waar iedereen een vaste stoel heeft. Het systeem leert wie over het algemeen goed is, maar het verandert niet op basis van het weer.
Diepte 1 (Dynamisch): Nu kijkt het systeem naar de huidige invoer (bijvoorbeeld: "Het regent zwaar"). Het heeft een "poort" die zegt: "Oké, voor deze specifieke situatie, laten we Regenman 90% vertrouwen en de anderen negeren." Cruciaal is dat het systeem niet zomaar een winnaar kiest; het berekent een kansverdeling voor wie vertrouwd moet worden. Het weet hoe zeker het is over die beslissing.
Diepte 2 (Split-Branch Routing): Dit is de diepe magie. Het systeem bouwt een beslissingsboom. Het vraagt: "Regent het?" Zo ja, ga naar links. "Waait het?" Zo ja, ga naar rechts. Het kan complexe, vertakkende paden creëren om lastige situaties aan te pakken (zoals een "XOR"-probleem, waarbij het antwoord afhangt van een specifieke combinatie van factoren).

De "Compiler"-Analogie

Bekijk dit kader als een programmeertaal:

Het Alfabet: De vijf Lego-blokjes.
De Grammatica: De regels voor hoe je ze aan elkaar kunt klikken.
De Runtime: De computer-engine die automatisch de wiskunde uitzoekt.

In de meeste probabilistische programmering moet je, als je een complex model schrijft, handmatig de wiskundige vergelijkingen afleiden voor hoe je het moet oplossen. Het is alsof je een programma schrijft en vervolgens elke keer de compiler voor dat programma handmatig moet schrijven.

In dit artikel hebben de auteurs een universele compiler gebouwd. Je klikt gewoon de blokjes aan elkaar, en de "Bethe Free Energy" (een chique wiskundige objectieve functie) genereert automatisch de exacte vergelijkingen die nodig zijn om het model op te lossen. Je hoeft geen wiskundig genie te zijn om de updates af te leiden; het systeem doet het voor je.

Het Resultaat: Gecalibreerde Onzekerheid

De grootste winst is onzekerheid.

Oude Manier: Een neurale netwerk kan zeggen: "Ik voorspel 25°C", maar het weet niet of het aan het raden is of dat het 100% zeker is.
Deze Manier: Het systeem zegt: "Ik voorspel 25°C, maar ik ben maar 60% zeker omdat de data raar is." Het geeft je een "betrouwbaarheidsinterval" dat wiskundig gegarandeerd correct is op basis van de modelstructuur.

Real-world Test: Tijdreeksvoorspelling

De auteurs testten dit op het voorspellen van tijdreeksdata (zoals elektriciteitsverbruik of beurskoersen). Ze combineerden zeven verschillende AI-modellen (sommigen goed in trends, anderen in seizoensinvloeden).

Hun systeem leerde dynamisch te schakelen tussen experts op basis van de data.
Het bood betere nauwkeurigheid dan standaard "Mixture of Experts"-modellen.
Het allerbelangrijkste: het bood betrouwbare onzekerheidsschattingen. Terwijl standaardmodellen vaak "oververzekerd" werden (beweren zeker te zijn terwijl ze fout zaten), gaf dit systeem correct het signaal wanneer het niet zeker was.

Samenvatting

Dit artikel geeft ons een nieuwe manier om diepe, complexe AI-modellen te bouwen die:

Samenstellbaar zijn: Je kunt ze zo hoog stapelen als je wilt.
Exact zijn: De wiskunde wordt exact opgelost, niet geraden.
Zelfbewust zijn: Het model weet wanneer het onzeker is, en biedt een "gecalibreerd" gevoel van vertrouwen.

Het is alsof je upgradet van een stijve, op regels gebaseerde robot naar een flexibel, zelfreflecterend team van experts dat precies weet wanneer het wie moet vertrouwen.

Technische Samenvatting: Het Opstellen van Niet-Geconjugeerde Factorgrafieken met Gesloten-Vorm Variatie-inferentie

Probleemstelling
Probabilistische modellering vereist vaak hiërarchische architecturen om complexe afhankelijkheden vast te leggen, zoals input-afhankelijke betrouwbaarheid van experts of routeringsmechanismen in ensemblevoorspelling. Het stapelen van probabilistische bouwstenen in diepere architecturen breekt echter doorgaans de eigenschap van gesloten-vorm inferentie. Standaardbenaderingen om niet-geconjugeerdheid te hanteren, vertrouwen op black-box inferentiemethoden (bijvoorbeeld Markov-chain Monte Carlo, geamortiseerde variatie-auto-encoders of normaliserende flows), die de inferentieprocedure leren of bemonsteren, maar analytische hanteerbaarheid opofferen. De auteurs vragen zich af of probabilistische modellen hiërarchisch kunnen worden samengesteld terwijl gesloten-vorm inferentie behouden blijft, waardoor de behoefte aan benaderende of op bemonstering gebaseerde inferentieprocedures wordt vermeden.

Methodologie
Het artikel stelt een compositief kader voor op basis van Forney-stijl factorgrafieken (FFG) en variatie-berichtdoorgeven (VMP). De kernbijdrage is de identificatie van een eindig "alfabet" van vijf probabilistische factoren die, wanneer samengesteld, gesloten-vorm updates behouden onder gemiddeld-veld factorisatiebeperkingen.

Het Alfabet: De auteurs definiëren vijf factor-grafiekprimitieven:
- Softdot (Bilineair): $f_*(z | w, \phi, \tau) = \mathcal{N}(z | w^\top\phi, \tau^{-1})$
- Exponentiële Link: $f_{exp}(\gamma | z) = \delta(\gamma - \exp(z))$
- Gamma-prior: $f_G(\gamma | \alpha, \beta) = \mathcal{G}(\gamma | \alpha, \beta)$
- Gaussische Likelihood: $f_N(y | \mu, \tau) = \mathcal{N}(y | \mu, \tau^{-1})$
- Gelijkheidsknooppunt: $f_=(x_1, x_2, x_3) = \delta(x_1 - x_2)\delta(x_1 - x_3)$
Compositie en Grammatica:
- Diepte 0 (Statisch Ensemble): Een eenvoudige combinatie van experts met vaste precisies.
- Diepte 1 (Precisie-gestuurde Experts): Introduceert een herbruikbaar "woord" (het precisiewoord $\pi$ ) samengesteld uit een softdot en een exponentiële link. Hierdoor kan de precisie van een expert een geleerde functie van inputkenmerken zijn, in plaats van een vaste constante.
- Diepte 2 (Split-branch Routering): Stelt meerdere precisiewoorden samen met tegenstrijdige schakelaars om stuksgewijs lineaire precisiefuncties te creëren. Het stapelen van deze lagen stelt het model in staat willekeurige binaire beslissingsbomen te coderen, waarbij de inputruimte wordt gepartitioneerd in gebieden waar verschillende experts actief zijn.
Runtime en Inferentie:
- Het inferentie-algoritme wordt niet voorgeschreven, maar ontstaat uit de modelspecificatie via minimalisatie van de Bethe-vrije energie (BFE).
- Type Berichten: Het kader maakt gebruik van een hybride aanpak. Voor niet-deterministische factoren (softdot, Gamma, Normaal) wordt Variatie-berichtdoorgeven (VMP) gebruikt onder gemiddeld-veldbeperkingen. Voor deterministische factoren (Gelijkheidsknooppunt en Exponentiële Link) is Belief Propagation (BP) vereist, omdat gemiddeld-veld factorisatie zou leiden tot degeneratie.
- Q-Geconjugeerdheid: Een belangrijk theoretisch resultaat is dat, ondanks de niet-geconjugeerde aard van de exponentiële link, de berichten hanteerbaar blijven. De exponentiële link transformeert een Gaussisch bericht over de latente variabele $z$ in een log-normaal bericht over de precisie $\gamma$ , en vice versa (log-gamma). Door vormbeperkingen op te leggen (Gaussisch voor $z$ , Gamma voor $\gamma$ ) en gebruik te maken van de momentgenererende functie van de Gaussische verdeling en toereikende statistieken van de Gamma-familie, leiden de auteurs gesloten-vorm vaste-puntvergelijkingen af voor de marginale posterieuren. Dit garandeert dat alle berichtberekeningen en marginale updates analytisch zijn, zonder numerieke integratie of bemonstering.

Belangrijkste Bijdragen

Gesloten-Vorm Compositie-inferentie: De auteurs bewijzen dat elk model samengesteld uit het alfabet van vijf letters gesloten-vorm variatie-berichtdoorgeven toestaat. De set is gesloten onder Q-geconjugeerde updates, wat betekent dat de parametrische vorm van berichten (Gaussisch of Gamma) door de hele grafiek behouden blijft, zelfs over de niet-geconjugeerde exponentiële link heen.
Universele Functiebenadering: Het artikel toont aan dat het stapelen van split-branch routeringslagen willekeurige beslissingsbomen codeert. In de limiet van scherpe routering (hoge precisie) benadert de posterieure mean van de output elke continue functie op een compact domein, waardoor universele benaderingscapaciteiten worden vastgesteld terwijl gesloten-vorm inferentie behouden blijft.
Bayesiaanse Mixtuur van Experts: Het kader wordt toegepast op ensemble-tijdreeksvoorspelling, wat resulteert in een Bayesiaanse mixtuur van experts waarbij gatingfuncties worden afgeleid in plaats van geleerd via gradiëntafdaal. Dit biedt gekalibreerde onzekerheid over expertselectie.

Resultaten
Het kader werd geëvalueerd op vijf benchmark-tijdreeksdatasets (ETTh1, ETTh2, Wisselkoers, Elektriciteit, Verkeer) met behulp van een ensemble van zeven diverse voorspellers (waaronder CNN, LSTM, DLinear en quantile-predictors).

Prestatie: De variant "Noisy Diagonal" (die meningsverschil tussen voorspellers scheidt van irreduceerbare ruis en diagonale covariantiebeperkingen gebruikt) boekte de beste afweging tussen nauwkeurigheid (MSE), kalibratie (Negatieve Log-Likelihood, NLL) en parameter-efficiëntie.
Kalibratie: In tegenstelling tot op softmax gebaseerde Mixtuur-van-Experts (MoE) baselines, die vaak niet-eindige NLL-waarden produceerden (wat wijst op slechte kalibratie of oververtrouwen), bood het voorgestelde kader goed gekalibreerde predictieve verdelingen. De onzekerheidsschattingen vatten routeringsambiguïteit natuurlijk samen, waarbij de posterieure standaardafwijkingen zich concentreerden bij beslissingsgrenzen in regimes met scherpe routering.
Efficiëntie: De diagonale varianten verlaagden het aantal parameters aanzienlijk (bijvoorbeeld van ~15.000 naar ~950 voor de Wisselkoers-dataset) terwijl ze concurrerende of superieure prestaties behielden in vergelijking met full-covariantie en diepe neurale baselines.

Betekenis en Claims
Het artikel claimt de kloof te dichten tussen de modulariteit van deep learning en de analytische strengheid van probabilistische inferentie. Door het alfabet van factoren te behandelen als een taal en de Bethe-vrije energie als een compiler, stellen de auteurs de constructie van diepe, hiërarchische probabilistische modellen mogelijk zonder nieuwe afleidingen voor elke architectuur te vereisen.

Bescheidenheid: De auteurs erkennen dat het alfabet een specifiek subset van operaties is (vermenigvuldiging, exponentiatie, optelling) en dat puur lineair-Gaussische alfabetten geen universele benadering kunnen bereiken; de exponentiële link is essentieel voor deze expressiviteit.
Implicatie: Het werk stelt vast dat gesloten-vorm inferentie niet wederzijds uitsluitend is met diepe, niet-geconjugeerde architecturen. Het biedt een principiële alternatief voor black-box inferentiemethoden, waarbij marginale posterieure verdelingen en gekalibreerde onzekerheid "gratis" worden geleverd als directe output van het inferentie-algoritme, in plaats van als een add-on of benadering.