🤖 machine learning

The Expressivity Boundary of Probabilistic Circuits: A Comparison with Large Language Models

Dit artikel identificeert en analyseert het expressiviteitskloof tussen Probabilistische Circuits en Groot Taalmodellen in autoregressieve taalmodellering, waarbij wordt aangetoond dat hoewel logit-ruimteparametrisatie en decomposeerbare architecturen specifieke knelpunten kunnen mitigeren, de vaste routeringsstructuur van gestructureerd-decomposeerbare PCs hun vermogen om heterogene afhankelijkheidstopologieën te modelleren fundamenteel beperkt in vergelijking met Transformers.

Oorspronkelijke auteurs: Zhiyu Zhao, Xuejie Liu, Muhan Zhang, Anji Liu

Gepubliceerd 2026-05-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhiyu Zhao, Xuejie Liu, Muhan Zhang, Anji Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert twee verschillende soorten robots te leren hoe ze het volgende woord in een zin moeten voorspellen. De ene robot is een Groot Taalmodel (LLM), zoals die moderne chatbots aandrijven. De andere is een Probabilistische Schakeling (PC), een type model dat bekend staat om zijn wiskundige "eerlijkheid" en het vermogen om exacte kansen te berekenen zonder te gokken.

Lange tijd heeft de LLM-robot gewonnen op het gebied van taalopgaven, terwijl de PC-robot het moeilijk had. Dit artikel vraagt zich af: Waarom is de PC-robot zo veel slechter in taal, terwijl hij theoretisch zeer krachtig is?

De auteurs ontdekten dat de PC-robot niet faalt omdat hij "dom" is. Hij faalt vanwege twee specifieke knelpunten (filevormingen) in hoe hij denkt en spreekt.

1. Het "Output-knelpunt": De verfmixer versus de laserprinter

Stel je de LLM voor als een laserprinter. Wanneer hij beslist welk woord hij als volgende moet zeggen, schiet hij een lijst met "scores" (logits) uit voor elk mogelijk woord in het woordenboek. Het maakt hem niet uit of de scores vreemde getallen zijn; hij print ze gewoon uit, en een laatste filter (Softmax) zet ze om in een scherp, helder beeld waarbij één woord fel oplicht en de rest vervaagt. Dit is perfect voor taal, waar de context meestal wijst naar één zeer specifiek woord.

De PC-robot daarentegen gedraagt zich als een verfmixer. Hij probeert het volgende woord te creëren door een paar vooraf gemaakte "basiskleuren" (kansverdelingen) te mengen.

Het probleem: Als je een zeer scherpe, specifieke kleur nodig hebt (zoals een felrood dat één enkel woord vertegenwoordigt), leidt het mengen van een paar basisverven in een emmer vaak tot een modderige, wazige kleur. Je kunt geen "scherpe" verdeling gemakkelijk maken door andere gewoon te middelen.
De oplossing: Het artikel toont aan dat als je de PC-robot toestaat om te stoppen met het mengen van verf in de emmer en in plaats daarvan "scores" uit te schieten zoals de laserprinter (werkend in "logit-ruimte" in plaats van "kansruimte"), hij plotseling veel beter wordt in taal. De kloof wordt aanzienlijk kleiner.

2. Het "Context-knelpunt": De vaste spoorrails versus de dynamische weg

Dit is het grotere probleem. Stel je voor dat de robot moet terugkijken naar de vorige woorden om het huidige woord te begrijpen.

De LLM (De dynamische weg): De LLM maakt gebruik van een mechanisme genaamd "Self-Attention". Stel je een GPS voor die direct een nieuwe weg kan tekenen die elke twee punten in de zin met elkaar verbindt, ongeacht hoe ver ze uit elkaar liggen. Als de zin is "De kat zat op het tapijt", kan de LLM direct een weg tekenen tussen "kat" en "tapijt", zelfs als er 50 woorden tussen staan. Het past zijn verbindingen aan op basis van wat de zin eigenlijk nodig heeft.
De PC (De vaste spoorrails): De PC-robot is gebouwd op een rigide structuur genaamd een vtree (een vaste boomdiagram). Stel je een treinsysteem voor waarbij de rails permanent zijn gelegd voordat de trein ooit rijdt.
- Als de zinsstructuur overeenkomt met de rails (bijvoorbeeld lokale woorden die verbinding maken met hun directe buren), rijdt de PC soepel en presteert hij bijna net zo goed als de LLM.
- Het probleem: Als de zin een verbinding vereist die de rails niet ondersteunen (bijvoorbeeld het op een specifieke manier verbinden van het eerste woord met het laatste woord), komt de PC vast te zitten. Hij kan niet omleiden. Het is alsof je probeert een auto te rijden op een spoorrail die de verkeerde kant op gaat.

Het artikel bewijst dat de PC theoretisch complexe verbindingen aankan, maar dat hij dit alleen kan doen als de "spoorrails" toevallig precies goed zijn gelegd voor die specifieke zin. Omdat echte taal rommelig is en voortdurend van structuur verandert, vormen de vaste rails van de PC een groot handicap.

Het "Super-PC"-idee

De auteurs testten ook een "Super-PC"-idee. Wat als we de PC-robot meerdere sets rails gaven en de beste voor elke zin lieten kiezen?

De theorie: Wiskundig is deze "losse" versie van de PC strikt krachtiger dan de rigide versie.
De realiteit: Hoewel het beter werkt in eenvoudige, kunstmatige tests, is het zeer moeilijk om deze flexibele modellen te trainen op real-world data. Het artikel concludeert dat we wel weten hoe we ze krachtiger kunnen maken, maar dat we nog niet hebben uitgevonden wat de beste manier is om ze effectief te leren.

Samenvatting

Het artikel concludeert dat Probabilistische Schakelingen niet "kapot" zijn, ze zijn gewoon niet geschikt voor taal:

Ze mengen verf in plaats van scores te printen: Het veranderen van hoe ze voorspellingen uitvoeren helpt veel.
Ze zitten vast op vaste rails: Ze kunnen woorden niet dynamisch verbinden zoals LLM's dat doen, wat hen schaadt wanneer de zinsstructuur complex wordt.

Als we het "verfmeng"-probleem kunnen oplossen en een manier vinden om flexibele "rails-wisselende" modellen te trainen, kunnen PC's eindelijk bij LLM's in halen op het gebied van taalopgaven, terwijl ze hun speciale vermogen behouden om exacte wiskunde te doen.

Technische Samenvatting: De Expressiviteitsgrens van Probabilistische Circuits

Probleemstelling

Probabilistische Circuits (PC's) zijn een klasse van diepe generatieve modellen die zich onderscheiden door hun vermogen om exacte en efficiënte probabilistische inferentie te ondersteunen (bijvoorbeeld marginalisatie en conditionering). Ondanks dit theoretische voordeel lopen PC's aanzienlijk achter op Transformer-gebaseerde Large Language Models (LLM's) bij autoregressieve taalmodelleringstaken. Hoewel eerdere werken de expressiviteit van PC's geïsoleerd hebben onderzocht of subklassen binnen de tractabele familie met elkaar hebben vergeleken, blijven de oorzaken van het prestatieverschil tussen tractabele PC's en dominante neurale sequentiemodellen onduidelijk. Dit artikel streeft ernaar de structurele knelpunten te identificeren die de expressiviteit van PC's beperken wanneer deze worden toegepast op taalmodellering.

Methodologie

De auteurs stellen een unificerend autoregressief raamwerk op om een directe, head-to-head vergelijking tussen PC's en LLM's mogelijk te maken. Beide modelklassen worden geformuleerd als context-geconditioneerde encoders die een prefix $x_{<t}$ afbeelden op voorspellende parameters $\theta_t$ voor de volgende token $X_t$ .

De analyse ontbindt de expressiviteitskloof in twee structurele knelpunten:

De Output-knoop: Onderzoek naar hoe interne representaties worden vertaald naar vocabulaireverdelingen. LLM's opereren in logit-ruimte (ongeachte vectoren genormaliseerd door softmax), terwijl standaard PC's opereren in waarschijnlijkheidsruimte (convexe combinaties van basisverdelingen).
De Context-encodering-knoop: Analyse van het vermogen van encoders om informatie over contextvariabelen te fuseren. LLM's gebruiken dynamische self-attention, terwijl gestructureerd-decomposabele PC's vertrouwen op vaste routingstructuren die worden gedefinieerd door een vtree (een binaire boom die variabele scope-splitsen regelt).

De studie maakt gebruik van een combinatie van theoretische bewijzen (met gebruik van het scheidingsgetal als complexiteitsmaat) en gecontroleerde empirische experimenten. De experimenten omvatten:

Het vergelijken van standaard Hidden Markov Models (HMM's, een PC-subklasse) en Transformers met gemodificeerde varianten: Logit-HMM (PC's met logit-ruimte output) en Prob-Transformer (Transformers met waarschijnlijkheidsruimte output).
Het evalueren van prestaties op synthetische datasets met gemanipuleerde afhankelijkheidstopologieën (lokaal versus inductiestijl) en real-world benchmarks (Penn Treebank, WikiText-103, UD-ATIS).
Het testen van de versoepeling van gestructureerde decomposabiliteit naar algemene decomposabiliteit om de impact van vaste routing te beoordelen.

Belangrijkste Bijdragen en Resultaten

1. De Output-mismatch

Het artikel toont aan dat het geometrische domein van de output-parametrisatie de prestaties aanzienlijk beïnvloedt.

Vondst: Natuurlijke taalverdelingen zijn vaak scherp (lage entropie). Het weergeven hiervan als convexe combinaties in waarschijnlijkheidsruimte (standaard PC's) legt strengere geometrische beperkingen op dan onbeperkte lineaire afbeeldingen in logit-ruimte (Transformers).
Bewijs: In gecontroleerde experimenten presteren Logit-HMM's (PC's die logit-ruimte outputs gebruiken) aanzienlijk beter dan standaard HMM's en verkleinen ze de kloof met Transformers. Omgekeerd verslechtert de prestatie van een Transformer wanneer deze wordt gedwongen waarschijnlijkheidsruimte outputs te gebruiken (Prob-Transformer).
Conclusie: Het aannemen van een logit-ruimte parametrisatie voor PC's verkleint de expressiviteitskloof aanzienlijk, wat suggereert dat de standaard beperking tot waarschijnlijkheidsruimte een primaire knelpunt is.

2. De Routing-mismatch (Context-encodering)

Het artikel analyseert het vermogen van gestructureerd-decomposabele PC's om afhankelijkheden te vangen met behulp van het scheidingsgetal.

Theoretisch Resultaat (Stelling 1): Gestructureerd-decomposabele PC's kunnen het scheidingsgetal van Transformers evenaren, maar alleen op partities van variabelen die zijn uitgelijnd met de vaste vtree van het circuit.
Empirisch Bewijs: Op synthetische datasets bereikt een PC Transformer-niveau prestaties wanneer de vtree-indeling overeenkomt met de afhankelijkheidstopologie van de data (bijvoorbeeld lokaal versus inductie). De prestaties verslechteren echter ernstig wanneer de indeling niet overeenkomt.
Generalisatie: Deze beperking is niet uniek voor PC's; Transformers met vaste attentiemaskers (die vaste routing simuleren) falen ook op data met gemengde topologieën waar een enkele vaste structuur niet gelijktijdig lokale en lange-afstandsafhankelijkheden kan vangen.
Conclusie: De rigiditeit van vaste routingstructuren is een fundamenteel knelpunt voor data met heterogene afhankelijkheidstopologieën.

3. Versoepeling van Gestructureerde Decomposabiliteit

De auteurs onderzoeken of de overstap van gestructureerd-decomposabele PC's (vaste vtree) naar algemene decomposabele PC's (flexibele routing) het probleem oplost.

Theoretisch Resultaat (Stelling 2): Decomposabele PC's zijn strikt expressiever dan gestructureerd-decomposabele; er bestaan functies die door decomposabele PC's met polynoomgrootte kunnen worden weergegeven, maar die exponentiële grootte vereisen in gestructureerd-decomposabele vorm.
Empirische Realiteit: Hoewel het fuseren van meerdere gestructureerde componenten (een mengsel van specialisten) de prestaties op synthetische data verbetert, nemen de winsten af op real-world datasets (PTB, UD-ATIS).
Conclusie: Hoewel de theoretische expressiviteitskloof duidelijk is, blijft het effectief optimaliseren en construeren van decomposabele PC's om dit voordeel te benutten op real-world verdelingen een open uitdaging.

Betekenis en Beweringen

Het artikel beweert dat de expressiviteitskloof tussen PC's en LLM's niet wordt gekarakteriseerd als een enkel falen, maar als een ontbinding in twee specifieke structurele mismatches:

Output-ruimte: De beperking van convexe combinaties in waarschijnlijkheidsruimte versus projecties in logit-ruimte.
Routing-flexibiliteit: De beperking van vaste vtree-structuren versus dynamische, input-afhankelijke routing.

De auteurs stellen dat deze bevindingen concrete richtingen bieden voor toekomstig werk:

Het verkennen van output-parametrisaties die verder gaan dan convexe combinaties in waarschijnlijkheidsruimte (bijvoorbeeld logit-ruimte) om scherpere verdelingen beter te modelleren.
Het ontwikkelen van leeralgoritmen die in staat zijn de bredere klasse van decomposabele PC's effectief te optimaliseren om het knelpunt van vaste routing te overwinnen.

Het artikel behoudt een bescheiden houding ten aanzien van de "context-encodering-knoop", met de opmerking dat hoewel theoretische grenzen zijn vastgesteld, de praktische realisatie van de voordelen van decomposabele PC's op complexe, real-world verdelingen nog niet volledig is bereikt. De analyse wordt voornamelijk gevalideerd op synthetische datasets met gecontroleerde topologieën en standaard benchmarks voor taalmodellering, met de erkenning dat de resultaten van het scheidingsgetal de expressiviteitskloof in het slechtste geval karakteriseren.