🤖 machine learning

Generative Modeling of Discrete Latent Structures via Dynamic Policy Gradients

Dit artikel introduceert GReinSS, een framework voor beleidsleren dat gebruikmaakt van dynamisch geschaalde beloningen om combinatorische mechanistische latente toestanden nauwkeurig af te leiden uit indirecte observaties, waarmee het bestaande methoden overtreft in zowel synthetische benchmarks als de reconstructie van RNA-isovormen in de echte wereld.

Oorspronkelijke auteurs: Stefan Ivanovic, Ge Liu, Mohammed El-Kebir

Gepubliceerd 2026-06-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Stefan Ivanovic, Ge Liu, Mohammed El-Kebir

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Grote Visie: Een Mysterie Oplossen Zonder de Aanwijzingen te Zien

Stel je voor dat je een detective bent die een misdaad probeert op te lossen. Je ziet de crimineel (de latente staat) of de plaats delict niet direct. In plaats daarvan heb je alleen een stapel vage, indirecte aanwijzingen achtergelaten, zoals een modderige voetafdruk of een gescheurd stuk stof (de indirecte observaties).

Je doel is om precies te achterhalen hoe de crimineel eruitzag en wat hij heeft gedaan, uitsluitend op basis van deze aanwijzingen.

In de wetenschappelijke wereld gebeurt dit voortdurend. Wetenschappers hebben data (zoals RNA-fragmenten van een cel), maar moeten de verborgen biologische structuren (zoals de volledige vorm van een eiwit) achterhalen die die data hebben gecreëerd.

Het Probleem: De "Te Veel Opties" Valstrik

Het paper stelt dat oude manieren om deze mysteries op te lossen twee belangrijke gebreken hebben:

De "Raad en Controleer" Methode (Klassieke Statistiek): Stel je voor dat je een specifieke naald in een hooiberg probeert te vinden, maar de hooiberg is zo groot als een stad. Traditionele wiskundige methoden proberen elk enkel stukje hooi te controleren. Wanneer het aantal mogelijkheden enorm groot is (combinatorisch groot), duurt dit eeuwig en loopt de computer vast.
De "Nep Aanwijzingen" Methode (Standaard AI): Moderne AI (zoals Variational Autoencoders) is geweldig in het vinden van patronen, maar verzint vaak eigen "nep" latente staten. Het is als een detective die de modderige voetafdrukken negeert en in plaats daarvan een nepverdachte creëert die er weliswaar uitziet alsof hij in het verhaal past, ook al is hij niet de echte crimineel. De AI vindt een wiskundige match, maar reconstrueert niet de werkelijke grondwaarheid.

De Oplossing: GReinSS (De Slimme Detective met een Dynamische Scorekaart)

De auteurs introduceren GReinSS (Generative Reinforcement Learning of Structured States). Denk aan GReinSS als een detective die een videogame-strategie gebruikt om de zaak op te lossen.

Zo werkt het, stap voor stap:

1. De Detective Speelt een Spel (Policy Learning)

In plaats van elke mogelijkheid te controleren, leert de detective (de AI) om het spel van het genereren van verdachten te "spelen". Het bouwt een verdachte stukje voor stukje op (zoals het toevoegen van een hoed, dan een jas, dan een masker). Dit wordt een policy genoemd.

2. De Dynamische Scorekaart (Het Geheime Ingrediënt)

In een normale videogame krijg je punten als je een doel raakt. Als je het doel raakt, krijg je een beloning.

De Oude Manier: Als één verdachte de aanwijzingen perfect verklaart, zou de AI die ene specifieke verdachte steeds opnieuw en steeds opnieuw genereren. Het negeert andere mogelijkheden die ook gedeeltelijk waar kunnen zijn.
De GReinSS Manier: De auteurs hebben een dynamisch beloningssysteem uitgevonden. Stel je een scorekaart voor waarvan de regels veranderen terwijl het spel wordt gespeeld.
- Als de AI een verdachte genereert die alle aanwijzingen goed verklaart, krijgt het een enorme beloning.
- Maar hier komt de truc: de beloning wordt geschaald. Als de AI te goed wordt in het verklaren van slechts één specifieke aanwijzing, gaat de beloning voor die aanwijzing omlaag, en de beloning voor het verklaren van de andere aanwijzingen gaat omhoog.

Dit dwingt de AI om te stoppen met het obsessief volgen van één perfecte gok en in plaats daarvan een gebalanceerde distributie van verdachten te leren. Het leert te zeggen: "Oké, 60% van de tijd droeg de crimineel een hoed, en 40% van de tijd droeg hij die niet," in plaats van simpelweg één rigide antwoord te kiezen. Dit stelt het in staat om de werkelijke variëteit van verborgen staten te reconstrueren die de data hebben voortgebracht.

De Resultaten: Werkte het?

Het paper heeft deze detective getest in drie scenario's:

Het Kaartmysterie (Graph Inference):
- De Opzet: De AI moest de lay-out van een verborgen stadskaart (een graaf) raden op basis van alleen lijsten van "start- en eindpunten" van willekeurige wandelingen gemaakt door onzichtbare auto's.
- Het Resultaat: GReinSS reconstrueerde de kaarten veel beter dan de oude methoden. Wanneer de aanwijzingen zeer schaars waren (slechts 10 willekeurige wandelingen), was GReinSS nog steeds accuraat, terwijl andere methoden volledig faalden.
Het Doosmysterie (Set Inference):
- De Opzet: De AI moest raden welke items in een verborgen doos (een verzameling/set) zaten op basis van ruisige metingen (zoals een weegschaal die een iets fout gewicht aangeeft).
- Het Resultaat: GReinSS was de enige methode die enorme dozen (duizenden mogelijke items) kon verwerken zonder vast te lopen of nauwkeurigheid te verliezen. Andere methoden raakten in de war naarmate de dozen groter werden.
De Praktijktest: RNA Splicing (De "Knip en Plak" van het Leven)
- De Opzet: Cellen maken eiwitten door stukjes RNA (exons) aan elkaar te knippen en te plakken. Verschillende knips creëren verschillende versies van het eiwit (isoformen).
- Het Probleem: Wetenschappers hebben goedkope, korte fragmenten van RNA (short-reads), maar moeten de volledige, lange versies van de eiwitten kennen. De standaardtool hiervoor is genaamd RSEM.
- Het Resultaat: De auteurs vergeleken GReinSS met RSEM met behulp van echte menselijke weefseldata. Ze controleerden de antwoorden tegenover "long-read" sequencing (die de hele eiwitstructuur direct ziet en als de "waarheid" wordt beschouwd).
- GReinSS won. Het voorspelde de juiste eiwitversies en hun proporties veel nauwkeuriger dan de standaard RSEM-tool. In één test raadde RSEM in 53% van de gevallen de verkeerde eiwitmix, terwijl GReinSS een afwijking van minder dan 1% had.

De Kernboodschap

Het paper beweert dat GReinSS een nieuwe, krachtige manier is om wetenschappelijke mysteries op te lossen waarbij het antwoord een complexe, verborgen structuur is (zoals een kaart, een verzameling objecten of een eiwitvorm) en we slechts indirecte, ruisige aanwijzingen hebben.

Door een dynamisch beloningssysteem te gebruiken dat de AI dwingt om zijn gokken te balanceren over alle data, kan GReinSS de werkelijke verborgen realiteit beter reconstrueren dan traditionele statistiek of standaard AI-modellen. Het verandert het probleem van "het raden van de verborgen staat" in een spel dat de AI kan leren winnen, zelfs wanneer het aantal mogelijkheden astronomisch groot is.

Technische Samenvatting: Generatieve Modellering van Discrete Latente Structuren via Dynamische Policy Gradients

Probleemdefinitie

Het artikel behandelt de uitdaging van het afleiden van niet-geobserveerde, mechanistische latente toestanden ( $S^*$ ) uit indirecte observaties ( $X$ ) in wetenschappelijke domeinen waar de latente ruimte combinatorieel groot is. In tegen tegenstelling tot algemeen ongesuperviseerd leren (bijv. clustering of topic modeling), dat kunstmatige latente representaties leert, richt dit werk zich op het reconstrueren van grondwaarheid mechanistische toestanden zoals chemische reactiepaden, transportnetwerken of gen-isoformen.

De kern van het probleem wordt geformuleerd als een leeropdracht (Probleem 2.1) om modelparameters $\theta$ te vinden voor een generatieve distributie $Pr(S|\theta)$ die de waarschijnlijkheid van geobserveerde data $X_{1:N}$ maximaliseert, waarbij $Pr(X|\theta) = \sum_{S} Pr(X|S)Pr(S|\theta)$ . Een secundaire inferentietaken (Probleem 2.2) betreft het schatten van de specifieke latente toestand $\hat{S}_i$ voor elke observatie $X_i$ .

Klassieke benaderingen zoals Expectation Maximization (EM) worstelen hier omdat de E-stap het berekenen van verwachtingen over exponentieel grote toestandsruimtes vereist, wat vaak onuitvoerbaar is. Hoewel Reinforcement Learning (RL) van nature geschikt is voor sequentiële generatie van gestructureerde toestanden, optimaliseren standaard policy gradients de verwachte beloningen onder stationaire beloningsfuncties, en niet de marginale waarschijnlijkheid van indirecte observaties.

Methodologie: GReinSS

De auteurs introduceren GReinSS (Generative Reinforcement Learning of Structured States), een raamwerk dat policy gradients aanpast om de marginale waarschijnlijkheid van indirecte observaties te optimaliseren.

Dynamische Beloningsrescaling

De centrale innovatie is een dynamisch geschaalde beloningsfunctie. In standaard RL is de policy gradient $\mathbb{E}_{\tau}[r(\tau) \nabla_\theta \log Pr(\tau|\theta)]$ . GReinSS definieert de beloning $r(\tau)$ voor een traject $\tau$ (dat een latente toestand $S(\tau)$ oplevert) als:
$r(\tau) = \sum_{i=1}^{N} \frac{Pr(X_i | \tau)}{Pr(X_i | \theta)}$
waarbij $Pr(X_i | \theta) = \mathbb{E}_{\tau}[Pr(X_i | \tau)]$ .

Theorem 3.1 stelt vast dat deze specifieke beloningsfunctie de policy gradient een onbevooroordeelde estimator maakt van de gradiënt van de data log-likelihood $\nabla_\theta \log Pr(X_{1:N} | \theta)$ .

Mechanisme: De noemer $Pr(X_i | \theta)$ schaalt de bijdrage van elke observatie. Dit voorkomt dat de policy instort naar één enkel traject met een hoge beloning (wat de waarschijnlijkheid van één observatie zou maximaliseren maar de rest zou verwaarlozen) en moedigt de policy in plaats daarvan aan om een distributie $Pr(S|\theta)$ te leren die de waarschijnlijkheid over alle observaties balanceert.
Trainingslus: Het algoritme wisselt tussen het samplen van trajecten, het berekenen van dynamische beloningen op basis van de huidige $\theta$ , en het updaten van $\theta$ via gradient ascent.

Off-Policy Learning

Om de schaarste aan trajecten aan te pakken die een niet-nul waarschijnlijkheid opleveren voor specifieke observaties, gebruikt het paper off-policy sampling. Theorem 3.3 identificeert de optimale variantie-minimaliserende off-policy proposal distributie als $q(\tau | X_{1:N}, \theta) = \frac{1}{N} \sum_{i=1}^N Pr(\tau | X_i, \theta)$ . Hoewel exacte sampling uit deze distributie vaak onuitvoerbaar is, maken de auteurs gebruik van heuristieken (bijv. het biasen van sampling op basis van observatiekenmerken) gecombineerd met importance sampling correcties om onbevooroordeelde gradiënt schattingen te behouden.

Mini-batching

Het raamwerk ondersteunt mini-batching (Corollary 3.2), waarbij beloningen worden berekend over een subset van observaties $B \subset [N]$ , waardoor de methode kan schalen naar grote datasets.

Belangrijkste Bijdragen

Formulering: Het paper formuleert het probleem van het leren van distributies over discrete latente toestanden vanuit indirecte observaties als een policy optimalisatieprobleem, waarmee de kloof tussen probabilistische modellering en reinforcement learning wordt overbrugd.
Theoretische Verbinding: Het biedt een theoretisch bewijs (Theorem 3.1) dat policy gradients met dynamisch geschaalde beloningen equivalent zijn aan het maximaliseren van de marginale waarschijnlijkheid van indirecte observaties, een resultaat dat niet wordt bereikt door standaard RL of Variational Inference (VI) formuleringen.
Generalisatie: In tegen tegenstelling tot eerdere toepassingen van soortgelijke technieken (bijv. in kankerfylogenie of copy number variation), generaliseert dit werk de procedure naar willekeurige discrete structuren (grafen, verzamelingen, sequenties) en legt het verbindingen met bestaande methoden zoals Generalized Expectation Maximization (GEM) en GFlowNets onder specifieke condities.

Experimentele Resultaten

De auteurs evalueren GReinSS op gesimuleerde en real-world datasets, waarbij ze het vergelijken met local search, standaard policy gradients, GFlowNets en GEM-gebaseerde implementaties met behulp van Variational Autoencoders (VAE), autoregressieve modellen en discrete diffusie.

1. Gesimuleerde Procesgraaf Inferentie

Taak: Het reconstrueren van gerichte grafen uit random walk eindpunten.
Resultaten: GReinSS behaalde consistent de hoogste mediane F1-scores. Opvallend genoeg, bij een lage informatie per observatie ( $k=10$ random walks), behaalde GReinSS een F1 van 0,891, terwijl alle baselines (inclusief naïeve policy gradients en GFlowNets) onder de 0,55 scoorden. De naïeve policy gradient baseline viel vaak samen door het voorspellen van lege grafen, wat de noodzaak van dynamische beloningsrescaling benadrukt.

2. Gesimuleerde Subset Inferentie

Taak: Het reconstrueren van subsets uit ruisige elementmetingen.
Resultaten: GReinSS presteerde beter dan alle baselines bij variërende ruisniveaus ( $\sigma$ $σ$ ) en universum groottes ( $|U|$ $∣ U ∣$ ).
- Voor kleine universums ( $|U|=10$ ) presteerden de meeste methoden goed.
- Voor grote universums ( $|U|=1000$ ) stortten baselines (VAE, diffusie, autoregressie) in (mediane F1 < 0,4), terwijl GReinSS een mediane F1 van 0,938 behield.
- De resultaten tonen aan dat GReinSS effectief schaalt naar grote combinatorische ruimtes waar andere generatieve modellen falen.

3. Real-World Applicatie: RNA Isoform Reconstructie

Taak: Het afleiden van RNA isoform structuren en proporties uit short-read sequencing data (GTEx dataset), gevalideerd tegen long-read sequencing grondwaarheid.
Vergelijking: Vergeleken met RSEM, het standaard Expectation Maximization-gebaseerde algoritme dat wordt gebruikt in het GTEx-project.
Resultaten: GReinSS presteerde significant beter dan RSEM.
- Voor het gen MBD2 voorspelde RSEM een belangrijke isoform met een proportie van 18% (tegenover 96% grondwaarheid) en onjuiste minder belangrijke isoforms, wat resulteerde in een voorspellingsfout van 0,5374. GReinSS voorspelde 92% voor de belangrijke isoform met een fout van 0,0067.
- Over 14.390 genen presteerde GReinSS beter dan RSEM met een marge van $\ge 0,05$ in 46,6% van de gevallen, terwijl RSEM beter presteerde dan GReinSS in slechts 9,4% van de gevallen. Het mediane verschil in fout was $-0,0405$ in het voordeel van GReinSS.

Betekenis en Claims

Het paper claimt dat GReinSS een "geprincipiëerde en praktisch effectieve benadering" is voor generatieve modellering in combinatorische ruimtes. De primaire betekenis ligt in:

Overwinnen van Onuitvoerbaarheid: Het biedt een oplossing voor latente toestand inferentie in ruimtes waar exacte EM onuitvoerbaar is vanwege exponentiële complexiteit.
Superioriteit over Standaard RL: Het demonstreert dat standaard policy gradients falen in deze context zonder dynamische beloningsrescaling, en dat GFlowNets (die traject waarschijnlijkheden balanceren) onvoldoende zijn wanneer de beloningsstructuur niet perfect overeenkomt met de observatie waarschijnlijkheid.
Real-World Impact: De succesvolle toepassing op RNA splicing, waarbij het de breed gebruikte standaard (RSEM) op echte biologische data overtreft, valideert de bruikbaarheid van de methode buiten synthetische benchmarks.

De auteurs merken op dat hoewel de methode momenteel vertrouwt op heuristieken voor off-policy sampling en een bekende $Pr(X|S)$ veronderstelt, het raamwerk een fundament biedt voor toekomstige uitbreidingen, inclusief Q-learning, actor-critic frameworks en het leren van het observatiemodel zelf.