JANUS: Structured Bidirectional Generation for Guaranteed Constraints and Analytical Uncertainty

JANUS is een nieuw generatief framework dat een DAG van Bayesiaanse beslissingsbomen en een Reverse-Topological Back-filling-algoritme combineert om synthetische data te produceren die tegelijkertijd hoge betrouwbaarheid, volledige naleving van complexe logische constraints en snelle analytische onzekerheidsschatting garandeert zonder gebruik van inefficiënte afwijzingssteekproeven.

De kern

Stel je voor dat je een super-slimme chef-kok hebt die voor je kan koken. Deze chef kan niet alleen exact nagebouwen wat je in de keuken hebt (bijvoorbeeld: "maak een gerecht dat precies smaakt als mijn oma's stoofpot"), maar hij kan ook specifieke regels volgen.

Stel, je zegt: "Ik wil een stoofpot, maar er mag nooit meer dan 200 gram vlees in, en de aardappels moeten altijd groter zijn dan de wortels."

Tot nu toe hadden we twee soorten chefs:

1. De "Black Box" Chef (Deep Learning): Deze kan een stoofpot maken die er perfect uitziet en proeft, maar als je zegt "geen vlees", gooit hij er soms per ongeluk toch een stukje in. Hij probeert het dan te "redden" door het gerecht weg te gooien en opnieuw te beginnen. Dit kost veel tijd en energie.
2. De "Logische" Chef (Causal Models): Deze volgt regels perfect, maar zijn stoofpotten smaken vaak raar of saai omdat hij de echte smaak van de originele pot niet goed kan nabootsen.

JANUS is de nieuwe, revolutionaire chef die alles kan: hij maakt een gerecht dat perfect smaakt, volgt elke regel tot in de puntjes, en doet dit razendsnel.

Hier is hoe JANUS werkt, vertaald naar alledaagse taal:

1. De "Terugwaartse" Reis (Reverse-Topological Back-filling)

Stel je voor dat je een huis bouwt. Normaal gesproken bouw je eerst de fundering, dan de muren, en dan het dak. Als je aan het einde merkt dat het dak niet past bij de regels (bijvoorbeeld: "het dak moet kleiner zijn dan de tuin"), moet je het hele huis slopen en opnieuw beginnen. Dat is wat andere modellen doen: ze bouwen, checken de regels, en als het mislukt, gooien ze het weg en beginnen opnieuw. Dat is inefficiënt.

JANUS doet het anders:
Hij kijkt eerst naar het dak (de eindregels). Als je zegt "het dak moet klein zijn", denkt JANUS: "Oké, als het dak klein moet zijn, dan moet de muur eronder ook op een specifieke plek staan." Hij werkt dus terug van het dak naar de fundering.

• De analogie: In plaats van blindelings te bouwen en te hopen dat het lukt, plant JANUS de fundering op basis van het einddoel. Zo is het gegarandeerd dat het eindresultaat aan alle regels voldoet, zonder dat hij ooit iets hoeft weg te gooien.

2. De Twee-Zijdige Kaart (Bidirectional Generation)

Stel je voor dat je een kaart hebt van een stad.

• De meeste chefs kunnen alleen zeggen: "Als je hier bent (de ingang), waar kom je dan uit?" (Voorspellen).
• JANUS heeft een magische kaart die in twee richtingen werkt. Hij kan niet alleen zeggen waar je uitkomt als je begint bij de ingang, maar hij kan ook zeggen: "Als je wilt eindigen bij het station, welke ingang moet je dan gebruiken?"
• Dit is cruciaal voor regels. Als je zegt "De uitkomst moet een station zijn", gebruikt JANUS die kaart om terug te rekenen welke ingang daarvoor nodig is. Zo vermijdt hij dat hij per ongeluk in een bos eindigt terwijl je een station wilde.

3. De "Wiskundige" Zekerheid (Analytical Uncertainty)

Stel je voor dat je een voorspelling doet over het weer.

• De oude methoden zeggen: "Ik heb 100 keer gekeken en 90 keer was het zonnig, dus 90% kans." Dit kost veel tijd (100 keer kijken).
• JANUS heeft een wiskundige formule in zijn hoofd. Hij hoeft niet 100 keer te kijken. Hij kijkt naar zijn notities en zegt direct: "Ik weet precies hoe zeker ik ben."
• Hij kan zelfs onderscheid maken tussen twee soorten twijfel:
  • Twijfel door gebrek aan data: "Ik heb nog nooit regen in deze maand gezien, dus ik weet het niet zeker." (Dit kan opgelost worden met meer data).
  • Twijfel door de natuur: "Het weer is hier gewoon onvoorspelbaar." (Dit kan niet opgelost worden).
  • JANUS doet dit 128 keer sneller dan de concurrenten.

4. Waarom is dit belangrijk? (Fairness en Betrouwbaarheid)

In de echte wereld (bijvoorbeeld bij het toekennen van leningen of sollicitaties) zijn regels belangrijk.

• Voorbeeld: "Het salaris dat we bieden, moet altijd hoger zijn dan het salaris dat de sollicitant vraagt."
• Oude modellen maakten hier vaak fouten of moesten duizenden sollicitanten "weggooien" om er één te vinden die paste.
• JANUS garandeert dat elke gegenereerde sollicitant aan deze regel voldoet. Hij kan zelfs simuleren: "Wat gebeurt er als we een vooroordeel (bias) in het systeem stoppen?" zodat we kunnen testen of onze eerlijkheids-algoritmes dit echt oplossen.

Samenvatting

JANUS is als een slimme architect die:

1. Een huis bouwt dat er precies uitziet als het origineel (hoge kwaliteit).
2. Zorgt dat elke regel (geen ramen in de muur, deuren moeten passen) 100% wordt nageleefd, zonder te hoeven slopen en opnieuw te beginnen.
3. Direct kan vertellen hoe zeker hij is van zijn ontwerp, zonder urenlang te hoeven rekenen.

Het is een doorbraak omdat het eindelijk mogelijk maakt om veilig, snel en eerlijk kunstmatige data te maken voor gevoelige situaties, zonder de "black box" magie die we tot nu toe moesten accepteren.

Technische samenvatting

Probleemstelling: Het "Quadrilemma" van Synthetische Data

Hoge-stakes synthetische data-generatie (bijv. voor privacy, eerlijkheidsaudits en wetenschappelijke simulatie) staat voor een fundamenteel dilemma: het gelijktijdig bereiken van vier cruciale eigenschappen is met bestaande methoden onmogelijk:

1. Fideliteit: De gegenereerde data moet statistisch overeenkomen met de oorspronkelijke verdeling.
2. Controle: Strikte naleving van complexe logische constraints (bijv. continue bereiken of inter-kolom relaties zoals $Salary_{offered} \geq Salary_{requested}$).
3. Betrouwbaarheid: Nauwkeurige schatting van onzekerheid (aleatorisch en epistemisch).
4. Efficiëntie: Laag rekenkundig kostenniveau.

Bestaande state-of-the-art modellen (zoals CTGAN, TabDDPM) excelleren in fideliteit maar missen mechanismen voor continue constraints, wat leidt tot inefficiënte rejection sampling (verwerpingssteekproeven). Structurele Causale Modellen (SCM) bieden controle maar worstelen met hoge dimensionaliteit en de omkering van complexe ruis. Bovendien zijn onzekerheidsschattingen vaak te duur (5-10x meer rekentijd) voor interactieve toepassingen.

Methodologie: Het JANUS Framework

JANUS (Joint Ancestral Network for Uncertainty and Synthesis) lost dit op door een unificatie van causale redenering en Bayesiaanse inferentie. Het is geen causale ontdekkingstool, maar een engine die werkt op basis van een gegeven Directed Acyclic Graph (DAG).

1. Data Representatie en Structuur

• Discretisatie: Continue variabelen worden omgezet in discrete bins via quantile-binning. Dit transformeert het probleem naar een discrete ruimte, wat exacte posterior-updates mogelijk maakt via Dirichlet-Multinomial conjugatie.
• DAG Factorisatie: De gezamenlijke verdeling wordt gefactoriseerd als $P(X) = \prod P(X_i | Pa(X_i))$, waarbij elke voorwaartse verdeling wordt gemodelleerd door een Bayesian Decision Tree (BDT).

2. Probabilistische Architectuur: Hybrid Splitting Criterion
Elke knoop in de BDT bevat twee componenten in de bladeren:

• Forward: Dirichlet-posteriors ($\alpha$) voor $P(X_i | Pa(X_i))$ (voorspelling).
• Backward: Empirische histogrammen ($H$) voor $P(Pa(X_i) | X_i)$ (inverse steekproef).

De kerninnovatie is het Hybrid Splitting Criterion, dat een supervised doel (voorspelling van $Y$) combineert met een unsupervised doel (organiseren van de input $X$):
$$S_{split} = \log P(Y | split) + \lambda_{unsup} \cdot \log P(X | split) + \lambda_{div} \cdot D_{KL}$$
Dit zorgt ervoor dat bomen doorgaan met splitsen zelfs als de target variabele homogeen is, waardoor gedetailleerde histogrammen voor de reverse sampling ($P(X|Y)$) worden behouden.

3. Reverse-Topological Back-filling (De Kernalgoritme)
In plaats van te genereren en te verwerpen als constraints niet kloppen, gebruikt JANUS een twee-fase algoritme:

• Fase 1 (Terugwaarts): Constraints op kindknopen worden via het causale graf naar de voorouders gepropageerd. De algoritme identificeert welke waarden van de ouders kunnen leiden tot een geldige kindwaarde. Dit wordt gedaan door de histogrammen in de relevante bomenbladeren te filteren en te intersecteren.
• Fase 2 (Voorwaarts): Er wordt gesampled van de voorouders naar de kinderen, waarbij de constraints al zijn ingebouwd.
• Resultaat: Dit garandeert 100% constraint satisfaction zonder enige verwerping, met een complexiteit van $O(d)$ in plaats van $O(1/p)$ bij rejection sampling.

4. Analytische Onzekerheidsdecompositie
JANUS maakt gebruik van Dirichlet-Multinomial conjugatie om onzekerheid in één pass te berekenen:

• Aleatorische onzekerheid: Inherent data-ruis (onvermijdelijk).
• Epistemische onzekerheid: Model-ignorantie door beperkte data (verminderbaar).
  Dit wordt berekend via gesloten vormen (digamma-functies), wat 128x sneller is dan Monte Carlo-methoden zoals MC Dropout.

Kernbijdragen

1. Hybrid Splitting Criterion: Een objectief dat zowel $P(Y|X)$ als $P(X|Y)$ leert, essentieel voor bidirectionele steekproeven.
2. Reverse-Topological Back-filling: Een algoritme dat 100% constraint-satisfactie garandeert met lineaire complexiteit, zonder verwerping.
3. Analytische Onzekerheid: Een snelle, gesloten-vorm decompositie van onzekerheid zonder ensemble-methoden.
4. Uitgebreide Benchmarking: Validatie over 15 datasets en 523 geconstrueerde scenario's.

Resultaten

De evaluatie toont aan dat JANUS alle vier de pijlers van het "Quadrilemma" tegelijkertijd adresseert:

• Controle & Causaliteit:

  • Constraint Satisfaction: JANUS bereikt 100% satisfaction rate (CSR) over alle 523 experimenten, terwijl baselines (zoals CTGAN, TVAE) faalden bij strakke constraints of extreem veel verwerping vereisten.
  • Snelheid: Tot 49.6x sneller dan Deep Causal Models (DCM) bij strakke constraints.
  • Counterfactuals: Bij niet-additieve ruis (multiplicatief) presteert JANUS 18x tot 47x beter (lagere MSE) dan flow-based methoden, omdat het numerieke instabiliteit bij het inverteren van ruis vermijdt door discretisatie.

• Fideliteit & Robuustheid:

  • Detectie: Bereikt een Detection Score van 0.497 (ideaal is 0.5), wat beter is dan TabDDPM (0.580) en CTGAN (0.634).
  • Mode Collapse: JANUS toont superieure stabiliteit bij onbalans (Mode Collapse Score 0.946 vs 0.742 voor CTGAN) en is 9x sneller in training.
  • Correlatie: Behoudt feature-correlaties beter dan diepe generatieve modellen.

• Betrouwbaarheid & Eerlijkheid:

  • Onzekerheid: Is de enige methode die succesvol gelabelde ruis detecteert (ratio > 1.0) en onderscheid maakt tussen aleatorische en epistemische onzekerheid.
  • Eerlijkheid: Biedt een rigoureus testbed voor eerlijkheid door bias met bekende grootte in te injecteren via causale paden. Het kan inter-kolom constraints (bijv. gelijke beloning) garanderen, wat statistische pariteit alleen niet kan doen.

Betekenis en Conclusie

JANUS doorbreekt de traditionele trade-off tussen controle en fideliteit in synthetische data-generatie. Door een causale DAG te combineren met Bayesiaanse Decision Trees en een uniek "back-filling" algoritme, biedt het:

1. Garanties: Geen verwerping nodig; constraints zijn wiskundig gegarandeerd.
2. Efficiëntie: Snellere onzekerheidsschatting en generatie.
3. Interpreteerbaarheid: Transparante besluitregels in plaats van "black box" netwerken.

Dit maakt JANUS ideaal voor kritieke toepassingen waar vertrouwen, strikte logica en eerlijkheid essentieel zijn, zoals in de gezondheidszorg, financiële sector en beleidsvorming. De enige beperkingen zijn potentieel verlies van precisie bij zeer zware staartverdelingen door discretisatie en de afhankelijkheid van de kwaliteit van de ingevoerde causale structuur.