Improving TabPFN's Synthetic Data Generation by Integrating Causal Structure

Dit paper verbetert de kwaliteit en causaliteit van synthetische tabulaire data gegenereerd door TabPFN door de autoregressieve generatie te integreren met causale structuren via DAG-gerichte conditionering en CPDAG-strategieën.

De kern

Stel je voor dat je een zeer slimme, maar soms wat verwarde kok hebt: TabPFN. Deze kok is een "foundation model" voor tabellen (rijen en kolommen met data), zoals je die ziet in medische dossiers of financiële verslagen. Hij is getraind op miljoenen voorbeelden en kan fantastisch nieuwe, nep-data genereren die eruitziet als echt. Dit is handig als je echte data niet mag delen vanwege privacywetten, of als je gewoon te weinig data hebt om iets te leren.

Maar er is een groot probleem met deze kok: hij is autoregressief. Dat betekent dat hij rijtjes data niet allemaal tegelijk bedenkt, maar één voor één, van links naar rechts, zoals je een zin schrijft.

Het Probleem: De verkeerde volgorde

Stel je voor dat je een verhaal schrijft over een ongeluk.

• De echte oorzaak: Iemand rijdt te snel (Oorzaak) $\rightarrow$ de auto schuurt over de weg (Gevolg).
• De verkeerde volgorde: Als de kok eerst het schuurgeluid hoort en daarna de snelheid moet bedenken, denkt hij misschien: "Ah, omdat er geschuurd wordt, moet de auto wel snel hebben gereden."

In de echte wereld is dat logisch. Maar in de data kan dit leiden tot nep-verbanden. Als de volgorde van de kolommen in je tabel niet overeenkomt met de echte oorzaak-gevolg-relaties (de "causale structuur"), gaat de kok dingen aan elkaar koppelen die niets met elkaar te maken hebben. Hij creëert "spookrelaties".

Voorbeeld uit de paper:
Stel je een situatie voor met twee onafhankelijke factoren, Regen en Verkeersdrukte, die allebei leiden tot een natte straat.

• Als de kok eerst de "natte straat" ziet en daarna moet bedenken of het regende of dat er veel auto's waren, denkt hij: "Als de straat nat is, moet het óf regenen óf er veel verkeer zijn."
• Hierdoor denkt hij dat Regen en Verkeersdrukte met elkaar te maken hebben. Maar in werkelijkheid heeft regen niets te maken met verkeer! De kok heeft een nep-verband gecreëerd.

De Oplossing: Een Kaart van Oorzaken

De auteurs van dit paper zeggen: "Laten we de kok een landkaart geven."

In plaats van dat de kok zomaar kolommen in willekeurige volgorde bedenkt, geven we hem kennis over wie de "ouders" zijn van wie.

1. DAG-aware (De perfecte kaart): Als we precies weten welke factoren welke veroorzaken (een zogenaamde DAG), laten we de kok alleen kijken naar de directe oorzaken (de ouders) van het item dat hij nu bedenkt. Hij kijkt niet naar alles wat er eerder stond, maar alleen naar wat er echt voor nodig is.
2. CPDAG (De onvolledige kaart): Vaak weten we niet alles. Misschien weten we dat A invloed heeft op B, maar niet of C nu een oorzaak of een gevolg is. Dan gebruiken we een kaart met pijlen en lijnen zonder richting. De kok gebruikt dan zijn kennis waar hij die heeft, en vult de rest in met zijn oude, standaard manier.

Wat vonden ze?

De onderzoekers hebben dit getest op verschillende scenario's, van simpele wiskundige puzzels tot complexe medische data (zoals suikerziekte-simulaties).

• De volgorde telt: Zelfs zonder een perfecte kaart, helpt het al enorm om de kolommen in de juiste volgorde te zetten (oorzaken eerst, gevolgen later).
• De kaart is beter: Met de "DAG-aware" methode (waar we de kaart volledig kennen) wordt de gegenereerde data veel betrouwbaarder. De nep-verbanden verdwijnen.
• Behoud van effecten: Dit is het belangrijkste: als je deze nep-data gebruikt om te testen of een medicijn werkt, krijg je met de oude methode vaak een verkeerd antwoord. Met de nieuwe methode blijft het effect van het medicijn (de "behandeling") goed bewaard in de nep-data.

Samenvattend in één zin

Deze paper leert een slimme AI-kok om niet zomaar rijtjes te bedenken, maar om eerst te kijken naar de "familiebanden" tussen de gegevens, zodat hij geen nep-verbanden creëert en we kunnen vertrouwen op de data die hij voor ons maakt.

Het is alsof je iemand vraagt om een verhaal te schrijven: als je zegt "Begin met het einde en werk terug", krijg je een rommelig verhaal. Maar als je zegt "Begin met de oorzaak en werk naar het gevolg", krijg je een verhaal dat logisch klopt. De onderzoekers hebben de AI geleerd om die juiste volgorde te volgen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Improving TabPFN's Synthetic Data Generation by Integrating Causal Structure" in het Nederlands.

Titel: Verbetering van de synthetische datageneratie van TabPFN door integratie van causale structuur

Auteurs: Davide Tugnoli, Andrea De Lorenzo, Marco Virgolin, Giovanni Cinà.

---

1. Het Probleem

Synthetische tabulaire data wordt steeds belangrijker om datatekorten en privacyproblemen op te lossen, vooral in domeinen zoals gezondheidszorg en financiën. Een recente foundation model, TabPFN (Tabular Prior-Data Fitted Network), toont veelbelovende resultaten bij het genereren van hoogwaardige synthetische data.

Echter, TabPFN werkt autoregressief: het genereert variabelen sequentieel, waarbij elke variabele afhankelijk is van de eerder gegenereerde variabelen in de invoerreeks. Dit introduceert een fundamenteel probleem:

• Order-afhankelijkheid: De kwaliteit van de gegenereerde data hangt sterk af van de volgorde van de kolommen in de invoer.
• Causale conflicten: Als de generatievolgorde in strijd is met de onderliggende causale structuur (bijvoorbeeld als een "collider" of gemeenschappelijk effect vóór zijn oorzaken wordt gegenereerd), introduceert het model spurious correlations (schijnrelaties).
• Gevolgen: Deze fouten leiden tot een verlies van de ware data-generatieprocessen en kunnen, wanneer de data wordt gebruikt voor interventiestudies (zoals het schatten van behandelingseffecten), leiden tot ernstig misleidende conclusies en verkeerde beslissingen (bijv. in medicijnontwikkeling).

2. Methodologie

De auteurs stellen twee complementaire strategieën voor om causale structuur te integreren in het generatieproces van TabPFN, waardoor de autoregressieve beperkingen worden omzeild.

A. DAG-gevoelige Conditionering (DAG-aware Conditioning)

Wanneer de volledige causale graaf (een Directed Acyclic Graph of DAG) bekend is:

• In plaats van een variabele te conditioneren op alle voorgaande variabelen in de sequentie, conditioneert het model elke variabele uitsluitend op zijn causale ouders.
• De generatie volgt een topologische ordening van de DAG, zodat alle ouders van een kindvariabele al gegenereerd zijn voordat het kind wordt gegenereerd.
• Dit voorkomt dat het model conditioneert op nakomelingen, wat de oorzaak is van de schijnrelaties bij colliders.

B. CPDAG-gebaseerde Strategie (Completed Partially Directed Acyclic Graph)

In de praktijk is de volledige causale graaf zelden bekend. Vaak is er slechts gedeeltelijke kennis (bijvoorbeeld via causal discovery algoritmen zoals PC-stable).

• Een CPDAG bevat zowel gerichte als ongerichte randen.
• De auteurs stellen een hybride strategie voor:
  • Voor variabelen waarvan de causale ouders volledig bekend zijn (gerichte randen in de CPDAG), wordt er conditionering toegepast op deze ouders.
  • Voor variabelen met ongerichte randen of onbekende ouders, valt het model terug op de standaard autoregressieve conditionering op alle voorgaande variabelen in de gekozen volgorde.
• Dit maakt het mogelijk om ook met onvolledige kennis de generatiekwaliteit te verbeteren, mits er voldoende randen correct georiënteerd zijn.

3. Belangrijkste Bijdragen

1. Identificatie van een fundamentele beperking: De auteurs tonen aan dat de kwaliteit van TabPFN sterk afhankelijk is van de feature-volgorde, zelfs bij grote trainingsgroottes, vanwege het ontbreken van expliciet causaal redeneren.
2. Ontwikkeling van causale conditionering: Ze introduceren methoden die gebruikmaken van bekende (DAG) of gedeeltelijk bekende (CPDAG) causale structuren om de generatie te sturen.
3. Kwantificering van impact op behandelingseffecten: Ze meten hoe fouten in synthetische data zich voortplanten naar de schatting van het Average Treatment Effect (ATE), en tonen aan dat causale conditionering deze fouten aanzienlijk verkleint.
4. Uitgebreide evaluatie: De methoden zijn getest op gecontroleerde benchmarks, zes datasets uit de CSuite-benchmarks, en een realistische klinische dataset (SimGlucose voor diabetes).

4. Resultaten

De experimenten zijn uitgevoerd met verschillende trainingsgroottes ($N \in \{20, 50, ..., 1000\}$) en geëvalueerd op structuurgetrouwheid (CMD), verdelingskwaliteit (kMTVD), privacy (NNAA) en ATE-behoud.

• Invloed van volgorde: Zelfs bij "vanilla" TabPFN (zonder causale aanpassing) leidt een topologische volgorde (ouders vóór kinderen) tot significante verbeteringen in datakwaliteit en ATE-behoud vergeleken met willekeurige of omgekeerde volgorde. Omgekeerde volgorde (kinderen vóór ouders) verslechtert de prestaties aanzienlijk.
• DAG-gevoelige generatie: Deze methode presteert consistent beter dan de standaard TabPFN.
  • Verbetering in CMD (Correlation Matrix Difference) voor 24 van de 35 configuraties.
  • Significant betere behoud van behandelingseffecten (ATE), met name bij kleine datasets.
  • Minimale degradaties, voornamelijk in scenario's met zeer schaarse causale structuren.
• CPDAG-gebaseerde generatie:
  • Toont gematigde verbeteringen, afhankelijk van het aantal correct georiënteerde randen in de CPDAG.
  • Als de CPDAG voldoende georiënteerd is (vooral V-structuren), verbetert de kwaliteit.
  • Als de ontdekking van de graaf onnauwkeurig is (veel foutieve oriëntaties), kan de prestatie verslechteren ten opzichte van de standaardmethode.
• Robuustheid: De voordelen van causale conditionering blijven bestaan bij hogere ruisniveaus in de data en op realistische datasets met 38 variabelen (SimGlucose), waar gedeeltelijke topologische ordening de kwaliteit verbetert.

5. Betekenis en Conclusie

Dit werk toont aan dat het integreren van causale kennis in autoregressieve foundation modellen essentieel is voor het genereren van betrouwbare synthetische tabulaire data.

• Betrouwbaarheid: Door de generatie te aligneren met de causale werkelijkheid, worden spurious correlations voorkomen die de validiteit van downstream-taken (zoals klinische trials of beleidsvorming) ondermijnen.
• Privacy en Toepasbaarheid: De methode biedt een oplossing voor situaties waar echte data schaars of gevoelig is, maar waar toch nauwkeurige schattingen van behandelingseffecten nodig zijn.
• Praktische implicatie: Zelfs gedeeltelijke causale kennis (via CPDAG) is waardevol, mits de ontdekking van de graaf zorgvuldig gebeurt. Het paper waarschuwt echter dat het gebruik van onnauwkeurige, volledig georiënteerde graaf-algoritmen (zoals REX in hun tests) de kwaliteit kan verslechteren, waardoor een hybride aanpak met conservatieve algoritmen (zoals PC-stable) aanbevolen wordt.

Kortom, het injecteren van causale structuur in de autoregressieve generatie van TabPFN verhoogt de betrouwbaarheid en bruikbaarheid van synthetische data aanzienlijk, vooral in kritieke domeinen zoals de gezondheidszorg.