🤖 machine learning

Memisis: Orchestrating and Evaluating Synthetic Data for Tabular Health Datasets

Memisis is een geïntegreerd hulpmiddel dat grote taalmodellen benut om de generatie van synthetische tabulaire gezondheidsdata te coördineren en te evalueren, waardoor gebruikers hoogwaardige doelen kunnen specificeren terwijl de workflow automatisch wordt beheerd over meerdere synthesizers en metrieken om privacy, bruikbaarheid en eerlijkheid te waarborgen.

Oorspronkelijke auteurs: Nitish Nagesh, Mahdi Bagheri, Arshia Harish Puthran, Pengbao Zhou, Muhjaazee Love, Aadi Sharma, Ian Harris, Amir M. Rahmani

Gepubliceerd 2026-05-19

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Nitish Nagesh, Mahdi Bagheri, Arshia Harish Puthran, Pengbao Zhou, Muhjaazee Love, Aadi Sharma, Ian Harris, Amir M. Rahmani

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een arts bent die probeert een nieuwe AI-assistent te trainen om psychische aandoeningen te diagnosticeren. Je hebt een enorm, realistisch notitieboek vol patiëntendossiers. Maar je kunt dat notitieboek niet delen met de AI-trainer, omdat het privégeheimen bevat (namen, adressen, specifieke medische geschiedenissen). Als je het deelt, schend je privacywetten.

Het probleem: Je hebt een "nep"-notitieboek nodig dat er precies zo uitziet en zich precies zo gedraagt als het echte, maar geen echte mensen bevat. Dit heet synthetische data. Het maken van een nep-notitieboek is echter lastig. Als de nep-data te verschillend is van de echte data, leert de AI niets bruikbaars (lage bruikbaarheid). Als de nep-data per ongeluk leert om bepaalde groepen mensen (zoals specifieke rassen of geslachten) onrechtvaardig te behandelen, zal de AI vooroordeelachtige fouten maken (lage eerlijkheid).

De oplossing: Memisis
Het artikel introduceert een tool genaamd Memisis. Denk aan Memisis als een super-slimme, geautomatiseerde projectmanager voor het maken van deze nep-notitieboeken.

Zo werkt het, met eenvoudige analogieën:

1. De "Dirigent" (Orkestratie)

Normaal gesproken is het maken van synthetische data als proberen een huis te bouwen door drie verschillende aannemers de opdracht te geven zonder dat ze met elkaar praten. De ene bouwt de fundering, de andere schildert de muren en de derde probeert het dak te plaatsen, maar ze controleren nooit of het huis eigenlijk bewoonbaar of veilig is.

Memisis fungeert als de orkestdirigent. Het bouwt niet alleen de data; het coördineert het hele proces. Je vertelt het in gewoon Engels wat je wilt (bijvoorbeeld: "Maak me een nep-dataset die eruitziet als de echte, maar eerlijk is voor iedereen"). Memisis doet dan het volgende:

Het kiest de beste "bouwer" (een specifiek AI-model zoals CTGAN, TVAE of GaussianCopula).
Het vertelt hoe lang er moet worden gewerkt.
Het controleert het werk direct.

2. De "Smaaktesters" (Evaluatie)

Memisis vertrouwt de bouwer niet zomaar. Het gebruikt twee gespecialiseerde "smaaktesters" om de nep-data te beoordelen voordat jij het ooit ziet:

De Realisme-chef (SDMetrics): Deze tester controleert of de nep-data smaakt als het echte product. Heeft het dezelfde mix van leeftijden, geslachten en symptomen? Als de nep-data er totaal niet uitziet als de echte wereld, geeft deze tester een lage score.
De Eerlijkheidsrechter (Fairlearn): Deze tester controleert of de data vooroordeelsbevatting vertoont. Stel je voor dat de nep-data een test is voor een wervingsmanager. Als de nep-data suggereert dat mensen van het ene ras drie keer vaker "ziek" zijn dan mensen van een ander ras (zelfs als dat in werkelijkheid niet zo is), slaat de Eerlijkheidsrechter de hamer neer.

3. De "Scorekaart" (Gecombineerde scoring)

Memisis combineert deze twee tests tot één eindscore. Het gebruikt een slimme regel:

Als de data perfect realistisch is maar onrechtvaardig, krijgt de score een zware straf.
Als de data eerlijk is maar onzin, is de score laag.
Het doel is een "Goudlokje"-score: data die zowel realistisch als eerlijk is.

De "Geen Valsspelen"-regel:
Een belangrijk kenmerk van Memisis is dat de "Rechter" (Evaluator) en de "Bouwer" (Generator) in aparte kamers worden gehouden. De Rechter kan niet fluisteren naar de Bouwer om "de cijfers er mooier uit te laten zien". Ze werken onafhankelijk. De Rechter rapporteert alleen terug naar de "Toezichthouder" (de hoofd-AI), die dan beslist: "Deze batch is goed, stuur het naar de gebruiker" of "Deze batch is onrechtvaardig, ga terug en probeer het opnieuw".

Wat vonden ze?

Het team testte Memisis met een echte dataset over schizofrenie (een psychische aandoening) die ras en geslacht omvatte. Ze probeerden drie verschillende "bouwers":

GaussianCopula: Deze bouwer maakte data die er zeer realistisch uitzag (91% overeenkomst), maar het was onrechtvaardig. Het liet de "Hispanic"-groep in de nep-data veel zieker lijken dan de "Witte"-groep. Vanwege deze onrechtvaardigheid daalde de eindscore.
TVAE: Deze bouwer maakte data die perfect "eerlijk" was (iedereen zag er hetzelfde uit), maar het was eigenlijk kapot. Het was zo uniform dat het de AI niets bruikbaars leerde.
CTGAN: Dit was de winnaar. Het vond de beste balans. De data zag er realistisch genoeg uit om nuttig te zijn, en het behandelde verschillende groepen eerlijk genoeg om de test te doorstaan.

Waarom is dit belangrijk?

Memisis is een tool voor onderzoekers en data-eigenaren. Het stelt hen in staat om te zeggen: "Ik heb nep-medische data nodig", en de tool regelt dan automatisch de complexe wiskunde, de privacycontroles en de eerlijkheidsaudits. Het zorgt ervoor dat wanneer we AI gebruiken om artsen te helpen, de AI niet leert van een vooroordeelachtige of gebroken versie van de realiteit.

Kortom: Memisis is de geautomatiseerde kwaliteitscontrolemanager die ervoor zorgt dat onze "nep"-medische data zowel een goede kopie van het echte ding is als een eerlijke kopie voor iedereen.

Technische Samenvatting: Memisis – Het Orchestreren en Evalueren van Synthetische Data voor Tabulaire Gezondheidsdatasets

Probleemstelling
Synthetische data wordt steeds belangrijker in de gezondheidszorg om datasets te creëren die de oorspronkelijke data-distributies nabootsen, terwijl privacyzorgen worden verminderd. Het genereren van hoogwaardige synthetische data vereist echter een delicate balans tussen drie kritieke dimensies: privacy, bruikbaarheid en rechtvaardigheid. Bestaande platforms missen vaak een geïntegreerde workflow waarmee gebruikers eenvoudig generatie kunnen orchestreren, de distributiegetrouwheid kunnen valideren en rechtvaardigheidsmetrieken gelijktijdig kunnen evalueren. Bovendien vertrouwen huidige benaderingen vaak op handmatige afstelling van "knoppen" (bijv. epochs, steekproefgroottes) in plaats van gebruikers toe te staan hoge generatiedoelen op te geven. Er is behoefte aan een agentische workflow die deze afwegingen kan redeneren, met name in domeinen zoals de gezondheidszorg waar intersectionele bias in diagnose klinisch gedocumenteerd is.

Methodologie
De auteurs presenteren Memisis, een interactieve, agent-gebaseerde tool die is ontworpen om de generatie en evaluatie van synthetische data voor tabulaire gezondheidsdatasets te orchestreren. Het systeem maakt gebruik van Large Language Models (LLM's) en geavanceerde evaluatiemetrieken om een geïntegreerde workflow te creëren.

Architectuur & Workflow:
- Backend-integratie: Memisis maakt verbinding met de Synthetic Data Vault (SDV) om bestaande synthesizers te gebruiken, specifiek CTGAN, TVAE en GaussianCopula.
- Agent-orchestratie: Het systeem hanteert een LangGraph ReACT (Reasoning and Acting)-framework. Een Supervisor-agent verdeelt de workflow in een Generator-subgrafiek en een Evaluator-subgrafiek. Deze scheiding zorgt ervoor dat scoremechanismen het syntheseproces niet stilzwijgend kunnen beïnvloeden.
- Gebruikersinteractie: Gebruikers communiceren via een Streamlit UI met natuurlijke taal om generatiedoelen op te geven (bijv. doel-distributie, rechtvaardigheidsbeperkingen) in plaats van lage-niveau parameters af te stellen. De agent vertaalt deze doelen naar specifieke tool-aanroepen.
- Evaluatieparadigma: Het systeem maakt gebruik van het Train-on-Synthetic, Test-on-Real (TSTR)-paradigma.
  - Bruikbaarheid: Gemeten met SDMetrics (specifiek de SingleTableQualityReport), die marginaal kolomvorm-getrouwheid en paarsgewijze-correlatie-getrouwheid samenvoegt tot een score tussen 0 en 1.
  - Rechtvaardigheid: Gemeten met Fairlearn, met focus op False Positive Rates (FPR) over beschermde attributen (bijv. ras, geslacht).
- Composiet Score: Om de afweging tussen rechtvaardigheid en bruikbaarheid gezamenlijk vast te leggen, stellen de auteurs een composiet score voor:
  $\text{synth\_score} = \text{quality} \times \text{fairness\_mult}$
  De fairness_mult fungeert als een straf. Als de verhouding van de hoogste groep FPR tot de laagste groep FPR (max_rel_FPR) een drempel van 2 overschrijdt, verlaagt de multiplier de kwaliteitsscore proportioneel. Als de verhouding $\le 2$ is, is de multiplier 1,0.
Deploy-stack:
- Server: Python-gebaseerde server op Streamlit Cloud, verbonden met GitHub.
- LLM: Llama3.2 (lokaal draaiend via Ollama) fungeert als chat-model.
- Hardware: NVIDIA RTX 3090 GPU gebruikt voor het trainen van synthesizers.

Belangrijkste Bijdragen

Geïntegreerde Agentische Workflow: Memisis biedt een nieuwe interface waarbij gebruikers doelen in natuurlijke taal definiëren, en de agent de selectie van synthesizers, training en evaluatie orchestreert zonder handmatige hyperparameter-afstelling.
Scheiding van Belangen: De multi-agent-architectuur scheidt het generatieproces strikt van het evaluatieproces, waardoor feedbacklussen worden voorkomen waarbij score-metrieken per ongeluk het generatiemechanisme kunnen bevooroordelen.
Composiet Metriek voor Gezondheidszorg: Het artikel introduceert een specifieke composiet score-mechanisme dat synthetische data straft die hoge distributiegetrouwheid bereikt, maar faalt in het handhaven van pariteit in downstream classificatiefouten (FPR) over demografische groepen.
Demonstratie op Gezondheidsdata: De tool wordt gedemonstreerd op een open-source dataset voor schizofrenie (OpenML 45040) met beschermde attributen (Ras, Geslacht) en klinische labels, waarbij het vermogen wordt aangetoond om intersectionele dispariteiten te detecteren.

Resultaten
De auteurs evalueerden drie synthesizers (CTGAN, TVAE, GaussianCopula) op de schizofrenie-dataset (1.000 echte trainingsrijen, 500 synthetische rijen, 20 epochs):

GaussianCopula: Bereikte de hoogste distributiegetrouwheid (SDMetrics quality = 0,91). Het leed echter aan een aanzienlijke rechtvaardigheidsstraf omdat de FPR van de Hispanic-groep 2,67 keer zo hoog was als die van de White-groep (boven de drempel van 2,0). Dit resulteerde in een lagere composiet score (0,68).
CTGAN: Produceerde de beste gebalanceerde composiet score (0,77). Het handhaafde een max_rel_FPR van 1,57 (binnen het aanvaardbare bereik), wat aantoont dat het succesvol getrouwheid in evenwicht bracht met rechtvaardigheid.
TVAE: Bereikte een max_rel_FPR van 1,0, maar de auteurs merken op dat dit een "degenererend downstream-classificatie" weerspiegelt (voorspellen van alles als positief) in plaats van ware pariteit. De composiet score was 0,60.

Betekenis en Beweringen
Het artikel beweert dat Memisis een flexibele, door natuurlijke taal gedreven mechanisme biedt voor het genereren van synthetische gezondheidsdata, waarbij de last van curatie en validatie wordt verschoven naar een agent met menselijke toezicht. De auteurs benadrukken dat hoge distributiegetrouwheid alleen onvoldoende is voor toepassingen in de gezondheidszorg; synthetische data moet ook rechtvaardigheid behouden in downstream taken. De tool stelt onderzoekers en data-eigenaren in staat deze afwegingen expliciet te verkennen.

De auteurs blijven bescheiden over hun huidige reikwijdte, en merken op dat de tool momenteel wordt gebruikt door een kleine gemeenschap van onderzoekers. Zij erkennen uitdagingen in de finalisatie van de architectuur, tokenlimieten voor cloudproviders en coördinatie tussen meerdere agenten. Toekomstig werk richt zich op het verbeteren van interoperabiliteit, implementeren op persistente servers, het waarborgen van naleving van standaarden zoals HL7/HIPAA, en het uitbreiden van experimenten naar meer diverse datasets.