💻 computer science

PrivFusion: A Privacy-preserving Multi-Agent Framework for Harmonizing Distributed Datasets

PrivFusion is een privacybehoudend multi-agentkader dat de harmonisatie van heterogene gedistribueerde klinische datasets automatiseert via iteratieve feature-uitlijning, waarmee een kritieke barrière voor effectief Federated Learning wordt overwonnen.

Oorspronkelijke auteurs: Anisa Halimi, Liubov Nedoshivina, Kieran Fraser, Stefano Braghin

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Anisa Halimi, Liubov Nedoshivina, Kieran Fraser, Stefano Braghin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme potluck-diner wilt organiseren waarbij iedereen een gerecht meebrengt, maar niemand mag zijn eigen keuken verlaten. Het doel is om één heerlijk menu te creëren dat iedereen samen kan genieten. Er is echter een addertje onder het gras: elke kok gebruikt verschillende maatbekers, spreekt verschillende talen en noemt dezelfde ingrediënten met verschillende namen. De één noemt het "meel", de ander "tarwemeel" en een derde vermeldt het als "wit poeder".

Dit is precies het probleem dat ziekenhuizen en onderzoeksinstellingen tegenkomen wanneer ze hun medische gegevens willen combineren om kunstmatige intelligentie (KI)-modellen te trainen. Ze kunnen hun patiëntgegevens niet zomaar naar een centrale computer sturen vanwege privacywetgeving. Hier komt Federated Learning om de hoek kijken: het stelt hen in staat om samen KI te trainen zonder de gegevens te verplaatsen. Maar, zoals het paper uitlegt, faalt dit systeem vaak omdat de gegevens te rommelig en inconsistent zijn.

Dan is er PrivFusion, een nieuwe "digitale matchmaker" die deze rommel moet oplossen voordat het koken (trainen) zelfs maar begint.

Het Probleem: De "Toren van Babel" van Gegevens

De auteurs wijzen erop dat Federated Learning in theorie geweldig is, maar in de praktijk tegen een muur loopt. Het ene ziekenhuis registreert de leeftijd van een patiënt als een getal (bijvoorbeeld "45"), terwijl het andere het als tekst schrijft ("vijfenveertig"). Het ene vermeldt een locatie als een stadsnaam, het andere als een GPS-coördinaat en een derde als een landcode.

Traditioneel vereist het oplossen hiervan dat een team mensen zich neerzet en duizenden rijen gegevens handmatig herschrijft. Dit is traag, duur en vaak onmogelijk zonder privacyregels te schenden.

De Oplossing: Een Team van Digitale Agenten

PrivFusion lost dit op door een team van KI-agenten (denk aan hen als gespecialiseerde digitale assistenten) te gebruiken die op een privacyvriendelijke manier samenwerken. Hier is hoe het proces stap voor stap werkt:

De Lokale Check-up (De Analisten):
In plaats van hun daadwerkelijke patiëntgegevens naar een centrale server te sturen, stuurt elk ziekenhuis een "samenvattingsrapport" gegenereerd door hun eigen lokale KI. Dit rapport bevat:
- Welk type gegevens ze hebben (getallen, datums, tekst).
- Wat de gegevens betekenen (bijvoorbeeld: "Deze kolom vertegenwoordigt een datum").
- Enkele synthetische voorbeelden. Stel je deze voor als "dummy-gerechten" die in de keuken zijn gemaakt. Ze zien eruit en smaken als het echte eten (zelfde formaat, dezelfde structuur), maar bevatten geen echte ingrediënten (geen echte patiëntnamen of geheimen). Deze helpen de server om de vorm van de gegevens te begrijpen zonder de daadwerkelijke gegevens te zien.
De Centrale Matchmaker (De Server):
Een centrale server ontvangt deze samenvattingsrapporten en de dummy-voorbeelden. Het ziet de echte gegevens niet; het ziet alleen de "menu-beschrijvingen".
- Clustering: De server groepeert vergelijkbare items samen. Het beseft dat "Totaal Aantal Gevallen", "TotaalAantalPositieveGevallen" en "gevallen" allemaal hetzelfde betekenen.
- Aanbevelingen: De server fungeert als een chef-kok en stuurt een lijst met instructies terug naar elke keuken: "Verander je kolomnaam naar 'gevallen', converteer je datums naar dit specifieke formaat en negeer deze ene kolom die niet overeenkomt met die van de anderen."
De Transformatie (De Koks):
Elk ziekenhuis neemt deze instructies en past ze lokaal toe op hun eigen gegevens. Ze updaten hun eigen "menu" om te voldoen aan de nieuwe standaard.
De Lus:
Ze sturen de bijgewerkte samenvatting terug naar de server. Als de server ziet dat ze nog niet helemaal uitgelijnd zijn, stuurt het nieuwe instructies. Dit gebeurt in een lus (meestal slechts 2 of 3 keer) totdat iedereen dezelfde taal spreekt.

De Resultaten: Snelheid en Privacy

De onderzoekers testten dit systeem met vier real-world COVID-19 datasets uit verschillende landen (Afghanistan, Indonesië, Italië en de VS). Deze datasets waren een rommel van verschillende formaten en namen.

Efficiëntie: Het systeem slaagde erin om de gegevens te harmoniseren in slechts 2 tot 3 rondes van communicatie.
Nauwkeurigheid: Het slaagde erin om kenmerken zoals datums en locatietcodes uit te lijnen, waardoor een chaotische mix van formaten werd omgezet in een schone, gestandaardiseerde set.
Privacy: Cruciaal is dat het paper beweert dat de server op geen enkel moment de daadwerkelijke patiëntgegevens zag. Het zag alleen de "dummy"-voorbeelden en metadata. De server kon niet achterhalen wie de patiënten waren, noch kon het specifieke details over individuen stelen.

De "Geheime Ingrediënt" (Grote Taalmodellen)

Het systeem vertrouwt op geavanceerde KI-modellen (zoals GPT en Llama) om de betekenis achter de woorden te begrijpen, niet alleen de spelling. Zo weet het bijvoorbeeld dat "Datum" en "jjjj-mm-dd" hetzelfde concept zijn, zelfs als ze er anders uitzien. Het paper vond dat verschillende KI-modellen verschillende persoonlijkheden hadden: sommige waren zeer streng en volgden regels perfect, terwijl anderen creatiever waren maar soms onnodige wijzigingen maakten.

De Conclusie

PrivFusion is een tool die het saaie, privacy-schendende werk van het opschonen van medische gegevens automatiseert. Het stelt verschillende instellingen in staat om "dezelfde taal te spreken" zonder ooit hun geheime recepten te hoeven delen. Het paper concludeert dat dit het veel eenvoudiger maakt om grootschalige, collaboratieve medische studies uit te voeren zonder de privacy van patiënten te schaden, mits de KI-agenten worden geleid door de juiste regels.

Technische Samenvatting: PrivFusion

Probleemstelling

De snelle groei van klinische en biomedische gegevens heeft de adoptie van Machine Learning (ML) voor taken zoals risicovoorspelling en cohortontdekking gestimuleerd. Echter, traditionele gecentraliseerde data-aggregatie is vaak niet haalbaar voor gevoelige informatie (bijvoorbeeld elektronische gezondheidsdossiers) vanwege privacy-, beveiligings- en governance-beperkingen. Hoewel Federated Learning (FL) een gedistribueerd alternatief biedt door data lokaal te houden, wordt de implementatie in de praktijk belemmerd door data-heterogeniteit tussen instellingen.

Klinische datasets verschillen vaak in definitie van kenmerken, coderingsystemen, granulariteit en meetpraktijken. Voordat gedistribueerde analyse kan plaatsvinden, moeten deze datasets worden geharmoniseerd – een arbeidsintensief proces dat variabele uitlijning en semantische resolutie omvat. Bestaande FL-methodologieën gaan vaak onrealistisch uit van een vooraf voltooid harmonisatieproces, wat een grote bottleneck creëert. Bestaande oplossingen die op ontologieën zijn gebaseerd, vereisen vaak centralisatie of vooraf gedefinieerde mappings, die moeilijk tot stand te brengen zijn tussen instellingen met verschillende werkwijzen. Er is een kritieke behoefte aan geautomatiseerde, schaalbare en privacy-bewarende harmonisatiemethoden die in gedistribueerde omgevingen werken zonder ruwe gevoelige data te centraliseren.

Methodologie: Het PrivFusion-kader

PrivFusion is een privacy-bewarend multi-agent kader dat is ontworpen om de harmonisatie van gestructureerde datasets te automatiseren voordat federatief trainen plaatsvindt. Het werkt binnen een honest-but-curious (eerlijk maar nieuwsgierig) bedreigingsmodel waarbij een centrale server het protocol volgt, maar mogelijk probeert gevoelige informatie af te leiden. Het kader omvat twee partijen: onderzoekers (die lokale datasets in bezit hebben) en een server (aggregator).

Het proces is iteratief en bestaat uit vier hoofdfasen:

Lokale metadata-generatie (Dataset Analyzer):
Elke onderzoeker analyseert lokaal zijn dataset ( $D_i$ ) met behulp van een reeks agenten om metadata ( $M_i$ ) te genereren zonder ruwe data te delen. Dit omvat:
- Feature-extractie: Identificeren van datatypes (bijvoorbeeld string, numeriek) en semantische types met behulp van een algemeen doel-ontologie (DBPedia).
- Generatie van beschrijvingen: Agenten ( $A_D$ , $A_F$ ) genereren datasetbeschrijvingen en semantische feature-beschrijvingen.
- Inferentie van relaties: Een agent ( $A_R$ ) leidt relaties tussen features af, terwijl een andere ( $A_T$ ) relevante onderwerpen extraheren.
- Synthetische data: Onderzoekers genereren $n$ synthetische steekproeven met lage bruikbaarheid met behulp van Differential Privacy (DP)-benaderingen om de server te sturen over feature-formaten en domeinen.
Feature-clustering (Server-zijde):
De server ontvangt metadata ( $M_i$ ) van alle locaties. Een agent ( $A_C$ ) clusterd features over datasets heen op basis van semantische gelijkenis (namen, datatypes en DBPedia-URI's). Features binnen dezelfde cluster worden geïdentificeerd als kandidaten voor consolidatie of uitlijning.
Aanbeveling voor transformatie (Server-zijde):
Een aanbevelingsagent ( $A_H$ ) analyseert de clusters en metadata om noodzakelijke transformaties te bepalen. Het vergelijkt DBPedia-URI's en semantische beschrijvingen om te convergeren naar een representatieve URI en granulariteitsniveau. De server geeft specifieke instructies voor elke locatie, waarin wordt gedetailleerd welke features moeten worden gecombineerd, verwijderd of gewijzigd, en de doelrepresentatie.
Lokale transformatie en iteratie:
Onderzoekers passen de aanbevolen transformaties lokaal toe met Python-scripts of een code-genererende LLM ( $M_C$ ). De bijgewerkte metadata wordt opnieuw naar de server verzonden. Deze lus gaat door totdat geen verdere transformaties meer vereist zijn of een maximum aantal iteraties ( $T$ ) is bereikt.

Belangrijkste Bijdragen

Geautomatiseerde privacy-bewarende harmonisatie: PrivFusion introduceert een kader dat de uitlijning van heterogene datasets tussen instellingen automatiseert zonder ruwe data te centraliseren, en zo een kritische voorwaarde voor FL adresseert die vaak over het hoofd wordt gezien in de literatuur.
Multi-agent architectuur: Het systeem maakt gebruik van gespecialiseerde agenten voor afzonderlijke taken (analyse, clustering, aanbeveling, code-generatie) om de complexiteit van semantische uitlijning en transformatielogica te hanteren.
Ontologie-gedreven semantische uitlijning: Door het gebruik van DBPedia-URI's en semantische beschrijvingen gaat het kader voorbij aan eenvoudige string-matching om te redeneren over de semantische betekenis van features, waardoor de uitlijning van conceptueel equivalente maar structureel verschillende kolommen mogelijk wordt.
Gidsfunctie synthetische data: Het gebruik van synthetische steekproeven met lage bruikbaarheid stelt de server in staat feature-domeinen en -formaten te begrijpen terwijl privacywaarborgen worden gehandhaafd, waardoor lekkage van statistieken op individueel niveau wordt voorkomen.

Evaluatie en Resultaten

Het kader werd geëvalueerd op vier real-world, heterogene COVID-19-datasets uit Indonesië (IDN), Afghanistan (AFG), Italië (IT) en de VS. Deze datasets vertoonden aanzienlijke verschillen in datumformaten, locatiegranulariteit (bijvoorbeeld county versus provincie versus land) en conventies voor feature-namen.

Experimentele Opstelling:

Modellen: De auteurs testten verschillende combinaties van Large Language Models (LLM's), waaronder GPT-OSS-120b (GPT-120b), Llama-3-70b (Llama-70b) en DeepSeek-Coder-33b (DSC-33b).
Metingen: Convergentiesnelheid (aantal iteraties), totaal aantal aanbevolen transformaties en het aantal gemeenschappelijke features (met dezelfde naam en DBPedia-URI) na harmonisatie.

Belangrijkste Bevindingen:

Efficiëntie: PrivFusion bereikte doorgaans harmonisatie binnen 2–3 iteraties voor paarwijze datasetcombinaties. Bijvoorbeeld, het paar IDN-AFG convergeerde in 2 iteraties met GPT-120b.
Feature-uitlijning: Het kader standardiseerde succesvol feature-namen (bijvoorbeeld naar snake_case), harmoniseerde datumformaten en aligneerde locatiegranulariteiten.
Impact van LLM's:
- GPT-120b toonde superieure instructie-opvolging, herkende vaak wanneer verdere iteraties onnodig waren en gaf de voorkeur aan incrementele updates.
- Llama-70b toonde meer creativiteit, maar paste soms normalisatiestappen verkeerd toe of introduceerde onnodige wijzigingen (bijvoorbeeld het willekeurig hernoemen van features), wat leidde tot hogere aantallen iteraties in sommige configuraties.
- DeepSeek-Coder produceerde correcte code, maar genereerde soms onvolledige antwoorden die handmatige ingrijpen vereisten.
Schaalbaarheid: De complexiteit nam niet-lineair toe met het aantal partijen. Waar paarwijze harmonisatie weinig transformaties vereiste, vereisten multi-partij scenario's (bijvoorbeeld AFG-IDN-IT) aanzienlijk meer transformaties (tot 49 in sommige configuraties) en iteraties.
Convergentie: Jaccard-ähnelijkheidscores tussen feature-namen piekten doorgaans binnen 3–6 iteraties, wat wijst op een snelle stabilisatie van het schema.

Betekenis en Beperkingen

Betekenis:
PrivFusion demonstreert dat geautomatiseerde, privacy-bewarende harmonisatie haalbaar en effectief is. Door de manuele last van het uitlijnen van datasets te verminderen, verbreedt het de toegang tot collaboratieve analyses en verbetert het de generaliseerbaarheid van resulterende modellen. Het kader overbrugt succesvol de kloof tussen het theoretische potentieel van Federated Learning en de praktische realiteit van heterogene, gesiloede klinische data.

Beperkingen:

Afhankelijkheid van LLM's: De prestaties zijn afhankelijk van de consistentie van het redeneren van de onderliggende LLM, wat kan variëren. LLM's kunnen features soms te sterk of te weinig uitlijnen.
Mens in de lus: In klinische situaties met hoge risico's erkennen de auteurs dat menselijke review van aanbevelingen waarschijnlijk noodzakelijk is om semantische nauwkeurigheid en betrouwbaarheid te waarborgen.
Theoretische garanties: Hoewel het kader convergeerde in experimenten, mist het theoretische garanties met betrekking tot het aantal iteraties dat nodig is voor convergentie.
Rekenkosten: De multi-agent workflow kan rekenintensief zijn, wat mogelijk uitdagingen oplevert voor instellingen met beperkte middelen.

Het artikel concludeert dat, hoewel PrivFusion datasets effectief harmoniseert met minimale transformaties, toekomstig werk de toepassing op aanvullende domeinen zal verkennen en de evaluatie van alternatieve LLM's zal om de schaalbaarheid verder te verbeteren.