WikiDBGraph: A Data Management Benchmark Suite for Collaborative Learning over Database Silos

Dit paper introduceert WikiDBGraph, een uitgebreide benchmarksuite gebaseerd op 100.000 real-world databases, om de kloof tussen bestaande methoden voor collaboratief leren en de complexe realiteit van gefragmenteerde en niet-uitgelijnde databasesiloes te dichten.

De kern

Stel je voor dat de wereld vol zit met enorme bibliotheken, maar elke bibliotheek zit in een ander gebouw, heeft een eigen indeling, en de bibliothecarissen praten een andere taal. Ze hebben allemaal waardevolle boeken (data) over hetzelfde onderwerp, zoals geschiedenis of geneeskunde, maar ze kunnen die boeken niet met elkaar delen omdat ze bang zijn hun privacy te schenden of omdat de boeken gewoon te anders zijn om direct te vergelijken.

Dit is precies het probleem dat WikiDBGraph probeert op te lossen. Hier is een uitleg in gewone taal, met een paar creatieve vergelijkingen.

1. Het Probleem: De Geïsoleerde Eilanden

Vroeger dachten onderzoekers dat als je een AI-model wilde trainen, je gewoon alle gegevens van iedereen bij elkaar moest gooien in één grote bak. Maar in de echte wereld gebeurt dat niet. Bedrijven, ziekenhuizen en overheden hebben hun eigen "data-silo's" (geïsoleerde data-eilanden).

Bestaande methoden om samen te werken (zoals Federated Learning) gaan vaak uit van een te mooi beeld: ze doen alsof alle bibliotheken exact dezelfde indeling hebben en dat ze perfect op elkaar aansluiten.

• De vergelijking: Het is alsof je probeert een puzzel te maken, maar je doet alsof alle puzzelstukjes van verschillende puzzels precies hetzelfde zijn en perfect passen. In de echte wereld passen ze echter vaak niet: sommige stukjes hebben een andere vorm, andere kleuren, of ontbreken helemaal.

2. De Oplossing: WikiDBGraph (De "Google Maps" voor Databases)

De auteurs van dit paper hebben een nieuw hulpmiddel gebouwd genaamd WikiDBGraph.

• Wat is het? Stel je voor dat je een gigantische kaart tekent van 100.000 verschillende databases. Op deze kaart zie je niet alleen de databases zelf, maar ook de wegen ertussen.
• Hoe werkt het? Ze hebben een slimme "detective" (een AI-model) gebruikt die de inhoud van deze databases leest en zegt: "Hey, deze database over historische monumenten lijkt erg op die database over nationale schatten, zelfs al hebben ze niet precies dezelfde namen voor hun kolommen."
• Het resultaat: Ze hebben een netwerk gemaakt met 17 miljoen verbindingen. Het is alsof ze een sociale netwerk-app hebben gebouwd voor databases, waarbij ze zien wie met wie "vrienden" is (vergelijkbaar is) en hoe sterk die vriendschap is.

3. De Uitdaging: Het "Vertalen" en "Samenvoegen"

Het paper laat zien dat het simpelweg "samenwerken" niet genoeg is. Er zijn drie grote struikelblokken die ze hebben ontdekt:

1. De taalbarrière (Schema Matching): Database A noemt een kolom "Gebouwjaar", Database B noemt het "Stichtingsdatum". De AI moet eerst begrijpen dat dit hetzelfde is.
2. De onvolledige puzzel (Unjoinable Data): Soms zijn de databases zo groot dat je ze niet fysiek kunt samenvoegen tot één grote tabel. Het is alsof je twee enorme bergjes Lego hebt die je niet in één doos kunt stoppen. Je moet slimme manieren vinden om er toch mee te werken zonder alles te verplaatsen.
3. De halve overeenkomst (Hybrid Overlap): Soms hebben databases sommige dingen gemeen (bijvoorbeeld: ze hebben allebei een lijst met namen), maar niet alles. Ze overlappen deels horizontaal (dezelfde mensen, andere gegevens) en deels verticaal (andere mensen, dezelfde gegevens). Bestaande AI-methoden weten hier vaak geen raad mee.

4. Wat hebben ze ontdekt? (De Resultaten)

De auteurs hebben hun nieuwe kaart (WikiDBGraph) gebruikt om te testen hoe goed bestaande AI-methoden werken in deze echte, rommelige situatie.

• De verrassing: Bestaande methoden werken vaak prima als alles perfect is, maar in de echte wereld (met de rommelige databases) zakken ze vaak in prestaties.
• De oorzaak: Het probleem zit vaak niet in de AI-methode zelf, maar in de voorbereiding. Als je de databases niet eerst goed "vertaalt" en "schuift" zodat ze op elkaar lijken, krijg je slechte resultaten. Het is alsof je een topkok bent, maar je krijgt slechte ingrediënten die niet zijn gewassen of gesneden; dan wordt het gerecht niet lekker, hoe goed de kok ook is.
• De hoop: Als je wel goed kijkt naar de verbindingen tussen de databases (zoals in hun "Case Study" over historische plekken), kun je wel enorme winst behalen. Door slim samen te werken, leren de AI's van elkaar en worden ze veel slimmer dan als ze alleen hadden gewerkt.

Samenvatting in één zin

WikiDBGraph is een gigantische, slimme kaart die laat zien welke databases in de echte wereld eigenlijk met elkaar "vrienden" zijn, zodat we eindelijk kunnen leren hoe we die databases veilig en effectief samen kunnen laten werken, zonder dat we onze geheimen hoeven te delen.

Het paper zegt eigenlijk: "Stop met dromen van perfecte, schone data. De echte wereld is rommelig en complex. Hier is een kaart om die rommel te navigeren en echt slimme samenwerking mogelijk te maken."

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "WikiDBGraph: A Data Management Benchmark Suite for Collaborative Learning over Database Silos" in het Nederlands.

Probleemstelling

Relatie databases zijn vaak gefragmenteerd over verschillende organisaties, wat leidt tot datasilos. Dit hindert gedistribueerd data management en mining. Collaborative Learning (CL) (zoals Federated Learning en Split Learning) biedt een oplossing door modellen gezamenlijk te trainen zonder ruwe data te delen.

Echter, bestaande CL-benchmarks en algoritmen hebben ernstige tekortkomingen voor real-world toepassingen:

1. Onrealistische aannames: Bestaande benchmarks gaan vaak uit van geïsoleerde databases, perfecte horizontale of verticale uitlijning (dezelfde features of dezelfde samples), en de mogelijkheid om databases volledig te joinen tot één tabel.
2. Gebrek aan end-to-end pipeline: Ze focussen voornamelijk op het trainingsstadium en negeren de complexe data-management stappen zoals schema-matching, data-alignement en het omgaan met niet-joinbare databases.
3. Synthetische data: Veel benchmarks gebruiken synthetisch gegenereerde data die de natuurlijke heterogeniteit en imperfecte overlapping van echte web-databases niet weerspiegelt.

Het paper stelt dat er een significante kloof bestaat tussen het ontwerp van CL-algoritmen en de praktische implementatie in real-world scenario's waar databases onderling verbonden, niet-uitgelijnd en soms niet-joinbaar zijn.

Methodologie

Om deze kloof te overbruggen, hebben de auteurs WikiDBGraph ontwikkeld, een groot schaalbaar dataset-benchmark suite. De constructie verloopt als volgt:

1. Brondata: Het project start met WikiDBs, een corpus van 100.000 relationele databases afgeleid van Wikidata.
2. Identificatie van relaties (Contrastive Learning):
   • In WikiDBs zijn expliciete relaties tussen databases schaars (slechts ~8.800 paren van de 100.000).
   • De auteurs trainen een contrastief leermodel (gebaseerd op BGE-M3) om impliciete correlaties te ontdekken.
   • Serialisatie: Elke database wordt omgezet in een beknopte tekstuele weergave (abstract) die schema-informatie (namen van tabellen/kolommen) en steekproeven van data bevat.
   • Training: Het model leert embeddings te genereren waarbij databases met dezelfde wikidata_topic_item_id (TID) als positieve paren worden behandeld en andere als negatieve paren. Dit model voorspelt vervolgens de waarschijnlijkheid van een relatie tussen databases die geen expliciete TID-deling hebben.
3. Graph Constructie:
   • Op basis van de voorspelde similariteitscores wordt een graaf opgebouwd waarbij knopen databases zijn en gewogen randen de sterkte van de correlatie aangeven.
   • Er worden 13 eigenschappen per knoop (database) en 12 eigenschappen per rand (relatie) gedefinieerd. Deze omvatten structurele, semantische en statistische kenmerken (bijv. aantal tabellen, schema-overlapping, data-distributie-divergentie).
4. Geautomatiseerde Data Mining Pipeline:
   • Om CL-algoritmen te evalueren, hebben de auteurs een pipeline ontworpen die automatisch databaseparen selecteert, labels kiest, tabellen joint (tot een limiet van 1 miljoen rijen om geheugen te sparen), kolommen aligneert (via string-matching) en de data voorbereidt voor training.

Kernbijdragen

1. WikiDBGraph Dataset: Een open-source, groot schaalbare graaf van 100.000 onderling verbonden relationele databases met 17 miljoen gewogen randen. Het is de eerste benchmark die hybride relaties (horizontaal én verticaal) en variërende graden van correlatie tussen clients ondersteunt.
2. Automatische Evaluatie Pipeline: Een end-to-end proces dat bestaande CL-algoritmen toetst op realistische, niet-ideale datacondities, inclusief schema-matching en data-preprocessing.
3. Case Studies en Inzichten: Drie specifieke case studies (feature-overlap, instance-overlap en hybride-overlap) die de prestaties van bestaande methoden analyseren en nieuwe uitdagingen voor toekomstig onderzoek identificeren.

Resultaten

De experimenten op WikiDBGraph leveren de volgende bevindingen op:

• Effectiviteit van CL: Bestaande CL-algoritmen (zoals FedAvg, FedProx, SplitNN) presteren over het algemeen beter dan het trainen op geïsoleerde databases (Solo), maar blijven significant achter bij centraal getrainde modellen (Combined).
• De Preprocessing Bottleneck: De grootste beperking ligt niet in de CL-algoritmen zelf, maar in de data-preprocessing. De geautomatiseerde pipeline, die gebruikmaakt van simpele string-matching voor kolomalignement, leidt vaak tot "garbage in, garbage out".
  • In de geautomatiseerde tests verbeterde CL minder dan 50% van de taken.
  • Bij handmatig gecurateerde alignementen (in de case studies) waren de prestatieverbeteringen aanzienlijk groter, wat aantoont dat de algoritmen potentieel hebben als de data correct wordt voorbereid.
• Niet-IID Uitdagingen: De dataset toont een lange staart van hoge heterogeniteit (non-IID data). Een aanzienlijk deel van de paren (24,7%) valt in een regime van extreme heterogeniteit, wat de uitdagingen voor bestaande algoritmen benadrukt.
• Hybride Overlap: Het paper identificeert complexe scenario's waar databases zowel horizontaal als verticaal overlappen (bijv. een monumentendatabase verbonden met historische registers). Bestaande algoritmen zijn niet ontworpen voor deze hybride structuren; graph-aware methoden (zoals SFL) tonen hier veelbelovende resultaten, vooral wanneer ze gebruikmaken van rand- en knopeigenschappen.

Significantie

WikiDBGraph is een mijlpaal voor het onderzoek naar Collaborative Learning omdat het:

• De focus verschuift van puur theoretische trainingsalgoritmen naar praktisch data management in silo's.
• Een realistischere testomgeving biedt die de complexiteit van echte web-databases (onvolledige uitlijning, schaalproblemen, schema-variatie) nabootst.
• Aantoont dat voor de succesvolle implementatie van CL in de praktijk, er meer aandacht nodig is voor semantische schema-matching en data-integratie dan voor het verfijnen van de trainingsalgoritmes zelf.
• Richtlijnen biedt voor de ontwikkeling van toekomstige systemen die in staat zijn om met gedeeltelijk uitgelijnde, niet-joinbare databases om te gaan via graaf-gebaseerde strategieën.

Kortom, WikiDBGraph blootlegt de huidige beperkingen van CL-systemen in real-world scenario's en biedt een fundament voor het bouwen van robuustere, schaalbare en privacy-bewuste data-management oplossingen.