Automatic End-to-End Data Integration using Large Language Models

Dit paper introduceert een volledig geautomatiseerde data-integratiepijplijn die GPT-5.2 gebruikt om alle benodigde artefacten te genereren, en toont aan dat deze methode vergelijkbare of zelfs betere resultaten oplevert dan menselijk ontworpen pijplijnen tegen een fractie van de kosten.

De kern

Stel je voor dat je drie verschillende bibliotheken hebt die je wilt samenvoegen tot één grote, perfecte bibliotheek. Maar er is een groot probleem:

• In bibliotheek A staan boeken opgeslagen met de titel "Hoe te koken" en de auteur "Julia".
• In bibliotheek B heet hetzelfde boek "Kookkunst" en de schrijver "J. Smith".
• In bibliotheek C staat het onder "Recepten" met de naam "Julia Child".

Vroeger moest een menselijke bibliothecaris (een data-engineer) urenlang zitten om te beslissen: "Ah, dit is hetzelfde boek!" en om alle namen en titels in één standaardvorm te gieten. Dit is saai, duur en tijdrovend.

Dit artikel vertelt over een nieuw experiment waarbij een super-intelligente robot (een Large Language Model, specifiek GPT-5.2) deze hele klus voor zijn rekening neemt. De onderzoekers hebben geprobeerd om deze robot de volledige taak te laten uitvoeren, van het vinden van de overeenkomsten tot het samenvoegen van de gegevens, zonder dat een mens ook maar één knop heeft gedrukt of één label heeft geplakt.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Oplossen van de Puzzel (Schema Matching)

Stel je voor dat elke bibliotheek een eigen kaartsysteem heeft. De robot moet eerst begrijpen dat "Auteur" in de ene lijst hetzelfde is als "Schrijver" in de andere, en dat "Jaartal" hetzelfde is als "Publicatiedatum".

• De mens: Kijkt naar de koppen en denkt na: "Oké, dit lijkt op dat."
• De robot: Leest de hele lijst, kijkt naar de inhoud (bijv. "2023" vs "Launched in 2023") en zegt direct: "Dit is 100% hetzelfde!"
• Het resultaat: De robot was net zo goed als de mens, en zelfs beter bij lijsten met saaie namen zoals "Kolom 1" en "Kolom 2", omdat hij de inhoud kon "ruiken" om te weten wat het was.

2. Het Standaardiseren van de Spelling (Value Normalization)

Soms schrijven mensen dingen anders. De ene schrijft "PS4", de ander "PlayStation 4". De ene schrijft "1 miljoen", de ander "1.000.000".

• De mens: Moet een lijstje maken met alle mogelijke varianten en handmatig omzetten.
• De robot: Gebruikt zijn enorme kennisbank. Hij weet direct dat "PS4" en "PlayStation 4" hetzelfde zijn, en dat "2000 seconden" waarschijnlijk "33 minuten" is. Hij doet dit automatisch voor duizenden regels, iets wat voor een mens veel te veel werk zou zijn.

3. Het Vinden van Dubbele Boeken (Entity Matching)

Dit is het moeilijkste deel: zeker weten dat "Julia Child" in lijst A en "J. Child" in lijst B echt dezelfde persoon zijn.

• De mens: Moet duizenden voorbeelden handmatig labelen ("Ja, dit is hetzelfde" / "Nee, dit is anders") om een computerprogramma te trainen.
• De robot: Gebruikt een slimme truc genaamd "Actief Leren". In plaats van alles te labelen, vraagt de robot: "Ik twijfel over deze twee. Kun jij me vertellen of dit hetzelfde is?" en leert dan direct van het antwoord.
• Het resultaat: De robot leerde net zo snel en nauwkeurig als de mens, maar kostte slechts een fractie van de tijd.

4. Het Samenvoegen van de Beste Informatie (Data Fusion)

Stel je voor dat je twee bronnen hebt over een film. Bron A zegt: "De film duurde 90 minuten." Bron B zegt: "De film duurde 1 uur en 30 minuten." Wat is de waarheid?

• De mens: Kijkt naar de bronnen en beslist: "Bron B is betrouwbaarder, dus ik kies die."
• De robot: Kijkt ook naar de bronnen, maar gebruikt soms internet om te checken wat de actuele waarheid is.
• Het resultaat: Voor vaste dingen (zoals de naam van een band) was de robot perfect. Voor dingen die veranderen (zoals de huidige winst van een bedrijf) was de robot soms iets minder goed, omdat zijn kennis soms iets verouderd is. Maar over het algemeen was het resultaat zeer goed.

De Kosten en Tijd: De "Robot vs. Mens" Vergelijking

Dit is misschien wel het meest indrukwekkende deel van het verhaal:

• De Mens: Kostte ongeveer 19 uur werk per project (een hele werkweek voor één persoon) en kostte veel geld in loonkosten.
• De Robot: Kostte ongeveer 2 uur (waarvan de robot gewoon "droomde" terwijl de computer draaide) en kostte slechts $9 aan rekenkosten.

De kwaliteit van het eindresultaat (de samengevoegde bibliotheek) was nagenoeg hetzelfde. De robot maakte net zo'n grote en complete verzameling als de mens.

Conclusie: Wat betekent dit voor ons?

Dit onderzoek laat zien dat we binnenkort misschien geen dure data-engineers meer nodig hebben om saaie, repetitieve taken uit te voeren bij het samenvoegen van gegevens. Een slimme AI kan de "plaatjes" leggen, de "spelling" corrigeren en de "dubbelingen" oplossen voor een prikkie.

Het is alsof je vroeger een heel team nodig had om een muur te metselen, maar nu een slimme 3D-printer hebt die het in een paar uur doet, met precies dezelfde kwaliteit. De mens hoeft dan alleen nog maar toe te kijken en eventueel de laatste hand te leggen als de printer een rare steen gebruikt.

Kortom: De robot kan de zware, saaie klus van data-integratie overnemen, waardoor mensen zich kunnen richten op de creatieve en strategische onderdelen van hun werk.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Automatic End-to-End Data Integration using Large Language Models" van Aaron Steiner en Christian Bizer, in het Nederlands.

Probleemstelling

Data-integratie is het proces van het samenvoegen van data uit verschillende, heterogene bronnen tot een coherent dataset. Traditioneel vereist dit proces aanzienlijke manuele inspanning van data-engineers voor het configureren van pijplijncomponenten en het labelen van trainings- en validatiedata. De stappen omvatten:

1. Schema-matching: Het afstemmen van attributen tussen bronnen.
2. Waarde-normalisatie: Het standaardiseren van dataformaten.
3. Entiteit-matching: Het identificeren van records die verwijzen naar dezelfde realiteit.
4. Data-fusie: Het oplossen van conflicten en het creëren van één geconsolideerd record.

Hoewel Large Language Models (LLMs) veelbelovend zijn gebleken voor individuele stappen, is er nog geen onderzoek gedaan naar hun potentieel om de hele end-to-end integratiepijplijn te automatiseren zonder menselijke input.

Methodologie

De auteurs presenteren een volledig geautomatiseerde data-integratiepijplijn die GPT-5.2 gebruikt om alle artefacten te genereren die nodig zijn om de pijplijn aan te passen aan specifieke use cases. De pijplijn is gebaseerd op het open-source framework PyDI.

De automatische pijplijn voert de volgende taken uit:

• Schema-matching: GPT-5.2 wordt geprompt om kolommen in bron-datasets af te stemmen op een doelschema. Het model analyseert kolomnamen, waarden en voorbeeldrijen (in Markdown) om semantische relaties te vinden, zelfs bij niet-beschrijvende kolomnamen (bijv. "Attribuut 1").
• Waarde-normalisatie: Voor standaard typen (datums, nummers) worden code-gebaseerde normalisatoren gebruikt. Voor categorische attributen (bijv. genres, platforms) gebruikt de LLM zijn achtergrondkennis om synoniemen, afkortingen en hiërarchische relaties te mappingen naar een doeltaxonomie.
• Entiteit-matching: In plaats van handmatig trainingsdata te labelen, gebruikt de pijplijn een Active Learning workflow:
  1. Embedding-based blocking genereert kandidaat-paren.
  2. GPT-5.2 labelt een klein aantal "seed-paren" (positief en negatief).
  3. Klassieke ML-modellen (RandomForest, XGBoost, etc.) worden getraind op deze data.
  4. Het model selecteert onzekere paren voor verdere labeling door de LLM totdat een doelgrootte is bereikt.
• Data-fusie: De LLM genereert validatiedatasets door bekende entiteiten te selecteren en de "juiste" waarde te voorspellen (optioneel met RAG via webzoekfuncties voor actuele data). Deze validatiedata wordt gebruikt om de beste conflictoplossingsheuristieken (bijv. stemmen, mediane, bron-prioriteit) te selecteren.

Evaluatie en Gebruiksgevallen

De auteurs evalueren hun aanpak tegenover menselijk ontworpen pijplijnen (gemaakt door masterstudenten) in drie case studies:

1. Video Games: Integratie van DBpedia, Metacritic en verkoopdata.
2. Bedrijven: Integratie van Forbes, DBpedia en FullContact.
3. Muziek: Integratie van Discogs, Last.fm en MusicBrainz.

Belangrijkste Resultaten

1. Schema-matching:

   • De LLM-pijplijn behaalde een perfecte F1-score (1.00), identiek aan de menselijke engineers.
   • De LLM slaagde erin semantiek af te leiden uit waarden, zelfs bij datasets zonder beschrijvende headers, terwijl traditionele label- en instance-based matchers veel lagere scores behaalden.

2. Entiteit-matching:

   • ML-matchers getraind op LLM-gelabelde data presteerden beter dan zowel menselijk geconfigureerde matchers als matchers getraind op menselijke labels (Gemiddelde F1: 0.937 vs. 0.916 voor menselijke labels en 0.894 voor menselijke configuratie).
   • De active learning-aanpak was extreem kostenefficiënt: in plaats van duizenden paren te labelen, labelde de LLM slechts enkele honderden paren per datasetpaar.

3. Data-fusie:

   • Voor statische domeinen (Games, Muziek) presteerde de LLM-validatie bijna even goed als menselijke validatie.
   • Bij het "Bedrijven"-domein was er een prestatieverschil (LLM: 74.4% vs Mens: 86.1%), voornamelijk door temporele mismatches (de LLM geeft huidige waarden, terwijl de brondata verouderd is).
   • RAG (Retrieval-Augmented Generation) verbeterde de resultaten licht, maar loste het temporele probleem niet volledig op.

4. End-to-End Resultaten:

   • De LLM-pijplijn produceerde output-datasets van vergelijkbare grootte en dichtheid als de menselijke pijplijnen.
   • De Row Gain (toename in aantal rijen) was aanzienlijk (27-41% ten opzichte van de grootste invoerdataset).

5. Kosten en Tijd:

   • Tijd: De configuratie door de LLM kostte ongeveer 1,9 uur per use case (volledig geautomatiseerd). De menselijke baseline vereiste naar schatting ≥19 uur per use case.
   • Kosten: De kosten voor de LLM-configuratie bedroegen ongeveer $9 per use case (totaal ~$27 voor alle drie), voornamelijk gedreven door de kosten voor RAG-validatie. Menselijke arbeid zou aanzienlijk duurder zijn.

Bijdragen

1. Volledige Automatisering: Een end-to-end pijplijn die LLMs gebruikt voor alle stappen die traditioneel menselijke expertise vereisen (methodekeuze, labelen, validatie).
2. Empirische Vergelijking: Een uitgebreide evaluatie die laat zien dat LLM-pijplijnen vergelijkbare of betere resultaten kunnen leveren dan menselijke experts in diverse domeinen.
3. Identificatie van Beperkingen: Inzicht in de zwakke punten van LLMs, zoals het hanteren van 1:n-relaties, aggregatie en het up-to-date houden van tijdsgevoelige data.
4. Open Data: Publicatie van alle datasets, trainings- en validatiesets om de evaluatie van end-to-end integratiepijplijnen te bevorderen.

Significantie

De studie bewijst dat LLMs een praktisch en kostenefficiënt alternatief kunnen zijn voor menselijke data-engineers bij het configureren van data-integratiepijplijnen. Hoewel er nog uitdagingen zijn bij complexe schema-relaties en tijdsgevoelige data, kan de LLM de configuratietijd met een factor 10 reduceren en de kosten drastisch verlagen, terwijl de kwaliteit van de geïntegreerde data behouden blijft of zelfs verbetert. Dit opent de weg voor schaalbare, autonome data-integratie in organisaties.