💻 computer science

Schema-Agnostic Process Trace Construction: From Raw Tables to Execution Behavior

Dit artikel stelt een schema-agnostische pijplijn voor die automatisch hoogwaardige procesuitvoeringstraces reconstrueert uit ruwe, los verbonden relationele tabellen door statistisch kern- en temporele attributen te identificeren, verbindingen tussen tabellen te ontdekken en een Temporal Convolutional Network te gebruiken om de gebeurtenisvolgorde te modelleren, waardoor de noodzaak voor vooraf gedefinieerde schema's of domeintemplates in dynamische informatiesystemen wordt geëlimineerd.

Oorspronkelijke auteurs: Joel Lim Zhi Quan, Tan Kar Way, Lau Hoong Chuin

Gepubliceerd 2026-06-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Joel Lim Zhi Quan, Tan Kar Way, Lau Hoong Chuin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die probeert het verhaal van een bankoverval te reconstrueren. In een perfecte wereld zou de politie je een netjes, chronologisch dagboek overhandigen waarin elke invoer precies zegt wie wat deed en wanneer.

Maar in de echte wereld is het bewijsmateriaal versnipperd. Je hebt een stapel losse bonnetjes, een stapel beveiligingscamera-logs, een paar handgeschreven notities en een spreadsheet met telefoongesprekken. Geen van deze documenten spreekt met elkaar. De bonnetjes hebben geen namen, de camera-logs hebben geen tijdstempels en de telefoonnotities zijn in een andere taal geschreven. Bovendien verandert de bank wekelijks haar archiefsysteem.

Dit is het probleem dat de auteurs van dit artikel oplossen. Zij houden zich bezig met moderne computersystemen (zoals banken of grote bedrijven) waar data rommelig is, verspreid over veel verschillende tabellen en constant verandert. Traditionele methoden voor het analyseren van deze systemen falen omdat ze een perfect, vooraf georganiseerde kaart (een "schema") vereisen die simpelweg niet bestaat.

Zo werkt hun oplossing, opgedeeld in eenvoudige stappen:

Het Probleel: De "Rommelige Archiefkast"

In de oude computergestuurde systemen was data als een goed georganiseerde bibliotheek. Elk boek had een duidelijk label en je wist precies op welke plank het thuishoorde.
In moderne systemen is data als de zolder van een verzamelaar.

Geen Labels: Je kunt niet gemakkelijk zien welke data bij welke klant hoort (ontbrekende "keys").
Versnipperde Aanwijzingen: Het verhaal van één enkele transactie is verdeeld over vijf verschillende tabellen.
Verwarrende Tijdlijnen: De ene tabel zegt "10:00 uur", een andere "10:05 uur" en een derde zegt gewoon "Gisteren".
Constante Renovatie: De zolder wordt opnieuw ingericht terwijl je probeert op te ruimen.

Hierdoor vereist het bouwen van een duidelijke tijdlijn van wat er is gebeurd (een "processpoor") meestal een menselijke expert die alles handmatig aan elkaar moet naaien, wat traag, duur en foutgevoelig is.

De Oplossing: Een "Schema-Agnostische" Detective

De auteurs hebben een geautomatiseerde pijplijn gebouwd die fungeert als een super slimme detective die geen kaart nodig heeft. In plaats van te vragen: "Waar is de kaart?", kijkt de detective simpelweg naar het bewijs zelf om het verhaal te ontrafelen.

Hier zijn de vier stappen die deze "detective" neemt:

1. Aanwijzingen Opsporen (Profiling)

Eerst scant het systeem elke kolom met data om te raden wat het is.

De Zoektocht naar ID's: Het zoekt naar kolommen die lijken op unieke namen (zoals een klant-ID). Het controleert: "Is deze waarde uniek? Is deze er altijd? Lijkt het op een naam?"
De Zoektocht naar Tijd: Het zoekt naar kolommen die lijken op datums. Het controleert: "Lijkt dit op een tijdstempel? Is het consistent?"
Analogie: Stel je voor dat je een stapel gemengde puzzelstukjes sorteert. De detective heeft het plaatje op de doos niet nodig; hij kijkt gewoon naar de vorm van de stukjes om te raden welke bij de lucht horen en welke bij het gras.

2. Punten Verbindingen (Relationship Discovery)

Omdat er geen officiële "verbind de punten"-lijnen zijn (foreign keys), gebruikt het systeem statistische signalen.

Het vergelijkt kolommen uit verschillende tabellen. Als Tabel A een lijst met getallen heeft en Tabel B heeft een lijst met getallen die perfect overeenkomen, gaat het systeem ervan uit dat ze verbonden zijn.
Het negeert de "officiële" regels en kijkt naar de werkelijke datapatronen.
Analogie: Als je een bonnetje in de ene zak vindt en een bijpassend bankafschrift in een andere zak, weet je dat ze bij dezelfde persoon horen, zelfs als ze niet aan elkaar vastgemest zijn.

3. De Tijdlijn Opbouwen (Sequencing)

Zodra het systeem weet welke tabellen met elkaar verbonden zijn, verzamelt het alle gebeurtenissen voor één "geval" (zoals een specifieke klantbestelling).

Het sorteert deze gebeurtenissen op tijd.
Als de tijdstempels verwarrend of ontbrekend zijn, gebruikt het systeem logica om de volgorde te raden.
Analogie: De detective neemt alle verspreide aantekeningen, bonnetjes en logs voor één specifieke overval en legt deze op een tafel om de volgorde van de gebeurtenissen te zien.

4. Het Patroon Leren (Het "Brein" - TCN)

Dit is het meest geavanceerde deel. Soms zijn de tijdstempels te rommelig om te bepalen welke gebeurtenis eerst plaatsvond.

Het systeem gebruikt een speciaal type AI genaamd een Temporal Convolutional Network (TCN). Denk hierbij aan een patroonherkenningsmotor.
Het kijkt naar duizenden eerdere voorbeelden om te leren: "Meestal, wanneer Gebeurtenis A gebeurt, volgt Gebeurtenis B."
Zelfs als de klok kapot is, kan de AI de volgende stap voorspellen op basis van de flow van het verhaal.
Analogie: Als je ziet dat iemand een jas aantrekt, zijn sleutels pakt en een deur opent, weet je dat diegene op het punt staat weg te gaan, zelfs als je het exacte moment niet zag waarop diegene naar buiten liep. De AI leert deze "verhaalstromen".

De Resultaten: Hoe goed is de detective?

De auteurs hebben dit systeem getest op nepdata (die rommelige banken simuleert), standaard benchmarks en een echte industriële dataset.

Nauwkeurigheid: Het voorspelde de volgende stap in een proces in 85% van de gevallen correct.
Herstel: Het slaagde erin om ongeveer 82% van de juiste volgorde van gebeurtenissen te vinden en te reconstrueren, zelfs wanneer de data ontbrak of rommelig was.
Veerkracht: Wanneer de data "driftte" (namen veranderden, datums ontbraken), bleef het systeem werken, terwijl traditionele methoden bezweken.

Waarom dit ertoe doet

Het artikel betoogt dat we moeten stoppen met wachten op perfecte data voordat we deze kunnen analyseren. In plaats van rommelige real-world data in een rigide, vooraf gedefinieerd hokje te dwingen, moeten we de data zichzelf laten vertellen.

Door de noodzaak van een perfect "schema" (de kaart) weg te nemen, stelt deze aanpak bedrijven in staat om hun eigen systemen automatisch te begrijpen, zelfs als die systemen rommelig, constant veranderend of slecht gedocumenteerd zijn. Het verandert een chaotische stapel bewijsmateriaal in een helder, leesbaar verhaal zonder dat daarvoor een mens al het zware werk hoeft te doen.

Technisch Overzicht: Schema-Agnostische Constructie van Procesgetraces

Probleemstelling

Moderne informatiesystemen (IS), met name in OLTP-omgevingen, worden gekenmerkt door snel evoluerende, losgekoppelde relationele tabellen. In deze omgevingen falen traditionele aannames van stabiele schema's, expliciete primaire/vreemde sleutels en gecureerde eventlogs vaak. Schema's driften, surrogate keys worden inconsistent toegepast of gerefactord, en executietraces zijn verspreid over meerdere tabellen met schaarse sleutels en ambigue of meerdere tijdstempelvelden.

Consequent vereist de reconstructie van procesexecutietraces (event logs) voor taken zoals auditing, compliance en process mining kostbare, fragiele handmatige interventie waarbij ad-hoc joins en tijdstempelregels nodig zijn. Bestaande benaderingen vertrouwen doorgaans op vooraf gedefinieerde schema's, betrouwbare PK/FK-structuren of domeinspecifieke templates, wat ze onbruikbaar maakt voor sleutel-arme, heterogene en continu veranderende omgevingen. Het kernprobleem dat wordt aangepakt, is hoe men automatisch hoogwaardige executiesequenties (cases, events en temporele ordening) kan construeren direct uit ruwe relationele data zonder te vertrouwen op vooraf gedefinieerde schema's, betrouwbare vreemde sleutels of domeinkennis.

Methodologie

De auteurs stellen een vierfasige, schema-agnostische pipeline voor die verbanden tussen tabellen afleidt uit statistische signalen, temporele velden samenstelt en ordeningspatronen leert. De pipeline werkt zonder de noodzaak van volledige schema-reconstructie of ontologische mapping.

Fase 1: Profilering van Identificator- en Tijdstempelkolommen

De pipeline profileert kolommen in elke tabel om hun waarschijnlijkheid te schatten als case-identificator of tijdstempel te functioneren.

Identificator Scoring: Een score $spk(c)$ wordt berekend op basis van distinctheid ( $u$ ), volledigheid ( $\gamma$ ) en string-lengte stabiliteit ( $\lambda$ ). Kolommen moeten hoog scoren op alle drie de metrieken om als kandidaat-identificatoren te worden behouden.
Tijdstempel Scoring: Een score $sdt(c)$ wordt berekend met behulp van een gewogen som van percentielrangen voor dispersie en variatie-metrieken (volledigheid, distinctheid, standaarddeviatie, interkwartielafstand en entropie).
Output: De top- $k$ kandidaat-identificatoren en tijdstempelkolommen worden geselecteerd voor elke tabel.

Fase 2: Relatieontdekking (Kolom–Kolom Links)

In plaats van te vertrouwen op verklaarde vreemde sleutels, ontdekt de pipeline verbindingen tussen tabellen middels type-bewuste statistische gelijkenis.

Scoringmechanisme: Voor elk cross-table kolompaar $(c_i, c_k)$ $(c_{i}, c_{k})$ wordt een linkscore $s(c_i, c_k)$ $s (c_{i}, c_{k})$ berekend als het product van vier factoren:
1. Type Compatibiliteit (TC): Verlaagt de score voor paren met zwak compatibele datatypen.
2. Kolomkwaliteit (Q): Bestraft paren die betrokken zijn bij lage volledigheid of lage distinctheid.
3. Dekking (U): Zorgt ervoor dat overlap niet wordt gedreven door zeldzame uitschieters.
4. Waarde Gelijkenis (R): Meet de feitelijke waarde-uitlijning met behulp van Jaccard-gelijkenis (JS) voor symbolische data en een JS/Kolmogorov-Smirnov (KS) blend voor numerieke distributies.
Linkvorming: Paren die een drempelwaarde $\tau_S$ overschrijden, worden behouden om een ongerichte multigraph van kandidaat-links te vormen.

Fase 3: Temporalisering en Sequentiëring

Met behulp van de ontdekte linkset propageert de pipeline gesamplede case-identificatoren over bereikbare tabellen om de corresponderende rijen en tijdstempelkandidaten te verzamelen.

Event Assemblage: Elk (rij, tijdstempel) paar wordt behandeld als een voorlopig event.
Ordening: Events voor een specifieke case worden gesorteerd op tijdstempel. Banden worden deterministisch gebroken met behulp van tabelnamen en rij-identificatoren. Naast elkaar liggende duplicate labels worden samengevoegd, terwijl niet-naast elkaar liggende repetities worden behouden.
Context: Optionele zakelijke attributen (bijv. regio, product) worden ingebed in contextvectoren om de daaropvolgende leerprocessen te conditioneren zonder de event-volgorde te wijzigen.
Output: Provenance-rijke event traces in JSON-formaat, exporteerbaar naar XES of liftbaar naar OCEL.

Fase 4: Sequentie-leren (Ordening over Tabellen)

Om gevallen aan te pakken waar tijdstempels ambigu, ontbrekend of onvoldoende zijn om de volgorde te bepalen, gebruikt de pipeline een Causal Temporal Convolutional Network (TCN).

Leerdoel: De TCN voorspelt het volgende event $e_{t+1}$ gegeven een venster van voorgaande events en een optionele contextvector.
Precedentie Extractie: Door de voorspellingen van het volgende event te aggregeren, wordt een transitiematrix gevormd. Gerichte randen $i \to j$ worden toegevoegd wanneer de waarschijnlijkheid van $j$ volgend op $i$ aanzienlijk groter is dan het omgekeerde. Paren met vergelijkbare bidirectionele frequenties worden gemarkeerd als vertoonden Bidirectionele Orde Variabiliteit (BOV).
Output: Een minimale precedentie-graaf die de flow-relaties samenvat, welke geconsumeerd kan worden door standaard process mining tools.

Belangrijkste Bijdragen

Schema-Agnostische Pipeline: Een nieuwe end-to-end benadering die proces-traces reconstrueert uit ruwe, sleutel-arme relationele data zonder vooraf gedefinieerde schema's, ER-diagrammen of domein-templates.
Statistische Linkontdekking: Een methode voor het afleiden van tabelrelaties met behulp van type-bewuste statistische gelijkenis (JS/KS) in plaats van te vertrouwen op expliciete vreemde sleutels, wat robuustheid biedt tegen schema-drift en ontbrekende sleutels.
Geleerde Precedentie: De toepassing van TCN's om cross-table ordening en flow-relaties direct uit gereconstrueerde traces te leren, waarbij scenario's met onvoldoende of conflicterende tijdstempels worden afgehandeld.
Operationele Robuustheid: Een pad naar het genereren van event logs die robuust blijven tegen ontbrekende tijdstempels, homoniemen en gedeeltelijke sleutels, wat geautomatiseerde log-constructie mogelijk maakt in dynamische IS-omgevingen.

Resultaten

De pipeline werd geëvalueerd op TPC-H/E benchmarks, synthetische corpora (Synth-Light, Synth-Heavy) en een echte industriële dataset (Industry-1).

Event Recovery (RQ1): De pipeline bereikte een hoge event-set recovery, met een Position-Independent Token Accuracy (PITA) variërend van 0,82 (Synth-Heavy) tot 1,00 (TPC-H). Het voorspelde het volgende event met 85% nauwkeurigheid.
Precedence Learning (RQ2): De TCN-gebaseerde benadering presteerde beter dan n-gram en LSTM baselines op het gebied van next-event voorspelling en conformiteitsmetrieken. Het herstelde ongeveer 82% van de grondwaarheid precedentie-relaties (F1 score 0,74–0,82) en toonde een superieur vermogen om cross-table flow-relaties te vangen vergeleken met regelgebaseerde of schema-centrische benaderingen.
Veranderingsresistentie (RQ3): Onder gecontroleerde drift (attribuut hernoeming en ontbrekende tijdstempels) behield de volledige pipeline meer dan 80% van zijn prestatie-metrieken op schone data, terwijl een deterministische baseline onder de 50% zakte. Dit demonstreert significante veerkracht tegen schema- en data-evolutie.
Fase-Attributie: Ablatie-studies bevestigden dat Fasen S1–S3 de reconstructiekwaliteit drijven, terwijl Fase S4 (TCN) de getrouwheid van precedentie-relaties aanzienlijk verbetert, met name bij het vangen van langetermijn-afhankelijkheden en context-specifieke flows.

Betekenis en Claims

Het artikel claimt een generaliseerbaar en schaalbaar pad te bieden voor de automatische reconstructie van executiegedrag in dynamische IS-omgevingen. Het daagt de langgevestigde aanname in IS-engineering uit dat betrouwbare eventlogs een schone schema en gecureerde sleutels veronderstellen. Door te verschuiven van een "schema-eerst" naar een "data-eerst" benadering, beargumenteren de auteurs dat het mogelijk is om hoogwaardige logs te construeren, zelfs wanneer schema's driften en systemen evolueren.

Het werk suggereert een nieuw IS-engineering paradigma waarbij operationele schema's vrij mogen evolueren, terwijl een data-gedreven log-engineering laag de continuïteit bewaart voor analyse, auditing en herontwerp. De auteurs positioneren dit als een oplossing voor de bottleneck van handmatige trace-constructie in moderne, losgekoppelde OLTP-systemen, waardoor process mining en compliance monitoring mogelijk wordt in omgevingen die voorheen als te ruisachtig of ongestructureerd werden beschouwd voor dergelijke analyse.