Combining Abstract Argumentation and Machine Learning for Efficiently Analyzing Low-Level Process Event Streams

Dit artikel stelt een datadoeltreffende neuro-symbolische aanpak voor die een machine learning-sequentietagger combineert met een abstract argumentatiekader om laag-niveau procesgebeurtenisstromen nauwkeurig te interpreteren en kandidaat-interpretaties te verfijnen met behulp van voorkennis, waardoor de beperkingen van datatekorten en computationele complexiteit worden overwonnen.

De kern

Stel je voor dat je probeert een verhaal te begrijpen, maar je hebt in plaats van het daadwerkelijke plot alleen een lijst met ruwe, laag-niveau acties.

Het Probleem: De "Vertaal"-Kloof
Denk aan het traject van een patiënt in een ziekenhuis. Een computerlogboek kan een reeks kleine, specifieke acties vastleggen: "Patiënt aangeraakt," "Bloed afgenomen," "Bloeddruk gecontroleerd," "Naald ingebracht." Dit zijn de laag-niveau gebeurtenissen.

Echter, een arts of een manager wil geen lijst met kleine acties zien; ze willen het hoog-niveau verhaal weten: "Voorbereiding," "Hospitalisatie," en "Pre-operatief."

Het probleem is dat één kleine actie (zoals "Bloed afgenomen") tijdens een van die drie grote fasen kan plaatsvinden. Het is alsof je een personage in een film een kopje ziet oppakken. Drinken ze koffie voor een vergadering? Schenken ze thee voor een gast? Of maken ze gewoon op? Zonder context is het een raadselspel. Als je verkeerd raadt, wordt het hele verhaal van de patiëntenzorg verstoord.

De Oude Manieren om Het Op te Lossen
Het artikel beschrijft twee eerdere manieren om dit op te lossen, die beide gebreken hadden:

1. De "Strikte Regelboek"-Aanpak (Abstract Argumentatie):
   Stel je een zeer strenge, logische detective voor die alle regels van het ziekenhuis kent.

   • Regel: "Pre-operatief moet plaatsvinden na Hospitalisatie."
   • Regel: "Je kunt Pre-operatief niet starten als je Voorbereiding niet hebt afgerond."
     Deze detective controleert elk mogelijk verhaal tegen de regels. Als een verhaal een regel breekt, wordt het verworpen.
   • Het Gebrek: Soms zijn de regels te los. De detective kan zeggen: "Nou, technisch gezien zou dit Hospitalisatie kunnen zijn, of het zou Pre-operatief kunnen zijn, of het zou Voorbereiding kunnen zijn." De detective geeft je een enorme lijst met 50 mogelijkheden. Het is accuraat, maar het is overweldigend en traag om te berekenen.

2. De "Patroonherkenner"-Aanpak (Machine Learning):
   Stel je een student voor die duizenden eerdere patiëntverhalen heeft gelezen.

   • Hoe het werkt: De student ziet "Bloed afgenomen" en herinnert zich: "Oh, in 80% van de verhalen die ik heb gelezen, gebeurde dit tijdens Hospitalisatie."
   • Het Gebrek: Deze student heeft een enorme bibliotheek met eerdere verhalen nodig om te leren. Als de student niet genoeg voorbeelden heeft gezien, kan hij verkeerd raden. Ook kent hij de strikte regels niet. Hij kan "Pre-operatief" raden voor een "Bloed afgenomen"-gebeurtenis, zelfs als de regels zeggen dat Pre-operatief nog niet kan plaatsvinden.

De Nieuwe Oplossing: Het "Neuro-Symbolische" Samenwerkingsverband
De auteurs stellen een samenwerking voor tussen de Strikte Detective (Redeneraar) en de Patroonherkenner (Machine Learning). Ze noemen dit een "neuro-symbolische" aanpak.

Hier is hoe ze in real-time samenwerken:

1. De Eerste Gissing: De Patroonherkenner (Machine Learning) kijkt naar de huidige gebeurtenis en de geschiedenis van wat er eerder is gebeurd. Hij zegt: "Ik ben 80% zeker dat dit Hospitalisatie is, 15% zeker dat het Voorbereiding is, en 5% zeker dat het Pre-operatief is." Hij geeft een gerangschikte lijst van de meest waarschijnlijke verhalen.
2. De Realiteitscontrole: De Strikte Detective (Redeneraar) neemt deze korte lijst en controleert deze tegen de harde regels.
   • "Wacht," zegt de Detective. "De regels zeggen dat Pre-operatief nog niet kan plaatsvinden. Die 5%-gissing is dus onmogelijk. Ik haal het door."
   • "Ook," voegt de Detective toe, "de regels zeggen dat je op dit moment niet twee Hospitalisaties achter elkaar kunt hebben. Die 15%-gissing is dus ook ongeldig."
3. Het Eindantwoord: Het systeem presenteert de gebruiker alleen de geldige opties, gerangschikt op basis van hoe waarschijnlijk de Patroonherkenner ze achtte.

Waarom Dit Een Grote Druk is
Het artikel beweert dat deze samenwerking de zwaktes van de oude methoden oplost:

• Het is Sneller en Duidelijker: In plaats dat de Detective je 50 verwarrende mogelijkheden geeft, beperkt de Patroonherkenner het tot de top 3, en bevestigt de Detective alleen welke van die 3 legaal zijn. Je krijgt een korte, gerangschikte lijst met de beste antwoorden.
• Het Werkt met Minder Data: De Patroonherkenner heeft meestal duizenden voorbeelden nodig om goed te leren. Maar omdat de Strikte Detective er is om de fouten te corrigeren, hoeft de Patroonherkenner niet perfect te zijn. Zelfs als de student niet veel boeken heeft gelezen, kan de Detective voorkomen dat hij domme fouten maakt. De experimenten in het artikel tonen aan dat zelfs met zeer weinig trainingsvoorbeelden, dit team veel beter presteert dan de student alleen.
• Het Legt "Waarom" Uit: Als het systeem een idee verwerpt, kan de Detective uitleggen waarom (bijvoorbeeld: "Ik heb 'Pre-operatief' afgewezen omdat de regels zeggen dat 'Voorbereiding' eerst moet plaatsvinden").

In het Kort
Het artikel presenteert een systeem dat de intuïtie van een machine learning-model (dat raadt op basis van patronen) combineert met de logica van een op regels gebaseerd systeem (dat controleert tegen feiten). Dit creëert een tool die slim genoeg is om het juiste verhaal te raden, snel genoeg om dit in real-time te doen, en streng genoeg om ervoor te zorgen dat het verhaal volgens de regels zinvol is. Het is bijzonder nuttig wanneer je niet genoeg eerdere voorbeelden hebt om een computer alles op zichzelf te leren.

Technische samenvatting

Technische Samenvatting: Het Combineren van Abstracte Argumentatie en Machine Learning voor Efficiënte Analyse van Laag-niveau Proces-Eventstromen

1. Probleemdefinitie

Het artikel adresseert de uitdaging van log-abstractie binnen Procesmining, specifiek de interpretatie van laag-niveau eventstromen naar hoog-niveau bedrijfsactiviteiten. In veel moderne scenario's (bijvoorbeeld Smart Factories, Gezondheidszorg) bestaan processporen uit ruwe, laag-niveau acties (events) die geen directe, één-op-één mapping hebben naar hoog-niveau procesactiviteiten. In plaats daarvan bestaat er vaak een veel-op-veel relatie tussen eventtypes en activiteitstypes, wat een "abstractiekloof" creëert.

Deze kloof leidt tot een interpretatieprobleem: het bepalen welke hoog-niveau activiteitsinstantie een specifiek laag-niveau event heeft gegenereerd. Bestaande oplossingen staan voor twee primaire beperkingen:

1. Kennis-gedreven benaderingen (bijvoorbeeld Abstracte Argumentatiekaders of AAF's) kunnen complexe constraints hanteren en uitleggen, maar kunnen te veel plausibele interpretaties opleveren wanneer constraints los zijn, wat leidt tot informatiedrukte en hoge rekenkosten.
2. Voorbeeld-gedreven benaderingen (bijvoorbeeld supervised Machine Learning sequence taggers) kunnen waarschijnlijke interpretaties rangschikken, maar falen vaak wanneer trainingsdata schaars, ruisig of onvoldoende is om complexe procesgedragingen te vangen, en ze missen mechanismen om strikte domeincstraints af te dwingen of logische uitleg te geven voor verworpen interpretaties.

Het artikel stelt een neuro-symbolische benadering voor om de sterke punten van beide paradigma's te combineren: het gebruik van Machine Learning (ML) om contextbewuste, probabilistische kandidaat-interpretaties te leveren en Abstracte Argumentatie om deze kandidaten te verfijnen op basis van formeel domeinkennis, waarbij geldigheid wordt gewaarborgd en uitleg wordt geboden.

2. Methodologie

Het voorgestelde kader integreert twee distincte AI-componenten: een Trace Tagger (ML) en een AAF-gebaseerde Redener (Symbolisch).

2.1 Componenten

• De Trace Tagger (M): Een sub-symbool Machine Learning-model (specifiek, een sequence tagging-model) getraind op geannoteerde logsporen. Het voorspelt een kansverdeling over mogelijke activiteiten voor een huidig event $e_{curr}$, rekening houdend met de context van voorafgaande events in het spoor. Twee architecturen werden getest:
  • $M_A$: Een op LSTM gebaseerde architectuur die sequentiële afhankelijkheden vastlegt.
  • $M_B$: Een Deep Neural Network (DNN) architectuur die gebruikmaakt van vaste lengte vensters van event-embeddings.
• De AAF-gebaseerde Redener (R): Een kennis-gedreven module gebaseerd op Abstracte Argumentatiekaders. Het codeert:
  • Type-niveau mappings: Relaties tussen eventtypes en activiteitstypes (inclusief levenscyclusfasen zoals eerste, intermediair, laatste).
  • Declaratieve procesmodellen: Temporele constraints (bijvoorbeeld moet, niet, precedentie) gedefinieerd over activiteitsinstanties.
    De redener bouwt een AAF op waarbij argumenten kandidaat-interpretaties vertegenwoordigen en aanvallen conflicten met domeinkennis vertegenwoordigen. Geldige interpretaties komen overeen met preferente extensies van de AAF.

2.2 De Hybride Werkflow (Online Analyse)

De kernbijdrage is een interactief, online algoritme (Algoritme 1) dat een lopend spoor incrementeel verwerkt:

1. Initieel Update: De redener update zijn interne AAF met alle kandidaat-interpretaties afgeleid van globale type-niveau mappings.
2. ML Voorspelling: De trace tagger $M$ voorspelt een kansverdeling $p_d$ voor het huidige event $e_{curr}$ op basis van de spoorcontext.
3. Kennis-gedreven Herziening: De redener $R$ filtert de ML-voorspellingen. Elke activiteit die als ongeldig wordt beschouwd door de domeinkennis (d.w.z. niet aanwezig in enige geldige interpretatie van de AAF) krijgt een kans van nul.
4. Verruiming en Normalisatie: Om het scenario te voorkomen waarin het ML-model een kans van nul toewijst aan alle geldige kandidaten, wordt een Laplace-achtige verruimingsprocedure toegepast op de resterende kansen, die vervolgens worden genormaliseerd.
5. AAF Verfijning: De redener herbouwt de AAF met alleen de activiteiten met niet-nul kansen (de top-$k$ kandidaten). Dit reduceert de zoekruimte voor de argumentatie-oplosser aanzienlijk.
6. Output: Het systeem presenteert de gebruiker een gerangschikte lijst van de meest waarschijnlijke geldige interpretaties en staat interactieve queries toe (bijvoorbeeld "Is dit event het begin van activiteit A?") en uitleg waarom andere interpretaties werden verworpen.

3. Belangrijkste Bijdragen

Het artikel claimt twee hoofdbijdragen:

1. Versterkte Interpretatie via Rangschikking: Door gebruik te maken van datagedreven kennis, presenteert de aanpak eventinterpretaties op een gerangschikte, partiële manier (top-$k$), wat het probleem van informatiedrukte aanpakt dat inherent is aan pure redeneringsbenaderingen wanneer constraints los zijn.
2. Verbeterde Data-efficiëntie: Door gebruik te maken van procesmodelkennis (constraints), verbetert de aanpak de prestaties van voorbeeld-gedreven abstractiemethoden in scenario's waar geannoteerde trainingsdata schaars of onvoldoende is om een strakke karakterisering van het proces te leren.

De auteurs positioneren dit als een neuro-symbolische strategie waarbij het ML-model fungeert als een "leren voor redeneren" mechanisme om exploratie te versnellen, terwijl de redener fungeert als een "redeneren voor leren" mechanisme om ML-voorspellingen te corrigeren en te valideren.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op synthetische datasets (geïnspireerd door een proces van een Italiaans regionaal agentschap uit de praktijk) met variërende spoorlengtes en niveaus van mapping-onzekerheid (veel-op-veel relaties).

• Nauwkeurigheid en Robuustheid: De hybride aanpak (Tagger + Redener) presteerde consistent beter dan alleen de Tagger en alleen de Redener op nauwkeurigheid, precisie, recall en F1-scores. Opmerkelijk is dat wanneer de Tagger slecht presteerde (bijvoorbeeld vanwege een complexe architectuur zoals $M_A$ of beperkte data), de Redener de prestaties aanzienlijk verhoogde.
• Data-efficiëntie: In experimenten waarbij de trainingssetgrootte werd verkleind (van 100% tot 20%), behield de hybride aanpak een significant hogere nauwkeurigheid dan alleen de Tagger. De prestatiecurve van de hybride methode was veel vlakker, wat robuustheid tegen datatekort aantoont.
• Reductie van Informatiedrukte: De aanpak reduceerde substantieel het aantal kandidaat-interpretaties dat een analist moet overwegen. Voor sporen van lengte 60 was de reductie in informatiedrukte (gemeten als het verschil in rangpositie van de juiste activiteit) meer dan 20 alternatieven in vergelijking met het gebruik van alleen de Redener.
• Berekeningstijd: Hoewel de hybride aanpak langzamer is dan alleen de Tagger (vanwege de redenerstap), bleef de gemiddelde voorspellingstijd rond de 1 seconde, wat haalbaar wordt geacht voor contexten van bedrijfsprocesanalyse. De rekenkundige overhead van de Tagger zelf was verwaarloosbaar in vergelijking met het redeneringsproces.

5. Betekenis en Novelteit

Het artikel stelt dat dit werk de eerste poging vertegenwoordigt om een neuro-symbolische aanpak te benutten in een procesmining setting voor interactieve exploratieve analyse van laag-niveau sporen.

Belangrijke onderscheidingen met bestaande neuro-symbolische oplossingen zijn:

• Constraint Scope: De gedragsconstraints omvatten zowel input (verleden events) als output (huidig event) variabelen, terwijl veel bestaande benaderingen alleen de output construeren.
• Runtime Afhandeling: Constraints worden afgedwongen tijdens de runtime tijdens de interpretatiesessie, in plaats van tijdens modeltraining. Dit zorgt voor flexibiliteit, waardoor gebruikers constraints kunnen wijzigen zonder het ML-model opnieuw te trainen.
• Query Capaciteiten: Het kader ondersteunt expressieve, proces-gerichte queries en biedt uitleg voor verworpen interpretaties, wat verder gaat dan eenvoudige kansschatting of steekproefgeneratie.

De auteurs concluderen dat dit kader de staat van de kunst vooruitbrengt door effectieve mens-in-de-lus samenwerking mogelijk te maken, waarbij de snelheid en contextbewustzijn van ML worden gecombineerd met de betrouwbaarheid en verklaarbaarheid van symbolische redenering, met name in complexe engineeringtoepassingen waar data beperkt kan zijn of processen losjes gestructureerd zijn.

6. Beperkingen en Toekomstig Werk

De auteurs erkennen dat de aanpak afhankelijk is van de beschikbaarheid van domeinkennis (constraints). Als constraints te weinig zijn of niet-existent, kan de redener de tagger niet effectief sturen. Bovendien, als geannoteerde data extreem schaars is, kan zelfs de hybride methode moeite hebben.

Toekomstige werkrichtingen die zijn geïdentificeerd, omvatten:

• Semi-supervised Learning: Het benutten van ongelabelde logsporen met entropy-regularisatie-verlies om de training van de tagger te verbeteren.
• Active Learning: Het ontwikkelen van strategieën om de meest informatieve ongelabelde sporen te selecteren voor expertannotatie om het taggermodel te verbeteren.
• Probabilistische Constraints: Het onderzoeken van mechanismen om probabilistische domeinkennis (bijvoorbeeld "Activiteit A volgt B in 80% van de gevallen") direct in de AAF te incorporeren, aangezien het huidige kader alleen deterministische constraints hanteert.