Technische Samenvatting: ATOM – AdapTive and OptiMized Dynamic Temporal Knowledge Graph Construction

1. Probleemstelling

De constructie van Knowledge Graphs (KGs) uit ongestructureerde tekst is cruciaal voor real-time analytics en dynamische geheugenframeworks. Traditionele statische KGs schieten echter tekort in het vastleggen van de tijdsgevoelige aard van real-world data. Hoewel Temporal Knowledge Graphs (TKGs) dit adresseren door tijdstempels aan feiten te koppelen, kampen bestaande benaderingen bij implementatie in productie met drie primaire beperkingen:

1. Gebrek aan Exhaustiviteit: Huidige zero-shot of few-shot methoden laten vaak belangrijke relaties achterwege, vooral naarmate de input-contextlengte toeneemt, vanwege het "vergetelheidseffect" (forgetting effect) in Large Language Models (LLMs).
2. Instabiliteit: Meerdere runs van dezelfde extractie-prompt op identieke tekst leveren vaak verschillende resultaten op, wat leidt tot inconsistente graafstructuren.
3. Schaalbaarheid en Latentie: Sequentiële verwerking en een zware afhankelijkheid van LLM-aanroepen voor entiteitsresolutie en temporele fusie creëren bottlenecks, waardoor real-time updates voor grootschalige datasets onpraktisch worden.

Bovendien verwarren veel bestaande methoden de tijd waarop een observatie wordt gedaan met de geldigheidsperiode van het feit zelf, wat leidt tot temporele onnauwkeurigheden.

2. Methodologie: Het ATOM-framework

De auteurs stellen ATOM (AdapTive and OptiMized) voor, een few-shot, schaalbaar framework ontworpen voor het construeren en continu bijwerken van Dynamic Temporal Knowledge Graphs (DTKGs). De architectuur wordt gedefinieerd door een dual-time modellering en een parallelle verwerkingspipeline.

2.1 Dual-Time Modellering

ATOM onderscheidt twee temporele dimensies:

• Observatietijd ($t_{obs}$): Wanneer de informatie is waargenomen of geïnformeerd.
• Geldigheidsperiode ($t_{start}, t_{end}$): Het inherente tijdsinterval waarin het feit waar is.
  Deze scheiding stelt het systeem in staat om relatieve temporele expressies (bijv. "een maand geleden") te verwerken door de observatietijd te gebruiken als context voor de LLM om de geldigheidsperiode te extraheren.

2.2 Kernarchitectuur

Het framework werkt via drie sequentiële modules:

Module 1: Atomische Feit-decompositie
In plaats van ruwe documenten direct te verwerken, deelt ATOM ongestructureerde tekst op in minimale, zelfstandige "atomaire feiten". Elk feit brengt precies één stuk informatie over.

• Rationale: Dit mitigeert het "vergetelheidseffect" van de LLM, waarbij modellen prioriteit geven aan prominente informatie in lange contexten en belangrijke relaties weglaten.
• Optimalisatie: Experimenten bepaalden een optimale chunk-grootte van < 400 tokens om een hoge exhaustiviteit (> 0,8) te behouden.

Module 2: Atomaire TKG-constructie
Vanuit elk atomair feit extraheert het systeem parallel 5-tuples (subject, relatie, object, $t_{start}$, $t_{end}$).

• Preprocessing: Tijdens de extractie transformeert het systeem "eind-actie" feiten (bijv. "is niet langer CEO") naar affirmatieve tegenhangers met aangepaste eindtijden (bijv. het instellen van $t_{end}$) om latere fusie te vergemakkelijken.
• Context: Few-shot voorbeelden worden verstrekt om de LLM te begeleiden bij het afhandelen van relatieve temporele expressies.

Module 3: Parallelle Atomaire Fusie en DTKG-update
De geëxtraheerde atomaire TKGs worden parallel samengevoegd met behulp van een binaire merge-algoritme, waarbij LLM-aanroepen tijdens de fusiefase worden vermeden om schaalbaarheid te garanderen.

• Entiteitsresolutie: Voegt entiteiten samen op basis van exacte overeenkomsten of cosinus-gelijkenis ($\theta_E = 0,8$).
• Relatierresolutie: Voegt relatienamen samen op basis van semantische gelijkenis ($\theta_R = 0,7$).
• Temporele Resolutie: Detecteert en stemt feiten af met dezelfde $(subject, relation, object)$ maar verschillende geldigheidsperioden, waardoor de geschiedenis van het feit wordt uitgebreid in plaats van dubbele randen (edges) te creëren.
• Parallellisme: Het fusieproces is iteratief en geparallelliseerd, waarbij het aantal TKGs stap voor stap wordt verminderd tot een enkele geconsolideerde snapshot wordt verkregen.

3. Belangrijkste Bijdragen

• Atomische Decompositie Strategie: Een nieuwe aanpak om tekst op te splitsen in atomaire feiten om zowel de exhaustiviteit als de stabiliteit in LLM-gebaseerde extractie te verbeteren.
• Dual-Time Modellering: Een formele definitie van DTKGs die observatietijd scheidt van geldigheidsperioden, wat de nauwkeurigheid van temporele redenering verbetert.
• Schaalbaar Parallel Architectuur: Een pipeline die extractie en fusie ontkoppelt en gebruikmaakt van parallelle verwerking om de latentie aanzienlijk te verminderen vergeleken met sequentiële of LLM-zware resolutiestappen.
• Open-Source Implementatie: Het framework wordt uitgebracht als een open-source Python-bibliotheek met bijbehorende code, prompts en datasets.

4. Experimentele Resultaten

De auteurs hebben ATOM geëvalueerd op de 2020-COVID-NYT subset (1.076 artikelen) tegenover baselines zoals Graphiti en iText2KG.

• Exhaustiviteit: ATOM behaalde ongeveer 18% hogere exhaustiviteit in de feitelijke-temporele recall ($R_{f,t}$) vergeleken met de baseline-methoden. Het toonde aan dat het opdelen van tekst in atomaire feiten informatieverlies voorkomt dat gebruikelijk is bij verwerking van lange contexten.
• Stabiliteit: Door atomaire feiten te gebruiken, verbeterde ATOM de stabiliteit (gemeten via Jaccard-gelijkenis over runs) met ongeveer 33%, waardoor de variantie in output aanzienlijk werd verminderd vergeleken met het verwerken van ruwe inleidende paragrafen.
• Latentie en Schaalbaarheid: De parallelle architectuur resulteerde in een reductie in latentie van >90% (93,8% vs. Graphiti; 95,3% vs. iText2KG). Het systeem schaalt effectief met het aantal input-feiten, terwijl baselines lijden onder toenemende latentie door sequentiële of LLM-zware resolutiestappen.
• Consistentie: ATOM demonstreerde superieure prestaties in temporele resolutie door feiten met verschillende geldigheidsperioden correct samen te voegen tot één geschiedenis, terwijl Graphiti de neiging had om aparte relaties te creëren.

Opmerking over Trade-offs: De verhoogde exhaustiviteit ging gepaard met een marginale afname in feitelijke precisie (9%) en feitelijke-temporele precisie (1%), toegeschreven aan de generatie van semantisch plausibele maar niet strikt "gold-standard" geïnformeerde feiten tijdens de decompositie en kleine fouten in de temporele toewijzing.

5. Betekenis en Claims

Het artikel claimt dat ATOM het kritieke gat tussen het theoretische potentieel van TKGs en hun praktische inzetbaarheid in dynamische, real-time omgevingen overbrugt. Door stabiliteit en exhaustiviteit te garanderen via atomische decompositie en schaalbaarheid te bereiken via parallelle fusie, maakt ATOM de continue, lage-latentie update van kennisgrafen mogelijk.

De auteurs positioneren ATOM als een robuuste oplossing voor agentische systemen die behoefte hebben aan dynamisch geheugen en voor toepassingen die real-time temporele inferentie vereisen. Zij erkennen beperkingen, waaronder potentiële foutenpropagatie vanuit de decompositiestap en de computationele kosten van het tweestaps-proces, en suggereren dat toekomstig werk zich zou kunnen richten op het finetunen van LLMs specifiek voor de decompositie van atomaire feiten om de prestaties en kosten verder te optimaliseren.