🤖 machine learning

CountTRuCoLa: Rule Learning for Interpretable Temporal Knowledge Graph Forecasting

CountTRuCoLa ist eine interpretierbare Methode zur Vorhersage temporaler Wissensgraphen, die vier Arten von symbolischen Regeln unter Berücksichtigung von Aktualität und Häufigkeit erlernt und dabei eine wettbewerbsfähige Leistung sowie Skalierbarkeit erreicht, während sie gleichzeitig sicherstellt, dass alle Vorhersagen direkt auf ihre zugrunde liegenden Regeln und Beobachtungen zurückführbar sind.

Ursprüngliche Autoren: Julia Gastinger, Christian Meilicke, Heiner Stuckenschmidt

Veröffentlicht 2026-08-04

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Julia Gastinger, Christian Meilicke, Heiner Stuckenschmidt

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen die Zukunft vorherzusagen, aber anstatt einer Kristallkugel besitzen Sie ein riesiges, lebendiges Tagebuch von allem, was jemals geschehen ist. In der Welt der Informatik wird dieses Tagebuch als Temporaler Wissensgraph bezeichnet. Denken Sie an ein massives Geflecht aus Fakten, wie etwa „Alice traf Bob im Jahr 2020“ oder „Der Aktienmarkt stürzte im März ab“. Das „Temporale“ bedeutet lediglich, dass jeder Fakt einen Zeitstempel hat, sodass der Computer weiß, wann Dinge passiert sind. Wissenschaftler sind besessen von diesen Graphen, weil sie versuchen zu erraten, was als Nächstes passiert – wie zum Beispiel, ob Alice Bob wieder treffen wird oder ob ein neuer Trend entstehen wird. Normalerweise verwenden Computer zur Erstellung dieser Vermutungen riesige, komplexe „Neuronale Netze“. Diese sind wie superintelligente, aber mysteriöse Black Boxes, die Zahlen verarbeiten, um Muster zu finden. Sie sind leistungsstark, aber auch schwerfällig, langsam und oft unmöglich zu verstehen. Man erhält eine Vorhersage, hat aber keine Vorstellung davon, warum der Computer diese Entscheidung getroffen hat.

Hier kommt eine neue Arbeit von Forschern der Universität Mannheim ins Spiel, die beschlossen haben, etwas anders zu machen. Sie fragten: „Was wäre, wenn wir keine riesige Black Box bräuchten? Was wäre, wenn wir einfach nur einfache, klare Regeln verwenden könnten, so wie die, die wir im Alltag nutzen?“ Sie entwickelten ein System namens CountTRuCoLa. Anstatt eines komplexen Gehirns agiert dieses System wie ein Detektiv, der in die Geschichte blickt und sagt: „Hey, wann immer dieses spezifische Ereignis kürzlich stattgefunden hat, folgt normalerweise jenes andere Ereignis.“ Die Forscher testeten ihren einfachen regelbasierten Detektiv gegen die riesigen Black Boxes auf neun verschiedenen Datensätzen. Sie fanden heraus, dass ihr einfaches, regelbasiertes System nicht nur schneller und leichter war (es stürzte bei riesigen Datenmengen nicht ab, wie es die anderen taten), sondern auch genauso gut oder sogar besser darin war, die Zukunft vorherzusagen. Das Beste daran? Man kann sich ihre Antwort ansehen und die exakte Regel sowie das spezifische vergangene Ereignis sehen, das dazu geführt hat. Es ist wie der Tausch eines magischen Zauberstabs, den man nicht versteht, gegen eine klare, schrittweise Karte, die jeder lesen kann.

Das Werkzeugset des Detektivs: Wie CountTRuCoLa funktioniert

Der Kern der Idee hinter CountTRuCoLa ist, dass die Zukunft oft die Vergangenheit wiederholt, aber mit einem Twist: Aktualität (Recency) und Häufigkeit (Frequency) spielen eine Rolle. Stellen Sie sich vor, Sie versuchen zu erraten, ob Ihr Freund Ihnen zurückschreiben wird. Wenn er Ihnen vor fünf Minuten geschrieben hat, vermuten Sie vielleicht, dass er bald antwortet. Wenn er Ihnen eine Woche lang jeden Tag geschrieben hat, sind Sie vielleicht noch sicherer. CountTRuCoLa nutzt diese Logik, um zukünftige Verknüpfungen in einem Wissensgraphen vorherzusagen.

Das System lernt vier Arten von einfachen „Regeln“, um diese Vorhersagen zu treffen:

Die „Das Gleiche nochmal“-Regel (Rekurrente Regeln): Dies ist die einfachste Regel. Wenn „Alice Bob traf“ gestern geschah, legt die Regel nahe, dass „Alice Bob“ auch morgen wieder treffen wird. Es ist, als würde man bemerken, dass die Kaffeemaschine immer dienstags kaputtgeht.
Die „Andere Wendung“-Regel (Nicht-rekurrente Regeln): Manchmal führt ein Ereignis zu einem anderen Ereignis. Wenn „Alice Bob traf“, ist die nächste Folge vielleicht „Alice und Bob gingen gemeinsam essen“. Das System lernt, dass ein Treffen oft zu einem gemeinsamen Essen führt.
Die „Spezifischer Charakter“-Regel (Konstante Regeln): Diese Regel konzentriert sich auf bestimmte Personen oder Dinge. Zum Beispiel: „Wenn eine Person in Amsterdam geboren wurde, studiert sie oft an der Universität von Amsterdam.“ Es spielt keine Rolle, wer die Person ist; wenn sie aus Amsterdam kommt, wird die Regel ausgelöst.
Die „Allgemeiner Trend“-Regel (Häufigkeitsregeln): Diese Regeln betrachten das große Ganze. „Pizza wird oft gegessen“ oder „Kim liebt Pizza spezifisch“. Diese Regeln benötigen kein spezifisches Auslöseereignis; sie wissen einfach, dass bestimmte Dinge häufig in der Welt passieren.

Das Geheimrezept: Die Konfidenzfunktion

Die wahre Magie liegt nicht nur in den Regeln, sondern darin, wie das System entscheidet, wie sehr es ihnen vertrauen soll. Die Forscher entwickelten eine spezielle „Konfidenzfunktion“, die wie ein Bewertungsbogen fungiert. Wenn das System eine Regel sieht, die die Zukunft vorhersagen könnte, stellt es zwei Fragen:

Wie aktuell war das letzte Mal, als dies geschah? (Aktualität/Recency)
Wie oft ist dies in letzter Zeit passiert? (Häufigkeit/Frequency)

Das System vergibt eine hohe Punktzahl, wenn das Ereignis sehr kürzlich stattfand oder in einem kurzen Zeitfenster viele Male geschah. Wenn es vor langer Zeit geschah oder nur einmal im Jahr vorkommt, sinkt die Punktzahl. Dies ist vergleichbar mit der Art und Weise, wie man einer Wettervorhersage mehr vertraut, wenn es die ganze Woche über geregnet hat, im Vergleich dazu, wenn es nur einmal im Monat geregnet hat. Das System lernt das perfekte Gleichgewicht für jede Regel und findet genau heraus, wie schnell das „Vertrauen“ mit fortschreitender Zeit nachlassen sollte.

Das Duell: Einfach vs. Komplex

Um zu sehen, ob ihr einfacher Detektiv die riesigen Black Boxes schlagen konnte, testeten die Forscher CountTRuCoLa auf neun verschiedenen Datensätzen, die von kleinen Sammlungen von Fakten bis hin zu massiven Datensätzen wie GDELT (das globale Nachrichtenereignisse verfolgt) reichten. Sie verglichen es mit 11 anderen hochmodernen Modellen, von denen viele Deep Learning nutzen und leistungsstarke Grafikkarten (GPUs) benötigen, um zu laufen.

Die Ergebnisse waren überraschend. CountTRuCoLa, das auf einem Standard-Prozessor (CPU) läuft und keine GPU benötigt, schnitt unglaublich gut ab.

Es gewann auf vier Datensätzen und belegte auf den anderen Plätze zwei oder drei.
Es schlug die „Rekurrenz-Baseline“ (eine einfache Methode, die lediglich davon ausgeht, dass Dinge sich wiederholen) auf sieben von neun Datensätzen, was beweist, dass das Hinzufügen dieser zusätzlichen Regeln und des intelligenten Konfidenz-Scores tatsächlich hilft.
Es stürzte nicht ab. Dies ist ein entscheidender Punkt. Als die Forscher versuchten, die komplexen neuronalen Netzwerkmodelle auf den größten Datensätzen laufen zu lassen, liefen viele von ihnen aufgrund von Speicherplatzmangel oder zu langer Laufzeit in „Out-of-Time“-Fehler. CountTRuCoLa bewältigte alle Datensätze ohne einen einzigen Absturz.

Die Arbeit legt nahe, dass für viele dieser Vorhersageaufgaben die „Komplexität“ der riesigen neuronalen Netzwerke eigentlich gar nicht notwendig ist. Die Muster in den Daten sind oft einfach genug, dass ein klarer Satz von Regeln sie genauso gut, wenn nicht sogar besser finden kann.

Warum das wichtig ist: Die Macht des „Warum“

Der größte Vorteil von CountTRuCoLa ist nicht nur, dass es funktioniert, sondern dass es erklärt, warum. Bei den komplexen neuronalen Netzen, wenn der Computer vorhersagt: „Alice wird Bob treffen“, können Sie nicht fragen: „Warum?“. Die Antwort ist in Millionen von Zahlen verborgen. Aber mit CountTRuCoLa erhalten Sie einen vollständigen Bericht.

Stellen Sie sich vor, das System sagt voraus, dass „Alexis_T. mit Evangelos_V. beraten wird“. Das System kann Ihnen zeigen:

Die Regel: „Menschen, die die Absicht zu einem Treffen geäußert haben, beraten später meistens miteinander.“
Der Auslöser: „Alexis_T. hat vor 4 Zeitschritten die Absicht zu einem Treffen geäußert.“
Der Score: „Diese Regel hat eine Konfidenz von 0,17 basierend darauf, wie aktuell und häufig dieses Muster ist.“

Diese Transparenz ist wie ein Detektiv, der nicht nur den Fall löst, sondern Ihnen auch die Beweisakte, den Zeitplan und die Logik hinter jeder Schlussfolgerung zeigt. Die Forscher haben ein Werkzeug gebaut, mit dem Benutzer auf eine Vorhersage klicken und den exakten Graphen sowie die Zahlen sehen können, die zu dieser Entscheidung geführt haben. Dies hilft Wissenschaftlern zu verstehen, nicht nur was passieren wird, sondern welche Muster in den Daten diese Vorhersagen antreiben.

Das Fazt

Die Autoren dieser Arbeit behaupten nicht, dass sie das Rätsel der Zeitreise gelöst haben oder dass komplexe KI nutzlos ist. Sie schlagen vor, dass wir bei der spezifischen Aufgabe, zukünftige Verknüpfungen in Wissensgraphen vorherzusagen, die Dinge vielleicht überkompliziert haben. Ihr einfacher, regelbasierter Ansatz, CountTRuçoLa, zeigt, dass man Spitzenleistungen erzielen kann, ohne die schwere Maschinerie des Deep Learning zu benötigen. Es ist schneller, es stürzt bei großen Datenmengen nicht ab und vor allem hält es die „Black Box“ offen, damit wir genau sehen können, wie die Magie geschieht. In einer Welt, in der KI immer komplexer und schwerer zu verstehen wird, bietet CountTRuCoLa eine erfrischende Erinnerung daran, dass manchmal die einfachsten Regeln die mächtigsten sind.

Technisches Resümee: CountTRuCoLa

Problemstellung

Die Arbeit befasst sich mit der Aufgabe der temporalen Wissensgraph-Vorhersage (Temporal Knowledge Graph Forecasting, TKG), bei der es darum geht, zukünftige Verknüpfungen (Quadruple aus Subjekt, Relation, Objekt und Zeitstempel) in einem TKG vorherzusagen. Während jüngste State-of-the-Art-Modelle häufig auf komplexen neuronalen Netzen, rekurrenten Architekturen oder Reinforcement Learning basieren, leiden sie oft unter mangelnder Interpretierbarkeit und Skalierbarkeitsproblemen (z. B. Out-of-Memory- oder Out-of-Time-Fehler) bei großen Datensätzen. Darüber hinaus haben jüngste Baselines, die rein auf Fakt-Rekurrenz basieren, eine wettbewerbsfähige Leistung gezeigt, was die Notwendigkeit komplexer Architekturen infrage stellt. Die Autoren zielen darauf ab, eine Methode zu entwickeln, die inhärent interpretierbar, recheneffizient und in der Lage ist, groß angelegte TKGs ohne Einbußen bei der Vorhersagegenauigkeit zu handhaben.

Methodik: CountTRuCoLa

Die vorgeschlagene Methode, CountTRuCoLa (Temporal Rule Confidence Learning), ist ein symbolischer, regelbasierter Ansatz, der vier spezifische Arten von logischen Regeln lernt, um temporale Regelmäßigkeiten zu erfassen. Im Gegensatz zu statischen Knowledge Graph Completion (KGC)-Methoden modelliert CountTRuCoLa die temporale Dimension explizit durch gelernte Konfidenzfunktionen.

1. Regeltypen

Das Modell verwendet vier verschiedene Regeltypen, die alle höchstens ein Body-Atom besitzen, um Einfachheit und Rückverfolgbarkeit zu gewährleisten:

xy-Regeln: Allgemeine Regeln der Form $h(x, y, t^*) \leftarrow b(x, y, t)$ . Diese erfassen temporale Abhängigkeiten zwischen spezifischen Subjekt-Relation-Objekt-Tripeln. Eine Unterform, die rekurrenten xy-Regeln, sagt die Rekurrenz desselben exakten Tripels ( $h=b$ ) voraus.
c-Regeln: Regeln, die Konstanten einbeziehen, z. B. $h(x, d, t^*) \leftarrow b(x, d', t)$ . Diese erfassen Muster, die häufig vorkommende Entitäten betreffen (z. B. eine Person, die in einer bestimmten Stadt geboren wurde und an einer bestimmten Universität studiert).
z-Regeln: Regeln mit einem leeren Body, $h(x, d, t^*) \leftarrow$ . Diese erfassen allgemeine Häufigkeitsverteilungen von Objekten für eine gegebene Relation.
f-Regeln: Regeln mit einem leeren Body, $h(c, d, t^*) \leftarrow$ . Diese erfassen spezifische Häufigkeitsverteilungen für ein festes Subjekt-Relation-Paar.

2. Temporale Konfidenzfunktionen

Anstatt einem Regel einen einzelnen statischen Konfidenzwert zuzuweisen, lernt CountTRuCoLa eine parametrische Konfidenzfunktion $conf_r(\Delta)$ für jede Regel. Diese Funktion bildet eine Menge von temporalen Distanzen $\Delta$ (die Zeitunterschiede zwischen dem Vorhersage-Zeitstempel und den Zeitstempeln der Vorkommnisse des Regel-Bodys) auf einen Plausibilitätswert ab. Die Funktion ist definiert als die Summe zweier Komponenten:

Rezent-Komponente ( $f_r$ ): Wird mithilfe einer exponentiellen Zerfallsfunktion modelliert, die von der minimalen Zeitdistanz ( $\min(\Delta)$ ) abhängt. Sie enthält lernbare Parameter für die Skalierung ( $\alpha_r$ ), die Zerfallsrate ( $\lambda_r$ ) und eine asymptotische untere Schranke ( $\phi_r$ ).
Frequenz-Komponente ( $g_r$ ): Erfasst den Einfluss der Häufigkeit, mit der der Regel-Body innerhalb eines spezifischen Zeitfensters $W$ aufgetreten ist. Es handelt sich um eine beschränkte Funktion, die vom Zählen der Vorkommnisse ( $|\Delta_W|$ ) und der minimalen Distanz abhängt, mit lernbaren Parametern für die Steigung ( $\rho_r$ ), die Offset-Modulation ( $\kappa_r$ ) und die Clipping-Grenzen ( $\gamma_r$ ).

3. Lernprozess

Beispielsammlung: Für jede Regel iteriert das System durch den Trainingsdatensatz, um positive und negative Beispiele zu sammeln. Ein Beispiel besteht aus einer Menge von Zeitdistanzen $\Delta$ und einem binären Label, das angibt, ob die Regel den Fakt zum zukünftigen Zeitstempel korrekt vorhergesagt hat.
Optimierung: Die Parameter der Konfidenzfunktionen werden gelernt, indem der quadratische Fehler (Sum of Squared Errors, SSE) zwischen der vorhergesagten Konfidenz und den geglätteten beobachteten Konfidenzwerten minimiert wird. Die beobachteten Werte werden mithilfe eines Glättungsparameters $P$ angepasst, um Fälle mit wenigen Beispielen zu handhaben.
Vorhersage: Für eine Abfrage ruft das Modell alle relevanten Regeln ab, berechnet deren Konfidenzwerte basierend auf der beobachteten Historie und rankt die Kandidaten-Entitäten.

Zentrale Beiträge

Interpretierbarkeit: Die Methode ist inhärent interpretierbar. Jede Vorhersage ist direkt auf die spezifischen Regeln zurückführbar, die ausgelöst wurden, deren gelernte Konfidenzwerte und die exakten historischen Beobachtungen, die sie getriggert haben. Es sind keine Post-hoc-Erklärungsverfahren erforderlich.
Skalierbarkeit: CountTRuCoLa ist die einzige im Paper berichtete TKG-Vorhersagemethode, die auf allen neun getesteten Datensätzen (einschließlich sehr großer wie GDELT und ICEWS) funktionsfähig bleibt, ohne Out-of-Memory (OM) oder Out-of-Time (OT) Fehler zu verursachen. Sie arbeitet effizient auf CPU-Hardware.
Leistung: Trotz ihrer Einfachheit erzielt das Modell eine wettbewerbsfähige Leistung und übertrifft oft komplexe neuronale Baselines und State-of-the-Art-Methoden.
Neuartiger Scoring-Mechanismus: Die Einführung einer gelernten, regelspezifischen Konfidenzfunktion, die Rezenz und Frequenz gemeinsam innerhalb eines symbolischen Rahmens modelliert und somit eine transparente Alternative zu neuronalen Hawkes-Prozessen bietet.

Experimentelle Ergebnisse

Die Autoren evaluierten CountTRuCoLa auf neun Datensätzen (darunter ICEWS14/18, GDELT, YAGO, WIKI und TGB 2.0 Datensätze) gegen 11 bestehende Ansätze und 2 Baselines.

Genauigkeit: CountTRuçoLa erreichte den höchsten Mean Reciprocal Rank (MRR) auf vier Datensätzen und den zweit- oder dritthöchsten auf den verbleibenden Datensätzen. Es übertraf die Recurrency Baseline auf sieben der neun Datensätze.
Vergleich mit SOTA: Während CognTKE CountTRuCoLa auf vier Datensätzen übertraf, konnte es aufgrund von Speicherbeschränkungen auf den drei größten Datensätzen nicht ausgeführt werden und benötigte GPU-Beschleunigung. CountTRuCoLa war fünfmal schneller als CognTKE bei der Ausführung auf CPU gegenüber GPU.
Ablationsstudien:
- Das Entfernen von xy-Regeln verursachte den signifikantesten Leistungsabfall, was deren Zentralität bestätigt.
- Die Kombination aller Regeltypen lieferte die besten Ergebnisse, wobei die Rezenz ( $f_r$ ) einen größeren Beitrag zum Leistungszuwachs leistete als die Frequenz ( $g_r$ ).
- Das Lernen regelspezifischer Parameter war entscheidend; das Festlegen der Parameter auf generische Werte reduzierte die Leistung erheblich.

Bedeutung und Behauptungen

Das Paper behauptet, dass CountTRuCoLa zeigt, dass komplexe End-to-End-neuronale Architekturen nicht strikt notwendig sind, um wettbewerbsfähige oder überlegene Vorhersageergebnisse in der TKG-Vorhersage zu erzielen. Die starke Leistung einfacher, interpretierbarer Regeln deutet darauf hin, dass ein Großteil der Vorhersagekraft in diesen Datensätzen aus einfachen temporalen Abhängigkeiten (Rekurrenz, Frequenz und grundlegende temporale Muster) stammt und nicht aus komplexem Reasoning.

Die Autoren positionieren ihre Arbeit nicht nur als Vorhersagewerkzeug, sondern als Mechanismus für Transparenz. Durch die Bereitstellung einer direkten Verbindung zwischen Vorhersagen und Datenmustern ermöglicht die Methode Forschern zu verstehen, warum eine Vorhersage getroffen wurde, und potenziell die Einschränkungen komplexerer „Black-Box“-Modelle zu identifizieren (z. B. deren Unfähigkeit, aufgrund eingeschränkter Fenstergrößen langfristige Abhängigkeiten zu erfassen). Das Paper schließt mit der Feststellung, dass zukünftige Arbeiten zwar reicheres Reasoning für spezifische Benchmarks untersuchen könnten, aktuelle Benchmarks die Komplexität existierender neuronaler Modelle jedoch möglicherweise nicht voll rechtfertigen und einfachere, interpretierbare Ansätze eine lebensfähige und robuste Alternative bieten.