Byte-token Enhanced Language Models for Temporal Point Processes Analysis

Die Arbeit stellt Language-TPP vor, ein einheitliches Framework, das durch die Umwandlung von Zeitintervallen in Byte-Token Large Language Models mit Temporal Point Processes verbindet, um sowohl die Vorhersage von Ereigniszeitpunkten und -typen als auch die Qualität der generierten Ereignisbeschreibungen auf Web-Datensätzen zu verbessern.

Das Wesentliche

Die große Idee: Wenn ein Uhrmacher ein Dichter wird

Stell dir vor, das Internet ist eine riesige, unendliche Party, auf der ständig Dinge passieren: Jemand kauft Schuhe, jemand postet ein Foto, jemand schreibt eine Frage in ein Forum.

In der Welt der Datenwissenschaft gibt es zwei Arten von Experten, die versuchen, diese Party zu verstehen:

1. Die Uhrmacher (Die TPPs): Diese Experten sind brillant darin, den Takt zu messen. Sie wissen genau, wann etwas passiert und wie oft. Aber sie sind etwas stumm. Sie können dir sagen: „Um 14:03 Uhr hat Person A etwas gekauft", aber sie verstehen nicht, warum oder was genau gekauft wurde. Sie sehen nur die Uhrzeit und den Namen des Objekts.
2. Die Dichter (Die LLMs): Das sind die großen Sprach-KI-Modelle (wie Chatbots). Sie sind fantastisch darin, Texte zu verstehen, Gefühle zu erkennen und Geschichten zu erzählen. Sie können einen Produktreview lesen und sagen: „Der Kunde war enttäuscht." Aber sie sind oft schlecht darin, den Zeitplan zu verstehen. Sie wissen nicht, dass ein Kunde, der heute ein Handy kauft, wahrscheinlich in zwei Wochen Zubehör braucht. Sie sehen den Text, aber nicht den Takt.

Das Problem: Bisher haben diese beiden Experten nicht gut zusammengearbeitet. Die Uhrmacher konnten die Texte nicht lesen, und die Dichter konnten die Uhrzeiten nicht richtig einordnen.

Die Lösung: Language-TPP (Der „Übersetzer")

Die Forscher in diesem Papier haben eine geniale Brücke gebaut, die sie Language-TPP nennen. Sie haben einen Weg gefunden, die Uhrmacher und die Dichter in einem einzigen Gehirn zu vereinen.

Der Trick: Die „Byte-Token"-Methode

Das größte Hindernis war: Wie übersetzt man eine Zahl (die Uhrzeit) in eine Sprache, die ein Sprachmodell versteht?

• Der alte Weg: Man schreibt die Zeit einfach als Text auf, z. B. „0,075999237". Das ist für ein Sprachmodell wie ein langer, sinnloser Haufen Buchstaben. Es braucht viele „Wörter" (Tokens), um diese eine Zahl zu beschreiben, und das verwirrt das Modell.
• Der neue Weg (Byte-Tokens): Die Forscher haben sich etwas Cleveres ausgedacht. Sie haben sich vorgestellt, dass jede Zahl wie ein Brief ist, der aus genau 4 kleinen Paketen (Bytes) besteht. Statt die Zahl als Text zu schreiben, zerlegen sie sie in diese 4 Pakete und geben jedem Paket einen eigenen, speziellen Namen (einen „Byte-Token").

Die Analogie:
Stell dir vor, du musst einem Freund eine genaue Uhrzeit per Post schicken.

• Alt: Du schreibst einen ganzen Brief: „Es ist genau 14 Uhr 32 Minuten und 15 Sekunden." (Viel Papier, viel Platz).
• Neu: Du schickst ihm 4 spezielle Briefmarken. Jede Briefmarke steht für ein kleines Stück der Zeit. Der Empfänger (das KI-Modell) kennt diese Briefmarken und weiß sofort: „Aha! Diese 4 Marken zusammen bedeuten genau diese Zeit!"

Dadurch kann das Sprachmodell die Zeit genauso leicht lesen wie ein Wort im Buch.

Was kann dieses neue System nun?

Dank dieser Erfindung passiert Magie:

1. Es ist ein besserer Wahrsager: Wenn das Modell sieht, dass jemand ein Foto von einem Hund postet (Text) und es war 10 Minuten her (Zeit), kann es viel besser vorhersagen, was als Nächstes passiert. Es sagt nicht nur „Nächster Post kommt in 5 Minuten", sondern es weiß auch, dass es wahrscheinlich wieder ein Hundebild sein wird, weil es den Kontext (Text) und den Rhythmus (Zeit) kombiniert.
2. Es kann Geschichten erfinden: Das ist der coolste Teil! Bisher konnten solche Modelle nur Zahlen vorhersagen. Language-TPP kann nun auch Texte generieren.
   • Beispiel: Wenn du dem Modell sagst: „Ein Kunde hat gerade ein neues Handy gekauft", kann das Modell nicht nur sagen, wann der nächste Kauf kommt, sondern es kann auch einen fiktiven Produktreview schreiben, der genau zu diesem Zeitpunkt und zu diesem Kauf passt. Es versteht den „Vibe" der Zeit und des Textes.

Warum ist das wichtig?

Stell dir vor, du betreibst einen Online-Shop.

• Ohne dieses System: Du weißt, wann Kunden kaufen, aber du musst raten, was sie schreiben oder wie sie sich fühlen.
• Mit Language-TPP: Das System sagt dir: „In 3 Tagen wird dieser Kunde wahrscheinlich eine Hülle kaufen, und wenn er eine Bewertung schreibt, wird er wahrscheinlich über die Farbe sprechen."

Das hilft dabei:

• Bessere Werbung: Du zeigst die richtigen Produkte zur richtigen Zeit.
• Bessere Inhalte: Du kannst automatisch Texte oder Antworten generieren, die genau zum Moment passen.
• Verständnis: Du verstehst das Verhalten der Menschen im Internet viel tiefer, weil du nicht nur auf die Uhr, sondern auch auf das, was sie sagen, hörst.

Fazit

Die Forscher haben einen „Übersetzer" gebaut, der die Sprache der Zeit (Zahlen) in die Sprache der KI (Wörter) verwandelt. Dadurch können Computer nicht nur den Takt des Internets hören, sondern auch die Geschichte verstehen, die dahintersteckt. Es ist, als würde man einem Uhrmacher plötzlich die Fähigkeit geben, ein Roman zu schreiben – und das Ergebnis ist viel genauer und kreativer als alles, was vorher möglich war.

Technische Zusammenfassung

Problemstellung

Zeitliche Punktprozesse (Temporal Point Processes, TPPs) sind ein etabliertes statistisches Framework zur Modellierung von Ereignissequenzen im Web (z. B. Nutzerbewertungen, Social-Media-Posts, Transaktionen). Traditionelle TPP-Modelle konzentrieren sich jedoch primär auf zeitliche Dynamiken und kategoriale Ereignistypen, während sie die reichhaltigen textuellen Beschreibungen, die oft mit diesen Ereignissen einhergehen, nur unzureichend nutzen.

Gleichzeitig verfügen Large Language Models (LLMs) über hervorragende Fähigkeiten zur Textverarbeitung und -generierung, fehlen aber Mechanismen, um die inhärenten zeitlichen Dynamiken von Web-Ereignissequenzen effektiv zu erfassen. Die zentrale Herausforderung besteht darin, ein einheitliches Framework zu schaffen, das die Stärken beider Welten vereint: die präzise zeitliche Modellierung von TPPs und die semantische Textverarbeitung von LLMs, ohne dabei die Architektur der LLMs grundlegend zu verändern.

Methodik: Language-TPP

Die Autoren stellen Language-TPP vor, ein einheitliches Framework, das TPPs nahtlos in LLM-Architekturen integriert. Der Kern der Methode liegt in der Umwandlung aller Ereignisdaten in eine rein textbasierte Token-Sequenz, die von einem Standard-Decoder-LLM (basierend auf Qwen2.5) verarbeitet werden kann.

1. Byte-Token-Kodierung für Zeitintervalle (Kerninnovation):

• Herkömmliche Ansätze nutzen oft spezielle Positional Encodings oder Embeddings für Zeitstempel. Language-TPP hingegen kodiert kontinuierliche Zeitintervalle als Byte-Tokens.
• Ein 32-Bit-Gleitkommazahl-Zeitintervall wird in seine 4 Bytes zerlegt. Jedes Byte (Wertebereich 0–255) wird als spezielles Token <|byte_x|> in das Vokabular des LLMs eingefügt.
• Dies ermöglicht eine extrem effiziente Darstellung von Zeitinformationen (nur 4 Tokens pro Zeitintervall im Vergleich zu vielen Tokens bei direkter Textkodierung) und erlaubt dem LLM, Zeitmuster direkt über seine Next-Token-Vorhersage zu lernen.

2. Textuelle Template-Struktur:

• Jedes Ereignis wird in ein vordefiniertes Text-Template eingebettet, das folgende Komponenten enthält:
  • Ereignistyp (als Text oder Index-zu-Text-Label).
  • Ereignisbeschreibung (natürliche Sprache).
  • Zeitintervall (kodiert als Byte-Token-Sequenz).
  • Spezialisierte Trennzeichen (z. B. <|start_of_event|>, <|time_prefix|>).
• Das Modell lernt somit die gemeinsame Verteilung von Zeit, Typ und Text durch autoregressive Next-Token-Vorhersage.

3. Trainingsstrategie (Zweistufiger Ansatz):

• Stufe 1 (Continued Pre-Training): Das LLM wird auf Sequenzen von Ereignis-Templates weiter vortrainiert, um ein tiefes Verständnis der zeitlichen Abhängigkeiten und der Struktur von TPP-Daten zu entwickeln.
• Stufe 2 (Next-Event Fine-Tuning): Das Modell wird spezifisch für Downstream-Aufgaben feinabgestimmt. Dabei werden Prompt-Response-Paare generiert, bei denen das Modell basierend auf einer Historie von Ereignissen das nächste Ereignis (Zeit, Typ, Beschreibung) vorhersagen soll.

Wesentliche Beiträge

1. Unified Framework: Einführung von Language-TPP, das TPPs und LLMs vereint und Aufgaben wie Zeitvorhersage, Typvorhersage und Generierung von Ereignisbeschreibungen ermöglicht.
2. Neuartige Zeitkodierung: Entwicklung einer Byte-Token-basierten Kodierung für Zeitintervalle, die eine direkte Integration in Standard-Tokenizer ermöglicht und TPP-spezifische Modifikationen der LLM-Architektur überflüssig macht.
3. Erweiterung des TPP-Spektrums: Demonstration, dass die Einbeziehung zeitlicher Informationen die Qualität der generierten Textbeschreibungen verbessert – ein bisher in der TPP-Forschung weitgehend unbeachteter Aspekt.

Ergebnisse

Die Methode wurde auf mehreren realen Web-Datensätzen (Amazon Reviews, Twitter/Retweets, StackOverflow, Taobao, Taxi-Daten) evaluiert und mit starken Baselines (z. B. Neural Hawkes Process, SAHP, AttNHP, TPP-LLM) verglichen.

• Vorhersageleistung (Zeit & Typ): Language-TPP erzielt State-of-the-Art-Ergebnisse in Bezug auf den Root-Mean-Squared-Error (RMSE) für Zeitvorhersagen und die Genauigkeit (ACC) für Typvorhersagen. Auf dem Amazon-Review-Dataset übertraf es beispielsweise den bisherigen LLM-basierten Ansatz ANHP-G3.5 signifikant (RMSE: 106,03 vs. 130,00).
• Generierung von Beschreibungen: Im Gegensatz zu herkömmlichen TPPs kann Language-TPP zukünftige Ereignistexte generieren. Auf dem Amazon-Dataset erreichte es einen ROUGE-L-Score von 24,78, was höher ist als bei einem rein textbasierten Fine-Tuning des LLMs ohne zeitliche Informationen (22,60).
• Sentiment-Analyse: Die generierten Beschreibungen zeigen eine bessere Übereinstimmung mit der tatsächlichen Sentiment-Verteilung der Ground Truth als reine LLMs, was auf eine erfolgreiche Modellierung der zeitlichen Dynamik hindeutet.
• Ablationsstudien:
  • Der Verzicht auf Byte-Tokens (stattdessen String-Kodierung) führte zu signifikanten Leistungseinbußen.
  • Das zweistufige Training (Stufe 1 + Stufe 2) erwies sich als essenziell für die Leistung.
  • Überraschenderweise schnitten kleinere Modelle (0.5B Parameter) oft besser ab als größere (1.5B), was auf eine bessere Parameter-Effizienz bei begrenzten TPP-Datensätzen hindeutet.

Bedeutung und Ausblick

Language-TPP schließt eine wichtige Lücke zwischen der statistischen Modellierung zeitlicher Prozesse und der generativen Kraft moderner LLMs.

• Für die Forschung: Es eröffnet neue Forschungsrichtungen, bei denen nicht nur das Wann und Was eines Ereignisses vorhergesagt wird, sondern auch das Wie (die Beschreibung).
• Für Anwendungen: Das Framework hat weitreichende Implikationen für personalisierte Empfehlungssysteme, Content-Moderation und das Verständnis von Nutzerverhalten auf Web-Plattformen. Durch die gemeinsame Modellierung von Zeit und Text können Web-Dienste kontextbewusster und reaktionsschneller gestaltet werden.
• Skalierbarkeit: Die Methode ist kompatibel mit bestehenden LLM-Inferenz-Optimierungen (wie FlashAttention) und kann dank des großen Kontextfensters von Qwen2.5 lange Ereignissequenzen verarbeiten.

Zusammenfassend demonstriert das Paper, dass die Umwandlung kontinuierlicher Zeitdaten in diskrete Byte-Tokens ein elegantes und effektives Mittel ist, um die Welt der Zeitreihenanalyse mit der Welt der generativen KI zu verbinden.