Byte-token Enhanced Language Models for Temporal Point Processes Analysis

Dit paper introduceert Language-TPP, een unificerend framework dat Large Language Models combineert met Temporal Point Processes via een innovatieve byte-token codering voor tijdsintervallen, waardoor er zowel de temporele dynamiek als de tekstuele rijkdom van webgebeurtenissen effectief gemodelleerd kunnen worden met state-of-the-art prestaties.

De kern

Stel je voor dat je een detective bent die probeert het gedrag van mensen op internet te voorspellen. Mensen doen van alles: ze kopen producten, schrijven reviews, posten op sociale media of stellen vragen. Deze acties gebeuren op specifieke momenten in de tijd.

Vroeger hadden we twee soorten detectives:

1. De Tijdspecialist: Deze kon heel goed zeggen wanneer de volgende actie zou plaatsvinden (bijvoorbeeld: "Over 5 minuten post iemand iets"), maar hij kon de inhoud van die actie niet begrijpen.
2. De Taalkundige (LLM): Dit zijn de slimme chatbots die we vandaag kennen. Ze kunnen prachtige verhalen schrijven en reviews bedenken, maar ze hebben geen idee van de tijd. Voor hen is "nu" en "over een uur" hetzelfde. Ze weten niet dat mensen vaak 's avonds meer posten dan 's ochtends.

Het probleem: De echte wereld is een mix van beide. Mensen doen dingen op een bepaald tijdstip én met een bepaalde tekst. De oude modellen misten de tekst, en de moderne chatbots misten het tijdsgevoel.

De Oplossing: Language-TPP (De "Tijd-Tolk")

De auteurs van dit paper hebben een nieuwe methode bedacht, genaamd Language-TPP. Ze hebben deze twee detectives samengevoegd tot één super-detective.

Hoe doen ze dat? Ze gebruiken een slim trucje met Byte-tokens.

De Creatieve Analogie: De "Tijd-Code"

Stel je voor dat je een chatbot wilt vertellen hoe laat het is.

• De oude manier: Je schrijft het tijdstip als tekst: "0.075999237". Voor de computer is dit een lange, rommelige zin van 11 letters. Het is inefficiënt en verwarrend.
• De nieuwe manier (Byte-tokens): De auteurs zeggen: "Laten we de tijd niet als tekst schrijven, maar als een geheime code."

Ze veranderen elk tijdstip in een reeks van 4 speciale symbolen (zoals <|byte_61|>, <|byte_155|>, etc.). Voor de computer is dit net zo makkelijk te lezen als een gewoon woord. Het is alsof je in plaats van "10 uur 30 minuten" te zeggen, een kort fluitje blaast dat de computer direct begrijpt als "10:30".

Dit maakt het mogelijk om de chatbot (die normaal gesproken alleen tekst leest) plotseling ook de tijd te laten "lezen" zonder dat je de hele architectuur van de robot hoeft te verbouwen.

Wat kan deze nieuwe methode nu doen?

Deze "super-detective" heeft drie superkrachten:

1. Het voorspellen van het "Wanneer" en "Wat":
   Als je kijkt naar een reeks eerdere reviews, kan het model niet alleen zeggen wanneer de volgende review komt, maar ook wat voor soort product het is (bijvoorbeeld: "Kleding" of "Elektronica"). Het doet dit beter dan alle oude methoden.

2. Het schrijven van de "Review" (De echte verrassing):
   Dit is het coolste deel. De oude modellen konden alleen cijfers voorspellen. Language-TPP kan echter tekst genereren.

   • Voorbeeld: Als het model ziet dat iemand een bril koopt, kan het niet alleen zeggen "Over 2 dagen koopt hij iets", maar het kan ook een voorbeeld van een review schrijven: "Deze bril zit comfortabel en ziet er geweldig uit!"
   • En omdat het de tijd in het achterhoofd houdt, klinkt deze review natuurlijker. Als het model de tijd zou negeren, zou de review misschien klinken alsof hij uit de lucht is gevallen.

3. Het begrijpen van de "Sfeer" (Sentiment):
   Het model leert ook hoe mensen zich voelen op bepaalde momenten. Als mensen vaak blij zijn met een product na een korte tijd, leert het model dat en past het de "stemming" van de gegenereerde tekst daarop aan.

Waarom is dit belangrijk?

Stel je een webshop voor.

• Vroeger: De webshop wist alleen dat je vaak om 18:00 uur boodschappen doet.
• Nu met Language-TPP: De webshop weet dat je om 18:00 uur boodschappen doet, en dat je waarschijnlijk een review zult schrijven over een nieuwe bril die je net hebt gekocht. Het systeem kan dan niet alleen een product aanbevelen, maar ook een persoonlijke, tijd-gerelateerde tekst genereren die perfect bij jouw gedrag past.

Samenvatting in één zin

De auteurs hebben een manier bedacht om de "tijd" van een gebeurtenis om te zetten in een taal die een slimme chatbot begrijpt, waardoor we nu niet alleen kunnen voorspellen wanneer iets gebeurt, maar ook wat er precies wordt gezegd of geschreven.

Het is alsof je een horloge hebt dat niet alleen de tijd aangeeft, maar ook een verhaal kan vertellen over wat er op dat moment gebeurt.

Technische samenvatting

Probleemstelling

Temporale Point Processen (TPP's) worden veel gebruikt om gebeurtenissequenties op het web te modelleren, zoals gebruikersbeoordelingen, sociale mediaberichten en online transacties. Traditionele TPP-modellen hebben echter moeite om de rijke tekstuele beschrijvingen die vaak bij deze gebeurtenissen horen, effectief te integreren. Aan de andere kant hebben Large Language Models (LLM's) weliswaar uitstekende tekstverwerkingscapaciteiten, maar missen ze mechanismen om de inherente temporale dynamiek van webgebeurtenissequenties te verwerken. Er bestaat een kloof tussen de statistische modellering van tijdsintervallen en de generatieve kracht van LLM's voor multi-modale data.

Methodologie: Language-TPP

De auteurs introduceren Language-TPP, een unificerend framework dat TPP's naadloos integreert met LLM's (specifiek gebaseerd op Qwen2.5). De kern van de methode ligt in het omzetten van continue tijd en categorische data naar een formaat dat door standaard taalmodellen kan worden verwerkt.

1. Byte-token Temporal Encoding:

   • In plaats van tijdstippen of intervallen als tekstuele getallen te behandelen (wat inefficiënt is en veel tokens vereist), gebruiken de auteurs een speciaal byte-token mechanisme.
   • Continue tijdsintervallen (floats) worden geconverteerd naar hun 32-bit float hexadecimale byte-representatie.
   • Elke byte (0-255) wordt vertaald naar een speciaal token in de vocabulaire van het model (bijv. <|byte_61|>). Een tijdstip wordt zo gerepresenteerd door slechts 4 byte-tokens in plaats van tientallen teksttokens.
   • Dit maakt het mogelijk om continue tijd direct te verwerken binnen de standaard tokeniseringsarchitectuur van een LLM zonder specifieke aanpassingen aan de modelstructuur.

2. Tekstuele Template en Tokenisatie:

   • Gebeurtenissen worden omgezet in een gestructureerde tekstuele template die bestaat uit:
     • Gebeurtenistype: Tekstuele label of index.
     • Beschrijving: De natuurlijke taaltekst van de gebeurtenis (bijv. een productreview).
     • Tijdstip: De geconverteerde byte-tokens.
   • Speciale tokens (zoals <|start_of_event|>, <|time_prefix|>) markeren de verschillende componenten binnen de sequentie.

3. Training en Inferentie:

   • Training: Het model ondergaat een twee-staps training:
     1. Continue Pre-training: Het LLM wordt verder getraind op de token-sequenties van gebeurtenissen met next-token prediction loss.
     2. Next-Event Fine-tuning: Het model wordt gefinetuned op prompt-response paren om specifieke taken uit te voeren (voorspellen van de volgende tijd, type of genereren van beschrijving).
   • Inferentie: Het model voert autoregressieve voorspellingen uit. Afhankelijk van de taak (tijd, type of tekst) worden de gegenereerde tokens teruggeconverteerd naar hun oorspronkelijke vorm (bijv. bytes terug naar een float voor de tijd).

Belangrijkste Bijdragen

1. Unificatie van TPP en LLM: Een nieuw framework dat temporale dynamiek en tekstuele informatie in één model combineert, waardoor zowel voorspelling als generatie van multi-modale gebeurtenissen mogelijk wordt.
2. Nieuwe Temporal Encoding: De introductie van byte-tokens voor tijdsintervallen, wat een efficiënte en naadloze integratie met bestaande LLM-tokenizers mogelijk maakt.
3. Uitbreiding van TPP-capaciteiten: Voor het eerst wordt een TPP-model gebruikt om niet alleen tijden en types te voorspellen, maar ook tekstuele beschrijvingen van toekomstige gebeurtenissen te genereren.

Resultaten

De auteurs hebben Language-TPP getest op diverse real-world datasets (Amazon Review, Twitter, StackOverflow, Taobao, Taxi) en vergeleken met state-of-the-art baselines (zoals NHP, SAHP, THP, AttNHP, TPP-LLM en ANHP-G3.5).

• Voorspellingsprestaties: Language-TPP behaalde state-of-the-art resultaten op zowel tijdsvoorspelling (gemeten met RMSE) als typevoorspelling (gemeten met Accuracy). Op de Amazon Review dataset verbeterde het de RMSE aanzienlijk ten opzichte van de beste concurrenten (bijv. 106.03 vs 130.00 voor ANHP-G3.5).
• Generatie van Beschrijvingen: Het model slaagde erin om kwalitatief goede productreviews te genereren. De gegenereerde teksten behaalden een hogere ROUGE-L-score (24.78) dan een standaard LLM (Qwen2.5-0.5B) die zonder temporale informatie was gefinetuned (22.60).
• Sentimentanalyse: De sentimentverdeling van de gegenereerde teksten kwam beter overeen met de grondwaarheid dan die van pure LLM's, wat aantoont dat het model de temporale dynamiek effectief gebruikt om de context van de tekst te begrijpen.
• Ablatie-studies:
  • Het gebruik van byte-tokens bleek cruciaal; het vervangen ervan door standaard teksttokenisatie leidde tot een significante daling in prestaties.
  • De twee-staps training (pre-training + fine-tuning) bleek noodzakelijk voor het optimaliseren van de temporale vaardigheden.
  • Kleinere modellen (0.5B) presteerden vaak beter dan grotere modellen, waarschijnlijk vanwege de beperkte grootte van TPP-datasets ten opzichte van de modelcapaciteit.

Betekenis en Impact

Dit werk opent nieuwe richtingen voor onderzoek naar webgebeurtenissen:

• Verbeterde Gebeurtenisgeneratie: Het toont aan dat het integreren van temporale data de kwaliteit van gegenereerde tekst verbetert, wat waardevol is voor content creatie en automatisering.
• Gebruikersgedrag: Door zowel tijd als tekst te modelleren, biedt het een dieper inzicht in gebruikersgedrag op webplatformen, wat nuttig is voor gepersonaliseerde aanbevelingen en content-moderatie.
• Architectonische Innovatie: De byte-token strategie biedt een nieuwe manier om continue waarden (tijd, maar potentieel ook andere continue data) in discrete taalmodellen te integreren zonder de complexiteit van specifieke aanpassingen aan de modelarchitectuur.

Kortom, Language-TPP bewijst dat het combineren van de statistische kracht van TPP's met de generatieve kracht van LLM's leidt tot superieure prestaties in zowel voorspelling als creatie van webgebeurtenissen.