Technische Samenvatting: Byte Pair Encoding voor Efficiënte Tijdreeksvoorspelling

Probleemstelling

Huidige tokenisatiemethoden voor tijdreeksvoorspelling, met name die gebruikmaken van Transformer-architecturen, lijden aan aanzienlijke inefficiënties en inflexibiliteit. Bestaande benaderingen vallen voornamelijk uiteen in twee categorieën:

1. Sample-gebaseerde tokens: Elke individuele tijdstap behandelen als een token. Dit resulteert in excessief lange sequenties waarbij elk token minimale temporele informatie bevat, wat een aanzienlijke computationele last oplegt aan Transformer-modellen, vooral voor lange sequenties.
2. Patch-gebaseerde tokens: Tijdreeksen opdelen in subreeksen van vaste lengte (patches). Hoewel dit de problemen met sequentielengte vermindert, kunnen rigide patches zich niet aanpassen aan diverse temporele patronen van variërende lengtes en complexiteiten. Dit gebrek aan adaptiviteit belemmert de generalisatiecapaciteiten van foundation models in zero-shot settings.

Deze beperkingen leiden tot suboptimale voorspellingsprestaties en hoge computationele overhead, wat het efficiënt verwerken van lange tijdreeksen verhindert.

Methodologie

De auteurs stellen Byte Pair Encoding (BPE) voor Tijdreeksen voor, de eerste patrooncentrische tokenisatiemethode voor dit domein. De methode werkt in twee primaire stadia, gevolgd door een post-hoc optimalisatietechniek:

1. Adaptieve Motif-gebaseerde Tokenisatie

Geïnspireerd door BPE in Natural Language Processing (NLP), comprimeert deze methode tijdreeksen door terugkerende patronen samen te voegen tot enkele tokens.

• Discretisatie: Een continue tijdreeks $z$ wordt eerst gekwantiseerd in een sequentie van discrete symbolen met behulp van een vocabulaire $\Omega$ van equiprobabele bins. Dit transformeert de regressietaken in een classificatietaak over een discrete vocabulaire.
• Motif Extractie: Met behulp van een iteratief algoritme identificeert de methode de meest frequente aangrenzende tokenparen in de gediscretiseerde sequentie en voegt deze samen tot een nieuwe token ID. Dit proces herhaalt zich hiërarchisch om een vocabulaire $\Psi$ van frequente tijdreeksmotifs (patronen van variabele lengte) op te bouwen.
• Compressie: De gekwantiseerde sequentie wordt gecomprimeerd door terugkerende patronen te vervangen door de bijbehorende motif-tokens. Dit resulteert in een variabele-lengte tokensequentie waarbij complexe patronen worden gerepresenteerd door enkele tokens, wat adaptieve compressie mogelijk maakt. Het algoritme heeft een lineaire complexiteit $O(|\Psi| \cdot n)$ ten opzichte van de sequentielengte.

2. Conditionele Decodering

Om de discretisatiefout te adresseren die wordt geïntroduceerd door het kwantiseren van continue waarden, introduceren de auteurs conditionele decodering als een lichtgewicht, post-hoc optimalisatiemethode.

• Mechanisme: In plaats van een gekwantiseerde token terug te mappen naar een vast bin-centrum, is de gedecodeerde waarde geconditioneerd op de vorige sample. Specifiek hangt de reconstructie van een sample $z_i$ af van de gekwantiseerde waarde van de vorige sample $z'_{i-1}$.
• Optimalisatie: De parameters voor deze conditionele mapping ($\hat{\omega}_{j,k}$) worden analytisch berekend als het gemiddelde van de onderliggende continue samples voor specifieke token-transities. Dit vereist geen gradiëntberekening of extra training van het hoofdmodel.
• Efficiëntie: Het voegt verwaarloosbare computationele overhead toe tijdens inferentie (gelijk aan een dictionary lookup) en vertrouwt op een eerste-orde Markov-aanname met slechts $M^2$ parameters.

3. Modelarchitectuur

De getokeniseerde sequenties worden verwerkt door standaard Transformer-architecturen (specifiek T5-varianten). Het model voorspelt de volgende token ID uit de eindige vocabulaire $V = \Omega \cup \Psi \cup \{MASK, EOS\}$, wat tijdreeksvoorspelling effectief transformeert in een next-token prediction taak.

Belangrijkste Bijdragen

1. Adaptieve Tokenisatie: Een nieuwe strategie die samples met onderliggende patronen samenvoegt tot enkele tokens op basis van een discrete vocabulaire van frequente motifs. Dit maakt adaptieve compressie mogelijk terwijl een begrensde discretisatiefout behouden blijft.
2. Conditionele Decodering: Een lichtgewicht, gradiëntvrije post-hoc optimalisatiemethode die de continue eigenschappen van tijdreeksen exploiteert om discretisatiefouten te verminderen, wat de voorspellingskwaliteit aanzienlijk verbetert zonder het foundation model opnieuw te trainen.
3. Empirische Validatie: Uitgebreide analyse die de adaptiviteit van de methode aan diverse temporele patronen, de generalisatie naar onbekende data en de betekenisvolheid van de geleerde token-representaties (het vastleggen van statistische momenten, trends en motif-lengtes) aantoont.

Experimentele Resultaten

De methode werd geëvalueerd op het Chronos foundation model (getraind op 11M tijdreeksen) en vergeleken met sample-gebaseerde en patch-gebaseerde baselines over 7 diverse datasets (ETTh1, ETTm1, Weather, Electricity, Traffic, Solar, Fev-bench) in een zero-shot setting.

• Prestatiewinst: Op het Chronos foundation model verbeterde de motif-gebaseerde tokenisatie de voorspellingsprestaties (MSE) met gemiddeld 40% vergeleken met sample-gebaseerde tokenisatie. Met conditionele decodering bereikten de MSE-reducties zelfs de 48%.
• Efficiëntie: De aanpak verhoogde de efficiëntie met gemiddeld 2314% (ongeveer 23x versnelling) door het aantal tokens en autoregressieve stappen te verminderen. In specifieke gevallen (bijv. de Traffic dataset) bereikte de versnelling 56,66x.
• Vergelijking met SOTA: De voorgestelde methode presteerde beter dan of even goed als state-of-the-art foundation models (MOMENT, Moirai, Time-MoE, LightGTS) in zero-shot settings, waarbij de beste voorspellingen werden behaald in 19 van de 25 gevallen zonder fine-tuning.
• Adaptiviteit: De tokenizer demonstreerde variabele compressieratio's (bijv. van 3,30 op Traffic tot 23,15 op Weather), waarbij het zich aanpaste aan de complexiteit van patronen binnen en tussen datasets. Langere, complexere motifs bleken te correleren met een betere voorspellingskwaliteit.
• Robuustheid: De methode toonde een superieure robuustheid tegen ruis en uitschieters vergeleken met sample-gebaseerde baselines, waarbij het vaak terugviel op sample-gebaseerde tokenisatie voor onbekende transiënte patronen zonder catastrofale fouten te maken.

Betekenis en Claims

Het artikel claimt de eerste patrooncentrische tokenisatiemethode voor tijdreeksen te hebben geïntroduceerd, waarmee de kloof wordt overbrugd tussen de efficiëntie van NLP-tokenisatie en de continue aard van tijdreeksdata. De auteurs stellen dat hun methode:

• Computationele kosten verlaagt: Door tijdreeksen te comprimeren tot minder, meer informatieve tokens, verlaagt het aanzienlijk de inferentietijd en het hulpbronnenverbruik van grote foundation models.
• Generalisatie verbetert: De adaptieve aard van de tokenisatie stelt modellen in staat om beter te generaliseren naar onbekende data en diverse temporele patronen vergeleken met rigide patching.
• Betekenisvolle representaties biedt: De geleerde token-embeddings laten zien dat ze onderscheidende eigenschappen van tijdreeksen vastleggen, inclus\u00adclus statistische momenten (gemiddelde, standaarddeviatie) en trends, wat de semantische waarde van de motifs valideert.
• Een praktische optimalisatie biedt: Conditionele decodering wordt gepresenteerd als een universeel toepasbare, laag-kosten methode om elk voorgetraind model te verbeteren met een discrete output-vocabulaire.

De auteurs concluderen dat deze aanpak bijdraagt aan meer duurzame en efficiënte tijdreeksmodellen, wat potentieel de milieu-impact van het trainen en inzetten van grote foundation models vermindert. Zij erkennen beperkingen met betrekking tot het gebrek aan hyperparameter-zoekopdrachten voor de T5-backbone vanwege de computationele kosten en suggereren dat toekomstig werk recentere transformer-architecturen zou kunnen verkennen.