From Tokenizer Bias to Backbone Capability: A Controlled Study of LLMs for Time Series Forecasting

Deze studie onthult dat de schijnbare effectiviteit van grote taalmodellen (LLM's) voor tijdreeksvoorspelling vaak wordt veroorzaakt door overfitting in de tokenisatie-laag in plaats van de modelcapaciteit zelf, en concludeert dat deze modellen, zelfs met geoptimaliseerde vooropleiding, niet consequent beter presteren dan modellen die specifiek zijn getraind op grote tijdreeksdatasets.

De kern

Van "Vertaalfouten" tot "Echte Slimheid": Waarom GPT-modellen nog niet de helden zijn in voorspellen

Stel je voor dat je een zeer slimme, wereldberoemde vertaler (een LLM, zoals GPT) wilt inhuren om het weer te voorspellen. Je geeft hem de afgelopen dagen van temperatuur en regen, en hij moet zeggen wat er morgen gebeurt.

In de afgelopen jaren hebben onderzoekers geprobeerd deze taal-experts in te zetten voor tijdreeksen (zoals weer, beurskoersen of stroomverbruik). Maar een nieuw onderzoek, gedaan door wetenschappers van de Harbin Institute of Technology en de Polytechnische Universiteit van Hongkong, zegt: "Wacht even, we kijken misschien naar de verkeerde reden waarom het wel of niet werkt."

Hier is wat ze hebben ontdekt, vertaald in alledaags taalgebruik:

1. Het Probleem: De "Vertaler" doet het werk, niet de "Denker"

De meeste huidige methoden werken zo:

1. Je neemt een reeks cijfers (bijv. temperaturen).
2. Je gebruikt een Tokenizer (een vertaler) om die cijfers om te zetten in woorden die de taalcomputer begrijpt.
3. De taalcomputer (de Backbone) denkt na over die woorden.
4. Een Detokenizer (een andere vertaler) zet de woorden weer terug in cijfers.

Het probleem: De onderzoekers merkten op dat als je dit doet met kleine datasets (weinig data), de "vertalers" (Tokenizer en Detokenizer) zich zo goed aanpassen aan die specifieke kleine dataset, dat ze het werk bijna helemaal zelf doen.

• De Analogie: Het is alsof je een briljante filosoof (de LLM) een test laat doen, maar je geeft hem een vraag die hij al uit zijn hoofd kent omdat de vertaler hem de vraag zo specifiek heeft vertaald. De filosoof hoeft niet echt na te denken; de vertaler heeft het antwoord al ingefluisterd. Hierdoor lijkt het alsof de filosoof slim is, terwijl hij eigenlijk niets doet.

2. De Oplossing: Een eerlijke proef

Om te zien of de filosoof (de LLM) écht slim is voor dit soort taken, hebben de onderzoekers drie verschillende versies van hetzelfde model gebouwd, maar met een andere "opleiding":

• Versie A (De Taal-Expert): De filosoof is getraind op boeken en nieuws (normale taal). Hij mag niet veranderen. Alleen de vertalers worden getraind op de tijdreeks-data.
• Versie B (De Nieuwe Leerling): De vertalers zijn hetzelfde als bij Versie A, maar de filosoof is nu een "leeg vel". Hij is getraind op alleen tijdreeks-data (weer, stroom, etc.), zonder enige kennis van taal.
• Versie C (De Alles-kunner): Alles is nieuw. De filosoof en de vertalers zijn samen getraind op enorme hoeveelheden tijdreeks-data.

3. Wat bleek eruit?

De resultaten waren verrassend en een beetje teleurstellend voor de hype rondom LLM's:

• De "Taal-Expert" (Versie A) faalt zonder training: Als je de taal-exploot (GPT) direct laat werken zonder hem eerst op tijdreeksen te trainen, doet hij het slecht. Zijn kennis van taal helpt niet bij het voorspellen van temperaturen. Het is alsof je een Shakespeare-expert vraagt om de stand van de beurs te voorspellen; zijn kennis van sonnetten helpt niet bij aandelen.
• De "Nieuwe Leerling" (Versie B) doet het vaak beter: Een model dat puur is getraind op tijdreeks-data (zonder taal-kennis) presteert vaak beter dan de taal-expert. Dit betekent dat de "taal-kennis" van GPT eigenlijk niet zo nuttig is voor dit specifieke werk.
• De "Alles-kunner" (Versie C) wint: Het model dat van scratch is getraind op enorme hoeveelheden tijdreeks-data doet het het beste. Maar hier is de crux: dit model is geen "taalmodel" meer; het is een gespecialiseerd tijdreeks-model.

4. De Grote Conclusie

De onderzoekers concluderen dat:

1. LLM's zijn niet de magische oplossing: Het idee dat je een bestaand taalmodel (zoals GPT) kunt gebruiken om het weer te voorspellen, werkt niet zo goed als mensen hoopten. De "taal-kennis" helpt niet echt.
2. De vertalers lagen in de weg: Veel eerdere studies dachten dat de LLM het werk deed, maar eigenlijk waren het de vertalers (Tokenizer/Detokenizer) die zich te goed hadden aangepast aan de kleine datasets.
3. Je hebt specifieke data nodig: Om goed te zijn in voorspellen, moet je model getraind zijn op tijdreeks-data, niet op woorden. Een model dat is getraind op 50 miljoen tijdreeks-punten doet het beter dan een gigantisch taalmodel dat is getraind op boeken.

Kortom:
Het is alsof je probeert een Formule 1-auto (de taal-LLM) te gebruiken om een vrachtwagen te besturen. Je kunt de auto misschien een beetje aanpassen (de vertalers), maar hij is niet gebouwd voor dat werk. Als je echt een vrachtwagen wilt, bouw dan een vrachtwagen (een model getraind op tijdreeksen) in plaats van te hopen dat de Formule 1-auto het wel voor je doet.

De boodschap is: Stop met hopen dat taalmodellen alles kunnen. Voor tijdreeksen heb je gespecialiseerde modellen nodig.

Technische samenvatting

Titel

Van Tokenizer-Bias tot Backbone-Capaciteit: Een Gecontroleerde Studie van LLM's voor Tijdreeksvoorspelling

1. Het Probleem: Tokenizer-Detokenizer Bias

Het paper adresseert een fundamenteel probleem in het huidige onderzoek naar het gebruik van vooraf getrainde Large Language Models (LLM's) voor tijdreeksvoorspelling.

• Huidige Praktijk: Bestaande methoden splitsen tijdreeksen in "patches", mappen deze naar de tokenruimte van een LLM via een Tokenizer, verwerken ze door een bevroren of fijngefineerde LLM-backbone, en reconstrueren de voorspelling via een Detokenizer.
• De Bias: De auteurs stellen vast dat bestaande studies vaak worden getraind en geëvalueerd op kleine datasets. In deze setting passen de Tokenizer en Detokenizer zich zo sterk aan de specifieke verdeling van de kleine trainingsdata aan dat ze de intrinsieke voorspellingscapaciteit van de LLM-backbone maskeren.
• Gevolg: De prestaties lijken goed, maar dit komt door de over-aanpassing (overfitting) van de adapterlagen aan de dataset, niet door de kennis van de LLM. Dit leidt tot misleidende conclusies over de daadwerkelijke waarde van LLM's in dit domein. Bestaande evaluaties (zoals zero-shot tests) zijn vaak onvoldoende omdat de Tokenizer-Detokenizer paren al "vooroordeelsvol" zijn getraind op de brondata.

2. Methodologie: Een Gecontroleerd Evaluatiekader

Om de ware capaciteit van LLM's te isoleren, ontwerpen de auteurs een gecontroleerd experimenteel kader met drie modellen die exact dezelfde architectuur hebben (een 12-laags GPT-2 Decoder-only Transformer), maar verschillende voor-trainingsstrategieën toepassen.

De Drie Modellen:

1. Train-TD (Train Tokenizer-Detokenizer):
   • Gebruikt de originele, vooraf getrainde GPT-2 weights (tekstkennis).
   • Alleen de Tokenizer en Detokenizer worden getraind op een groot, divers dataset (UTS dataset, ~100 miljoen samples).
   • Doel: Creëren van een onbevooroordeelde adapter die de LLM-kennis kan benutten zonder te overfitten op kleine datasets.
2. Train-B (Train Backbone):
   • Hergebruikt de Tokenizer/Detokenizer van Train-TD.
   • De Transformer-lagen (Backbone) worden herinitialiseerd (willekeurig) en getraind op dezelfde grote tijdreeksdataset.
   • Doel: Vervangen van tekstkennis door tijdreekskennis, terwijl de adapter consistent blijft.
3. Train-BTD (Train Backbone en Tokenizer-Detokenizer):
   • Alle parameters (Backbone + Adapters) worden willekeurig geïnitieerd en gezamenlijk getraind op de grote dataset.
   • Doel: Een volledig geoptimaliseerd model voor tijdreeksen, fungerend als een sterke baseline ("Large Time Series Model").

Evaluatie:
De modellen worden getest op zero-shot (geen fine-tuning op de testdata) en few-shot (10% fine-tuning) prestaties op zeven real-world datasets (bijv. ETTh, Traffic, Electricity). Dit voorkomt dat de adapters zich aanpassen aan de testverdeling.

3. Belangrijkste Bijdragen

1. Identificatie van Bias: Het paper demonstreert dat de sterke koppeling tussen Tokenizer/Detokenizer en de backbone op kleine datasets leidt tot een "Tokenizer-Detokenizer Bias", waardoor de prestaties van de LLM-backbone niet eerlijk worden gemeten.
2. Nieuw Evaluatiekader: Introductie van een methode met drie gecontroleerde modellen op grote schaal vooraf getrainde data om de bijdrage van de LLM-kennis te isoleren.
3. Empirische Bevindingen:
   • LLM's (zoals GPT-2) hebben beperkte intrinsieke capaciteit voor tijdreeksvoorspelling in zero-shot settings.
   • Het vervangen van tekstkennis door tijdreekskennis (Train-B) verbetert de prestaties aanzienlijk ten opzichte van de originele tekst-LLM (Train-TD).
   • Volledig getrainde modellen (Train-BTD) presteren het beste, wat suggereert dat specifieke tijdreekskennis essentieel is.
4. Analyse van Schaal en Woordenboeken:
   • Woordenboeken: Het aligneren van tijdreeks-tokens met het LLM-woordenboek (zoals in TimeLLM) leidt tot slechtere prestaties, omdat LLM's voor tijdreeksen eigenlijk "out-of-domain" generalisatie gebruiken, niet vocabulaire-modellering.
   • Schaal: Het vergroten van het taalmodel (van GPT-2 naar Qwen-1.8B en LLaMA3-8B) leidt niet tot betere voorspellingsprestaties. Sterkere taalmodellen generaliseren niet beter naar tijdreeksen.
   • Data-efficiëntie: Een Transformer die vanaf nul wordt getraind op slechts ~15-50 miljoen tijdreeks-samples, presteert even goed als een bevroren GPT-2 backbone. Dit impliceert dat de "grote" LLM-kennis voor tijdreeksen niet efficiënt is.

4. Resultaten

• Zero-shot Prestaties: Train-TD (met tekstkennis) presteert slechter dan Train-B (met tijdreekskennis) en Train-BTD. De DI-GPT (geen vooraf getrainde kennis, alleen adapters) presteert zeer slecht, wat aantoont dat de adapters alleen niet genoeg zijn zonder een goede backbone of specifieke kennis.
• Vergelijking met SOTA: De LLM-gebaseerde modellen presteren niet consistent beter dan gespecialiseerde modellen die specifiek op grote tijdreeksdatasets zijn getraind (zoals Timer, Moirai, Chronos).
• Fine-tuning: Bij Train-BTD is het fijnafstellen van de Tokenizer/Detokenizer effectiever dan het fijnafstellen van de backbone, wat suggereert dat de backbone al voldoende kennis heeft en de adapter de aanpassing aan de specifieke dataset moet doen.
• Schaalwet: De prestaties van een willekeurig geïnitieerde backbone verbeteren met meer data, maar bereiken de prestaties van een bevroren GPT-2 al bij relatief kleine datasets (15-50M samples), wat de meerwaarde van de enorme LLM-parametertelling in twijfel trekt.

5. Betekenis en Conclusie

Het paper concludeert dat de huidige hype rondom LLM's voor tijdreeksvoorspelling deels gebaseerd is op een methodologische valkuil: de over-aanpassing van de adapterlagen op kleine datasets.

• Kernboodschap: LLM's hebben geen inherente, superieure capaciteit voor tijdreeksvoorspelling die automatisch overdraagbaar is vanuit taalmodellen.
• Implicatie: Voor tijdreeksvoorspelling is het trainen van een model op specifieke, grote tijdreeksdatasets (of het gebruik van gespecialiseerde architecturen) effectiever dan het gebruik van een bevroren, generiek taalmodel.
• Toekomst: De focus moet verschuiven van het "toepassen" van bestaande LLM's naar het ontwikkelen van modellen die specifiek zijn ontworpen voor de temporele dynamiek van tijdreeksen, waarbij de rol van de Tokenizer/Detokenizer als bron van bias wordt erkend en geminimaliseerd.

Kortom, de auteurs tonen aan dat de "magie" van LLM's in tijdreeksvoorspelling vaak een illusie is veroorzaakt door de trainingsmethode, en dat specifieke tijdreekskennis cruciaal is voor succes.