Technische Samenvatting: LLM-vooropleiding vormt een generaliseerbare manifold

Probleemstelling

Het artikel onderzoekt het mechanisme achter de cross-modale overdracht van Large Language Models (LLM's) naar tijdreeksvoorspelling. Hoewel recente studies hebben aangetoond dat LLM's kunnen worden aangepast voor tijdreekstaken, blijven de empirische resultaten omtrent de bron van dit voordeel tegenstrijdig. Sommige literatuur schrijft prestatiewinst toe aan architecturale bias of tokeniseringseffecten in plaats van aan de vooraf getrainde representaties zelf, terwijl anderen significante verbeteringen waarnemen in regimes met weinig data of bij distributieveranderingen. De centrale vraag die wordt behandeld is: Worden taal-vooraf getrainde transformers effectieve tijdreeksvoorspellers omdat ze herbruikbare sequentiestructuren leren, of is de overdracht louter semantisch?

Methodologie

De auteurs hergebruiken Qwen3-0.6B, een taalmodel met 0,6 miljard parameters, als een probabilistische tijdreeksvoorspeller. De experimentele opzet omvat:

• Tokenisering: Continue tijdreekswaarden worden genormaliseerd en gediskretiseerd in $V=1024$ uniforme bins over het bereik $[-5, 5]$. Deze bins worden gemapt naar de vocabulaire van het model.
• Trainingsdoel: Het model wordt getraind met een next-token-predictieparadigma en een gewogen kwantielverlies (pinball loss) over kwantielniveaus $Q = \{0.1, \dots, 0.9\}$, volgens de Chronos Bolt-aanpak.
• Aanpassingsstrategieën: De studie vergelijkt vier regimes op de GiftEval-benchmark:
  1. Volledige finetuning (alle parameters worden bijgewerkt).
  2. IO Only (bevroren backbone, trainbare input/output-koppen).
  3. LoRA Attn (LoRA-adapters uitsluitend op attentieprojecties).
  4. LoRA Attn+IO (LoRA op attentie plus trainbare IO).
• Vergelijkende Baselines: Alle strategieën worden getest tegen modellen met willekeurige initialisatie (RandInit) en tegen gevestigde tijdreeksbaselines (Chronos-varianten, ARIMA).

Belangrijkste Bijdragen en Bevindingen

1. De Gedeelde Manifold-hypothese

Het artikel stelt dat taalvooropleiding een herbruikbare temporele manifold construeert in plaats van louter semantische kennis. Dit wordt onderbouwd door drie primaire experimenten:

• Lineair Probing zonder Supervisie: Een eenvoudige lineaire probe, getraind op bevroren LLM-verborgen staten (uitsluitend met WikiText-inputs), kan realistische tijdreeks-trajecten decoderen. Wanneer deze via nearest-neighbor wordt vergeleken met een bank van 10.000 echte tijdreeksen, produceert het vooraf getrainde model diverse, gestructureerde outputs (MSE 0,23–0,38). Cruciaal is dat deze structuur instort bij gebruik van willekeurige gewichten of willekeurige tokens, wat bewijst dat de combinatie van vooraf getrainde gewichten en betekenisvolle tekst vereist is om toegang te krijgen tot de manifold.
• Retrieval-gebaseerde Voorspelling: Een projectie die uit de vooraf getrainde manifold wordt opgehaald op basis van de eerste helft van een tijdreeks, kan de tweede helft voorspellen met een lagere fout (MSE 1,91) dan een naïeve baseline die de laatste waarde doorzet (MSE 2,27). Dit suggereert dat de manifold voorspellende continuïteitssignalen bevat voordat er enige finetuning op tijdreeksen heeft plaatsgevonden.
• Gradiëntcoherentie: Vooraf getrainde modellen vertonen een hoge gradiëntalignatie (gemiddelde paarsgewijze cosinusgelijkheid) vanaf de allereerste stap van finetuning. Daarentegen ondergaan willekeurig geïnitieerde modellen een "warmup"-fase met bijna nul alignatie tot stap 64–256, waarna gradiënten coherent worden. Dit geeft aan dat vooropleiding een gunstig optimalisatielandschap biedt met coherente, wederzijds versterkende gradiënten, waardoor de fase van destructieve interferentie die bij willekeurige initialisatie wordt waargenomen, wordt omzeild.

2. Low-Rank Adaptatie en Geometrische Alignatie

Het artikel betoogt dat finetuning fungeert als een laagdimensionale alignatie in plaats van het leren van temporele primitieven vanaf nul:

• Effectieve Datatransfer: Met behulp van het kader van Hernandez et al. [2021] tonen de auteurs aan dat parameter-efficiënte methoden (LoRA) het grootste deel van het overdrachtsvoordeel herstellen. Volledige finetuning bereikt een effectieve datatransfer (DT) van 6,8, terwijl LoRA Attn 5,2 bereikt. Dit impliceert dat slechts een kleine verstoring van de vooraf getrainde gewichten noodzakelijk is.
• Dynamiek van Effectieve Rang: Willekeurig geïnitieerde modellen starten met bijna isotrope verborgen staten en ondergaan een snelle "rank collapse" naar een laagdimensionale structuur. Daarentegen starten taal-geïnitieerde modellen met een gecomprimeerde representatie en ondergaan ze selectieve compressie: middelste lagen verhogen de effectieve rang, terwijl vroege en late lagen deze verlagen. Dit suggereert dat finetuning capaciteit herverdeelt, waarbij circuitry van middelste lagen wordt hergebruikt in plaats van dat er nieuwe structuren worden gebouwd.
• Hergebruik van Kenmerken: Cross-domain crosscoder-analyse onthult dat specifieke latente kenmerken in het vooraf getrainde model zowel op tijdreeksmotieven (bijvoorbeeld grootte-sprongen, ontbrekende data, regimeveranderingen) als op semantisch coherente tekstpassages (bijvoorbeeld eenheidsconversies, verhalen over tropische cyclonen, tijdstippen van zeeslagen) reageren. Dit bevestigt dat de overgedragen deelruimte interpreteerbare temporele primitieven bevat die over modaliteiten heen gedeeld worden.

3. Geometrische versus Semantische Overdracht

De auteurs tonen aan dat hoewel zowel vooraf getrainde als willekeurig geïnitieerde modellen uiteindelijk leren periodieke structuren (bijvoorbeeld sinusgolven) te coderen, ze dit doen via verschillende geometrische paden:

• RandInit leert eenvoudige, laagdimensionale bogen met een hoge variantie die wordt verklaard door hoofdcomponenten.
• LangInit behoudt complexe, heterogene, laagvariërende lussen die zijn geërfd van de vooropleiding; deze zijn geometrisch rijker maar functioneel afgestemd op de taak.
• Circuitanalyse: Zero-ablatie identificeert een specifiek superadditief circuit in Laag 1 (MLP en attentiekop) dat cruciaal is voor periodieke voorspelling. Ditzelfde circuit blijkt uiterst gevoelig te zijn voor sequentiële repetitieve structuren in tekst, wat causaal bewijs levert dat het model abstracte structurele mechanismen hergebruikt in plaats van semantische inhoud.

Betekenis en Aanspraken

Het artikel concludeert dat het mechanisme dat LLM-naar-tijdreeks-overdracht mogelijk maakt, geometrisch en niet semantisch is.

• Vooropleiding als Manifold-construktie: Taalvooropleiding organiseert het model in een sequentiële manifold die dynamieken zoals herhaling, trends en periodiciteit codeert.
• Finetuning als Projectie: Finetuning leert geen voorspellingstructuur vanaf nul; het projecteert numerieke dynamieken op taakrelevante richtingen die al in de manifold aanwezig zijn.
• Reconciliatie van Tegenstrijdige Literatuur: Deze geometrische account verklaart waarom overdracht het meest effectief is in regimes met weinig data en bij distributieveranderingen (waar vooraf getrainde richtingen structuur bieden die beperkte data niet kan vaststellen) en waarom parameter-efficiënte methoden zoals LoRA effectief zijn (aangezien overdracht fundamenteel richtingselectie is).

De auteurs houden een bescheiden standpunt aan, waarbij zij opmerken dat hun bevindingen gebaseerd zijn op een enkele backbone (Qwen3-0.6B) en corpus, en dat het causale circuitbewijs voorlopig is. Zij stellen echter dat elk voldoende rijk autoregressief sequentiemodel met latente temporele structuur vergelijkbare overdracht kan ondersteunen, waardoor de relevantie van deze bevindingen verder reikt dan taalmodellen.