Technische Samenvatting: Wanneer helpt Context Routing? Een Systematische Studie naar Multi-Modale Fusie in Tijdreeksvoorspelling

1. Probleemstelling

Recente vooruitgang in tijdreeksvoorspelling heeft multi-modale methoden geïntroduceerd die hulpcontext (bijv. tekst, financieel nieuws, tabelvormige kenmerken) integreren in temporele voorspellingen via geavanceerde fusiemechanismen (bijv. cross-attention, gating, Mixture-of-Experts). Hoewel de literatuur vaak aanzienlijke prestatiewinsten rapporteert, blijft het onduidelijk of deze verbeteringen voortkomen uit de werkelijke exploitatie van contextinformatie of uit incidentele architecturale effecten, zoals verhoogde parameteraantallen, regularisatie of residual connections.

Dit artikel adresseert een specifieke, controleerbare vraag: Onder welke omstandigheden biedt hulpcontext werkelijke waarde aan een tijdreeksvoorspeller? De auteurs definiëren "werkelijke waarde" als een verbetering die strikt toe te schrijven is aan de contextinformatie zelf, onderscheiden van architecturale bijeffecten.

2. Theoretische Fundering

De auteurs vestigen een informatie-theoretische basis voor hun diagnostiek, die steunt op twee dataset-eigenschappen:

1. Autocorrelatie ($\rho_h$): De voorspelbaarheid van de toekomst ($X_{t+h}$) vanuit het onmiddellijke verleden ($X_t$). Wanneer $\rho_h \approx 1$, vangt een "laatste-waarde-shortcut" (het herhalen van de laatste observatie) het grootste deel van de voorspelbare variantie op, waardoor er verwaarloosbare ruimte overblijft voor context om bij te dragen.
2. Conditionele Mutuele Informatie ($\delta$): Gedefinieerd als $\delta = I(C; X_{t+h} | X_t)$, meet dit de aanvullende informatie die context $C$ biedt over de doelvariabele bovenop wat de historie $X_t$ al onthult.
   • Feit 1 (Distributievrije Null): Als $\delta = 0$, is context conditioneel onafhankelijk van de doelvariabele gegeven de historie. Geen enkele voorspeller, ongeacht capaciteit of architectuur, kan profiteren van $C$.
   • Feit 2 (Shortcut Ceiling): Zelfs voor niet-Gaussische data vormt de MSE van de lineaire shortcut de bovengrens voor de potentiele kloof die context kan vullen. Naarmate $\rho_h \to 1$, verdwijnt deze kloof.

De auteurs stellen een Routing Benefit Upper Bound (RBU) voor onder gezamenlijke Gaussianiteit: $RBU = \sigma^2(1 - \rho_h^2)(1 - 2^{-2\delta})$. Hoewel exact alleen onder Gaussianiteit, deelt deze formule de potentiële winst op in de "ruimte" die overblijft door de shortcut en het fractie dat de context kan invullen.

3. Methodologie

De studie maakt gebruik van een combinatie van grootschalige modellering, gecontroleerde ablatie en statistische diagnostiek.

3.1 Modellen en Testbedden

• MoME (Hoofdmodel): Een 14,3 miljard parameters tellend Mixture-of-Experts model gebaseerd op Qwen1.5-MoE-A2.7B. Het specifieke mechanisme dat wordt geablateerd is Expert-level Language Modulation (EiLM), waarbij teksttokens de output van experts moduleren via FiLM-stijl affine transformaties.
• Routing Testbed: Een gecontroleerd ablatie-instrument gebruikmakend van een PatchTransformer backbone (2 lagen) om specifieke mechanismen (routing aan/uit, aanwezigheid van shortcut, context dropout) te isoleren over 5 datasets.
• Baselines: Omvat multi-modale fusiemechanismen (Cross-Attention, Gating, Text-as-Variable, Output Fusion) en foundation modellen (Chronos-T5-Small).

3.2 Diagnostische Procedure

De auteurs stellen een pre-training diagnostiek voor om te bepalen of fusie het nastreven waard is:

1. Shortcut Check: Bereken $\rho_h$. Als $\rho_h > 0,95$, geef SKIP_FUSION (shortcut domineert).
2. MI Permutatietest: Schat $\delta$ met behulp van een Kraskov k-nearest-neighbor estimator op de residu $R = X_{t+h} - \hat{\rho}_h X_t$.
   • Voer 200 permutaties uit om een $p$-waarde te berekenen.
   • TRY_FUSION: $p < 0,05$ (Context is informatief).
   • SKIP_FUSION: $p \ge 0,05$ EN statistische power $\ge 0,8$ (Context is niet-informatief met hoge zekerheid).
   • INCONCLUSIVE: $p \ge 0,05$ EN power $< 0,8$ (Onvoldoende bewijs; raad aan een goedkoop model te trainen voor validatie).

3.3 Causale Interventies

Om causaliteit vast te stellen, voeren de auteurs drie interventies uit:

1. Toggelen van Modulatie: Het vergelijken van MoME met en zonder tekstmodulatie over verschillende datasets.
2. Toevoegen/Verwijderen van Shortcuts: Het expliciet toevoegen van een last-value residual connection aan MoME om de onderdrukking van routing-bijdragen te observeren.
3. Context Corruptie: Het progressief vervangen van tekstcontext door niet-informatieve placeholders om de degradatie van prestaties te observeren.

4. Belangrijkste Resultaten

4.1 Condities voor Succes

De studie identificeert twee noodzakelijke condities voor context om te helpen:

1. Geen concurrerende shortcut: De doelvariabele mag niet gedomineerd worden door een last-value shortcut (lage $\rho_h$).
2. Statistisch informatieve context: De context moet een niet-nul conditionele mutuele informatie ($\delta > 0$) dragen.

4.2 Kwantitatieve Bevindingen

• MoME Prestaties: Wanneer beide condities gelden (bijv. HealthUS, Environment, SocialGood, HealthAFR), levert tekst-geconditioneerde expert-modulatie substantiële MSE-reducties op: +51% (HealthUS), +41,5% (Environment), +32% (SocialGood), en +29% (HealthAFR).
• Foutmodi:
  • Hoge Autocorrelatie: Op datasets zoals FinMultiTime ($\rho=0,999$) en Energy ($\rho=0,99$), stort de routing-bijdrage in tot de capaciteitsvloer (bijna 0% of negatief). Een eenvoudige repeat-last-value baseline presteert vaak beter dan het 14,3B model.
  • Shortcut Interventie: Het toevoegen van een last-value shortcut aan MoME onderdrukt de routing-bijdragen met 77–93% over drie datasets (HealthUS, SocialGood, HealthAFR).
  • Context Corruptie: Naarmate de tekstkwaliteit verslechtert, dalen de voordelen van +44% (schoon) naar negatieve waarden bij 50–75% corruptie, wat aangeeft dat gedeeltelijk gecorrumpeerde context slechter is dan constante context.
• Fusiemechanismen: In het gecontroleerde testbed vertoonden alleen MI-significante datasets positieve bijdragen. Op MI-niet-significante datasets vertoonde geen enkel mechanisme een positief voordeel; sommige (zoals Cross-Attention) vertoonden negatieve effecten door ruis.
• Niet-lineariteit: Lineaire regressie probes slaagden er niet in om de waarde van context te detecten, zelfs niet op datasets waar MoME een verbetering van +51% behaalde, wat bevestigt dat de relaties tussen context en doelvariabele fundamenteel niet-lineair zijn.

4.3 Validatie

• Monash Archive: Het $\rho$-gebaseerde component van de diagnostiek werd gevalideerd op 27 Monash-datasets, waarbij een sterke correlatie (Spearman $r=0,888$) werd aangetoond tussen hoge autocorrelatie en shortcut-dominantie.
• Diagnostische Nauwkeurigheid: Op de 8 geëvalueerde datasets leverde de diagnostiek geen fout-positieven op in goed gepoolede settings. Het identificeerde correct "SKIP" voor hoge-$\rho$ of niet-informatieve datasets en "INCONCLUSIVE" voor gevallen met lage power (bijv. SocialGood, Environment) waar de MI-test onvoldoende samples had.

5. Bijdragen en Betekenis

Dit artikel levert de volgende bijdragen:

1. Causale Decompositie: Het isoleert de bijdrage van het fusiemechanisme van architecturale confounds door gecontroleerde interventies (shortcut toevoeging, context corruptie), en demonstreert dat winsten causaal zijn aan de kwaliteit van de context, niet slechts aan de modelcapaciteit.
2. Gecalibreerde Pre-training Diagnostiek: Het biedt een praktische, goedkope tool (TRY/SKIP/INCONCLUSIVE) waarmee praktijkgebruikers kunnen beslissen of zij moeten investeren in complexe multi-modale fusie voordat zij gaan trainen. De auteurs benadrukken de asymmetrie van bewijs: de "SKIP" aanbeveling is breed betrouwbaar (geen fout-positieven in geteste settings), terwijl de grote magnitudes specifiek zijn voor de MoME-familie en slechts in richting worden bevestigd door het testbed.
3. Theoretisch Inzicht: Het stelt vast dat de "last-value shortcut" een primaire confound is in multi-modale voorspelling. Als een dataset een hoge autocorrelatie heeft, kan geen enkele architecturale verfijning of contextintegratie de dominantie van de triviale baseline overwinnen.

6. Reikwijdte en Beperkingen

De auteurs zijn expliciet over de reikwijdte van hun claims:

• Modelspecificiteit: De grote magnitude van de voordelen (+29% tot +51%) wordt waargenomen in het 14,3B MoME model. Het testbed bevestigt de richting van het effect, maar niet de magnitude, aangezien kleinere modellen niet de capaciteit hebben om hoogdimensionale niet-lineaire signalen te exploiteren.
• Modaliteit: De studie richt zich op tekst en financiële nieuws-embeddings. Het test geen beeld- of audiomodaliteiten, hoewel de diagnostiek theoretisch modaliteit-agnostisch is.
• Power Beperkingen: De MI-test vereist voldoende steekproefomvang en contextdiversiteit. In settings met lage power geeft de diagnostiek correct "INCONCLUSIVE" in plaats van een misleidende "SKIP".
• Single-Lag Conditionering: De residu-berekening verwijdert alleen eerste-orde lineaire afhankelijkheid. Bij sterk seizoensgebonden data zou de "TRY" aanbeveling de waarde van context kunnen overschatten, hoewel de "SKIP" conditie robuust blijft.

Concluderend betogen de auteurs dat multi-modale fusie niet universeel voordelig is. De waarde ervan wordt strikt begrensd door de afwezigheid van een dominante shortcut en de statistische informatieve waarde van de context. Praktijkgebruikers wordt geadviseerd om de autocorrelatie te berekenen en een snelle MI-permutatietest uit te voeren voordat zij complexe fusie-architecturen inzetten.