Technische Samenvatting: Dirichlet-Guided Group Forecasting (DGF)

1. Probleemdefinitie: Over-smoothing als Latente Moduscompressie

Het paper identificeert over-smoothing (overmatige afvlakking) als een kritieke beperking in tijdreeksvoorspelling (TSF), met name bij meerstaps-voorspellingen waar toekomstige dynamiek multi-modaal is. Traditionele modellen leggen vaak grove trends vast, maar falen in het behouden van scherpe veranderingen, oscillaties, keerpunten en regime-transities.

De auteurs herformuleren over-smoothing niet louter als een door verlies veroorzaakt artefact of een probleem in het frequentiedomein, maar als latente dynamische moduscompressie. Onder de standaardinstelling van supervisie op basis van een enkele realisatie (waarbij elke trainingsinput gekoppeld is aan slechts één gerealiseerd toekomstig traject), ontstaan de volgende problemen:

• Modus-gemiddelde (Mode Averaging): Meerdere plausibele toekomstige modi (bijv. stijgende, dalende, oscillerende of regime-wisselende trajecten) die incompatibel zijn onder lineaire middeling, worden samengevoegd of verzwakt.
• Niet-convexiteit: De verzameling dynamisch geldige trajecten voor verschillende modi is over het algemeen niet-convex. Het middelen van een stijgend en een dalend traject produceert een vlak, dynamisch ongeldig traject.
• Ineenstorting (Collapse): Naïeve multi-head supervisie, waarbij alle heads worden geoptimaliseerd tegen dezelfde grondwaarheid, leidt tot een geëscaleerd optimum waarbij alle heads convergeren naar hetzelfde conditionele gemiddelde, waardoor ze er niet in slagen om onderscheidende latente modi te representeren.

Gevolgelijk kan een voorspelling een lage fout op waardeniveau (bijv. MSE) bereiken, terwijl de structurele eigenschappen die vereist zijn voor dynamische plausibiliteit verloren gaan.

2. Methodologie: Dirichlet-Guided Group Forecasting (DGF)

Om over-smoothing te mitigeren, stellen de auteurs Dirichlet-Guided Group Forecasting (DGF) voor, een modus-behoudend probabilistisch raamwerk. DGF scheidt expliciet modus-geconditioneerde voorspelling van modusselectie en modelleert de onzekerheid over de selectiekansen.

2.1 Kerncomponenten

1. Modus-geconditioneerde Voorspellende Verdelingen:
   Gegeven een historische input $X$, leert het model $K$ verschillende voorspellende verdelingen $q_{\theta,k}(Y|X)$, die elk bedoeld zijn om een specifieke latente dynamische modus te vangen (bijv. specifieke trendrichtingen of volatiliteitsstatussen).

2. Dirichlet-Gestuurde Hiërarchische Sampling:
   In plaats van een deterministische softmax-poort te gebruiken om modi te selecteren, modelleert DGF de onzekerheid over de modus-selectiekansvector $\pi$.

   • Een Dirichlet-verdeling $Dir(\pi | \alpha_\theta(X))$ wordt geparametriseerd door concentratieparameters $\alpha_\theta(X)$. Dit stelt het model in staat om niet alleen de verwachte modus-kansen te representeren, maar ook de betrouwbaarheid (tweede-orde onzekerheid) van die kansen.
   • Groep-sampling (Group Sampling): Voor een mini-groep van $G$ samples wordt een enkele waarschijnlijkheidsvector $\pi_b$ gesampled uit de Dirichlet-verdeling. Deze gedeelde $\pi_b$ vertegenwoordigt een hypothese op groepsniveau over de modus-compositie.
   • Trajecten worden vervolgens gegenereerd door een modus-index te samplen uit $\pi_b$ en een traject te trekken uit de corresponderende modus-geconditioneerde verdeling. Dit voorkomt de deterministische aggregatie van incompatibele modi.

3. Hiërarchische GRPO Optimalisatie:
   Het model wordt getraind met een Group Relative Policy Optimization (GRPO) objectief dat drie beloningssignalen combineert om modus-ineenstorting te voorkomen en dynamische consistentie te waarborgen:

   • Traject-beloning ($r_{traj}$): Combineert nauwkeurigheid (nabijheid tot de grondwaarheid, bijv. MSE) en dynamische consistentie (het matchen van lokale hellingen, kromming, frequentiespectra en transitie-gladheid).
   • Dirichlet-niveau Credit Assignment: De Dirichlet-concentratieparameters worden bijgewerkt op basis van de gemiddelde beloning van de gehele mini-groep. Dit moedigt het model aan om modus-compositie-hypothesen te leren die hoogwaardige voorspellingsgroepen genereren, in plaats van individuele samples in isolatie te optimaliseren.
   • Distributie-niveau Diversiteitsregularisatie: Een strafterm zorgt ervoor dat de $K$ modus-geconditioneerde voorspellende verdelingen onderscheidend blijven, wat voorkomt dat ze inklappen tot een enkele oplossing.

3. Belangrijkste Bijdragen

Het paper schetst vier primaire bijdragen:

1. Probleemformulering: Het definieert over-smoothing in TSF formeel als de compressie van niet-convexe latente dynamische modi onder supervisie op basis van een enkele realisatie, en demonstreert dat punt-risico minimalisatie dynamisch ongeldige voorspellingen kan induceren.
2. Raamwerkvoorstel: Het introduceert DGF, een raamwerk dat gezamenlijk modus-geconditioneerde voorspellende verdelingen leert en de onzekerheid over hun selectiekansen modelleert met behulp van een Dirichlet-verdeling.
3. Optimalisatiestrategie: Het ontwikkelt een GRPO-gebaseerd trainingsdoel dat nauwkeurigheids-, dynamische consistentie- en diversiteitsbeloningen gebruikt om het hiërarchische samplingproces te optimaliseren.
4. Empirische Validatie: Het toont via uitgebreide experimenten aan dat DGF over-smoothing vermindert terwijl het de voorspellingsnauwkeurigheid, diversiteit en dynamische consistentie verbetert op real-world benchmarks.

4. Experimentele Resultaten

De auteurs evalueerden DGF op standaard long-sequence forecasting (LSF) benchmarks (ETT, Electricity, Weather) en probabilistische voorspellingsdatasets (Solar, Istanbul Traffic, Turkey Power).

• Deterministische Voorspelling: DGF verbeterde consequent de prestaties ten opzichte van sterke baselines (inclusclusief Moirai-small en Moirai-base met volledige fine-tuning, LoRA en prompt tuning) over meerdere datasets. Het behaalde de beste gemiddelde prestaties op de meeste benchmarks, wat aangeeft dat modus-behoudende generatie de punt-voorspellingsnauwkeurigheid verbetert zonder te vertrouwen op het middelen van incompatibele modi.
• Probabilistische Voorspelling: DGF behaalde state-of-the-art of concurrerende resultaten in Continuous Ranked Probability Score (CRPS) en Mean Scaled Interval Score (MSIS), wat wijst op verbeterde kalibratie en distributiekwaliteit.
• Mitigatie van Over-Smoothing: Met gebruik van het STRIPE-protocol en DILATE-metrieken (gevoelig voor vorm en temporele distortie), toonde DGF significante verbeteringen in zowel mean-sample als best-sample scores. De winst in DILATE bevestigde speciferwijs een reductie in de degradatie van de dynamische structuur.
• Kwalitatieve Analyse: Visualisaties van gegenereerde trajecten lieten zien dat DGF onderscheidende doch coherente toekomsten produceert (bijv. aparte stijgende, stabiele en dalende trends), in plaats van deze samen te voegen tot één gladgestreken traject.
• Efficiëntie: Ondanks de hiërarchische sampling, behield DGF vergelijkbare of lagere trainings- en inferentietijden vergeleken met supervised full fine-tuning, wat suggereert dat de prestatiewinsten niet gepaard gaan met een onbetaalbare computationele kostenpost.

5. Betekenis en Claims

Het paper beweert dat DGF een paradigmaverschuiving biedt: van het dwingen van modellen om een enkel gemiddeld toekomstig scenario te produceren, naar het expliciet representeren en redeneren over meerdere plausibele toekomstige modi.

• Aanpak van de Grondoorzaak: Door over-smoothing te behandelen als een modus-compressieprobleem, pakt DGF de structurele beperking aan waarbij incompatibele modi worden gemiddeld.
• Dynamische Consistentie: Het raamwerk geeft prioriteit aan het behoud van dynamische structuren (pieken, oscillaties, regime-wisselingen) naast waarde-nauwkeurigheid, wat cruciaal is voor besluitvorming in domeinen zoals energiebeheer, weersvoorspelling en verkeersbeheer.
• Onzekerheidskwantificering: Door de Dirichlet-concentratieparameters te modelleren, biedt DGF een rijkere representatie van de onzekerheid met betrekking tot welke toekomstige modus waarschijnlijk zal optreden, in plaats van alleen een puntinschatting van modus-kansen.

De auteurs merken op dat hoewel DGF model-agnostisch is, het momenteel vertrouwt op gepre-trainde backbones voor initialisatie om een stabiele optimalisatie te garanderen. Ze erkennen ook de computationele overhead van sampling, maar beargumenteren dat dit een noodzakelijke kost is voor het behoud van latente modi. Het werk suggereert dat toekomstige besluitvormers kunnen profiteren van voorspellingen die dynamisch consistenter en modus-diverser zijn, wat hels bij het voorkomen van een te grote afhankelijkheid van over-gesmoothde voorspellingen.