Technische Samenvatting: Laat een Venster Weg (LWO) voor Voorspellende Inferentie in Tijdreeksen

Probleemstelling

Conformale voorspellingsmethoden bieden rigoureuze voorspellende inferentie (geldige voorspellingsintervallen) onder de aanname van uitwisselbaarheid van data en geheugenloze voorspellers. Deze aannames worden echter vaak geschonden in tijdreeksomgevingen vanwege temporele afhankelijkheid en de noodzaak om geheugen-gebaseerde voorspellers te gebruiken (die gebruikmaken van waarnemingen uit het verleden om toekomstige waarden te voorspellen).

Hoewel recent werk heeft aangetoond dat gesplitste conformale voorspelling robuust is tegen deze schendingen, lijdt het onder een "split-taks": het partitioneren van data in trainings- en kalibratiesets verkleint de effectieve steekproefomvang, wat leidt tot bredere voorspellingsintervallen en lagere statistische efficiëntie, vooral in regimes met schaarse data.

Omgekeerd maken leave-one-out (jackknife)-methoden gebruik van de volledige dataset, wat een grotere statistische efficiëntie biedt. De theoretische geldigheid van de standaard jackknife rust echter op uitwisselbaarheid. Dit artikel onderzoekt of de standaard jackknife betrouwbaar blijft onder temporele afhankelijkheid. Door numerieke experimenten met voortschrijdende gemiddelde (MA)-processen tonen de auteurs aan dat de standaard jackknife willekeurige dekkingverlies kan ondergaan (ernstige onderdekking), zelfs in eenvoudige tijdreeksmodellen met lichte afhankelijkheid. Dit gebeurt omdat de leave-one-out-kalibratie een asymmetrie creëert: proxy-testpunten in de trainingsset hebben "tweezijdige" informatie (verleden en toekomst), terwijl het daadwerkelijke testpunt aan het einde van de reeks alleen "eenzijdige" informatie (verleden) heeft, wat leidt tot verkeerd gekalibreerde intervallen.

Methodologie: Laat een Venster Weg (LWO)

Om het falen van de standaard jackknife te verhelpen terwijl de data-efficiëntie behouden blijft, stellen de auteurs de Leave-a-Window-Out (LWO)-methode voor.

Kernmechanisme

De LWO-methode past de standaard jackknife-kalibratieprocedure aan om rekening te houden met temporele afhankelijkheid:

1. Trainen met een Kier: Voor elke index $k$ in de trainingsset wordt de voorspeller $\hat{f}_k$ niet alleen getraind door het $k$-de punt te verwijderen, maar door een venster van datapunten van index $k$ tot $\min\{k+\tau, n\}$ te verwijderen, waarbij $\tau$ een hyperparameter is die de venstergrootte voorstelt.
2. Scoreberekening: De conformiteitsscore $s_k$ wordt berekend voor het $k$-de punt met behulp van de voorspeller die is getraind op de overige data (die een "voor-venster"- en een "na-venster"-component bevat).
3. Voorspellingsset: De uiteindelijke voorspellingsset voor het testpunt $X_{n+1}$ wordt geconstrueerd door te centreren rond de voorspeller die is getraind op alle $n$ punten en deze te inflateren met de $(1-\alpha)$-quantiel van de scores van het venster-leave-out.

Theoretisch Kader

De geldigheid van LWO wordt vastgesteld via een nieuw theoretisch kader gebaseerd op cyclische uitwisselbaarheid:

• Cyclische Embedding: De auteurs introduceren het concept van het embedden van een afhankelijke tijdreeks in een langere, cyclisch uitwisselbare reeks. Ze definiëren de cyclische embedding-coëfficiënt ($\rho_\tau$) om de afstand te kwantificeren tussen de feitelijke tijdreeks en de dichtstbijzijnde cyclisch uitwisselbare reeks.
• Stabiliteitsaannames: De bewijzen rusten op een out-of-sample (OOS)-stabiliteitsvoorwaarde. Specifiek moet het paar van de conformiteitsscorefunctie en het trainingsalgoritme stabiel zijn wanneer een willekeurig blok trainingsdata wordt gemaskeerd (verwijderd). Dit is zwakker dan uniforme stabiliteit, maar voldoende voor de voorgestelde grenzen.
• Mengcondities: De auteurs relateren de cyclische embedding-coëfficiënt aan standaard maatstaven voor afhankelijkheid, zoals $\beta$-mixing-coëfficiënten en $\beta$-voorwaardelijke-mixing-coëfficiënten. Ze tonen aan dat voor mengprocessen (inclusief ongeveer Markoviaanse processen) de cyclische embedding-coëfficiënt klein is als de venstergrootte $\tau$ de effectieve afhankelijkheidsreeks overschrijdt.

Belangrijkste Bijdragen

1. Identificatie van Jackknife-falen: Het artikel toont rigoureus aan dat de standaard jackknife geen geldige dekking biedt in tijdreeksomgevingen vanwege de asymmetrie tussen trainingsproxy-punten en het testpunt, zelfs onder lichte afhankelijkheid.
2. Voorstel van LWO: Een nieuwe methode, LWO, wordt geïntroduceerd die het leave-one-out-principe aanpast door een venster van toekomstige data te verwijderen ten opzichte van het proxy-testpunt. Dit herstelt de informatiestructuur van de kalibratiescores zodat deze overeenkomt met het testpunt.
3. Theoretische Waarborgen:
   • Stelling 1 & 2: Er worden dekkinggrenzen voor eindige steekproeven afgeleid voor LWO. Deze grenzen zijn afhankelijk van de cyclische embedding-coëfficiënt en de OOS-stabiliteitsparameters.
   • Corollaria: De grenzen worden gespecialiseerd voor mengprocessen (Corollarium 1 voor ongeveer Markoviaanse processen; Corollarium 2 voor algemene mengprocessen), waarbij wordt aangetoond dat geldige dekking haalbaar is als de venstergrootte $\tau$ op de juiste manier wordt gekozen ten opzichte van de mengtijd.
4. Nieuwe Coëfficiënten: Het artikel introduceert de cyclische embedding-coëfficiënt en maakt gebruik van switch-coëfficiënten (aangepast van Barber en Pananjady, 2026) om afwijkingen van uitwisselbaarheid in een cyclische context te meten.

Experimentele Resultaten

De auteurs evalueren LWO tegenover Gesplitste Conformale Voorspelling (Split CP) en de standaard Jackknife (JK) op zowel synthetische als real-world datasets:

• Synthetische Data (MA(1)-proces): In multidimensionale voortschrijdende gemiddelde processen ondergaat de standaard jackknife ernstige onderdekking (vaak dalend onder 70% dekking voor een streefwaarde van 90%), vooral in hogere dimensies. Split CP behoudt de nominale dekking, maar produceert aanzienlijk bredere voorspellingsintervallen. LWO bereikt dekking dicht bij het nominale niveau (vergelijkbaar met Split CP) terwijl het voorspellingsgebieden produceert die aanzienlijk smaller zijn (efficiënter).
• Real Data (Verkeer en Zonne-energie): Op real-world tijdreeksbenchmarks behoudt LWO consistent bijna nominale dekking over verschillende basisvoorspellers (Ridge, KNN, MLP, Beslissingsbomen, Kernel-regressie). Daarentegen faalt de standaard jackknife om dekking te bieden voor specifieke voorspeller-data-combinaties (bijvoorbeeld KNN op zonne-energie-data). LWO vermijdt het efficiëntieverlies van Split CP terwijl het bescherming biedt tegen de onderdekking van de standaard jackknife.

Betekenis en Beweringen

Het artikel beweert dat LWO een principieel oplossing biedt voor de afweging tussen geldigheid en efficiëntie in voorspellende inferentie voor tijdreeksen.

• Geldigheid: In tegenstelling tot de standaard jackknife biedt LWO bewijsbare benaderde dekkingwaarborgen onder natuurlijke afhankelijkheidsaannames (mixing) en stabiliteitscondities.
• Efficiëntie: In tegenstelling tot gesplitste conformale voorspelling maakt LWO gebruik van de volledige dataset voor training, wat resulteert in strakkere voorspellingsintervallen.
• Conceptuele Vooruitgang: Het werk introduceert een nieuw perspectief op het analyseren van afhankelijke data door deze te embedden in cyclisch uitwisselbare reeksen, en biedt een distributief hulpmiddel (de cyclische embedding-coëfficiënt) dat tijdreeks-afhankelijkheid verbindt met conformale geldigheid.

De auteurs blijven bescheiden wat betreft open vragen, en merken op dat hun waarborgen rusten op OOS-stabiliteitsaannames (die worden voldaan door veel standaardalgoritmen zoals ridge-regressie en KNN, maar niet door allen). Ze erkennen ook dat hoewel de theorie suggereert dat $\tau$ de afhankelijkheidsreeks moet overschrijden, een volledig datagedreven methode voor het selecteren van $\tau$ met geldige dekkingwaarborgen een open probleem blijft.