On WAIC for Dependent Data: A Covariance-Corrected Framework with Linear-Time Complexity

In de wereld van de statistiek worden wetenschappers vaak geconfronteerd met een bekend dilemma: hoe kies je het beste model om een reeks gegevens te verklaren zonder in de valstrik te trappen van overmatige complexiteit? Stel je voor dat je het weer probeert te beschrijven. Een eenvoudig model zou kunnen zeggen dat het ofwel zonnig ofwel regenachtig is. Een complexer model zou windkracht, luchtvochtigheid en luchtdruk kunnen toevoegen. Hoewel het complexe model de gegevens uit het verleden perfect kan verklaren, faalt het vaak in het voorspellen van de toekomst omdat het de ruis heeft onthouden in plaats van het signaal. Om dit op te lossen, gebruiken statistici instrumenten die informatiecriteria worden genoemd. Dit zijn als scorekaarten die afwegen hoe goed een model bij de gegevens past tegenover hoeveel bewegende onderdelen het heeft. Het meest populaire van deze instrumenten, bekend als WAIC, is lang de gouden standaard geweest voor de Bayesiaanse statistiek, een methode die overtuigingen bijstelt naarmate er nieuwe bewijzen binnenkomen. Dit standaardinstrument is echter gebouwd op een cruciale aanname: dat elk datapunt onafhankelijk is van de andere, zoals het werpen van een dobbelsteen waarbij de uitslag van de ene worp geen invloed heeft op de volgende.

Deze aanname werkt goed voor veel zaken, maar stort volledig in bij het werken met sequenties waarbij het verleden de toekomst vormgeeft. In de echte wereld zijn gegevens zelden onafhankelijk. De prijs van een aandeel vandaag hangt sterk af van de prijs van gisteren. De tijd tussen de uitbarstingen van een geiser is verbonden met de tijd van de vorige uitbarsting. Wanneer wetenschappers de standaard scorekaart toepassen op dit soort verbonden gegevens, faalt het instrument. Het gaat ervan uit dat de datapunten onafhankelijk zijn terwijl dat niet zo is, wat ertoe leidt dat het gelooft dat het model eenvoudiger is dan het in werkelijkheid is. Deze fout zorgt ervoor dat het instrument overmatig complexe modellen beloont, wat resulteert in voorspellingen die er op papier geweldig uitzien, maar falen in de echte wereld. Decennialang heeft deze beperking onderzoekers gedwongen ofwel gebruik te maken van onhandige werkoplossingen, ofwel te accepteren dat hun modellenselectietools fundamenteel gebrekkig waren voor sequentiële gegevens.

Een onderzoeker heeft nu een nieuwe aanpak geïntroduceerd om dit specifieke probleem op te lossen. Zij ontwikkelde een herziene scorekaart genaamd CC-WAIC, wat staat voor Covariance-Corrected Widely Applicable Information Criterion. Het kernidee is eenvoudig maar krachtig: in plaats van de verbindingen tussen datapunten te negeren, meet de nieuwe methode ze expliciet. In het oude systeem werd de straf voor modelcomplexiteit berekend door naar elk datapunt in isolatie te kijken. Het nieuwe systeem kijkt naar de gehele sequentie en berekent hoeveel de voorspelling voor één moment in de tijd wordt beïnvloed door de momenten daarvoor. Door rekening te houden met deze relaties, identificeert het nieuwe instrument correct wanneer een model te complex wordt, waardoor het voorkomt dat modellen worden gekozen die louter het verleden memoriseren in plaats van het onderliggende patroon te begrijpen.

De onderzoeker stelde niet alleen een nieuwe formule voor; zij loste ook een enorme computationele hindernis op die dit idee voorheen onmogelijk maakte voor grote datasets. Het berekenen van de verbindingen tussen elk afzonderlijk paar datapunten in een lange sequentie is ongelooflijk traag en vereist enorme rekenkracht, die exponentieel groeit naarmate de gegevens groter worden. Om dit te overwinnen, creëerde de onderzoeker een lineair-tijd algoritme. Zij realiseerde zich dat in de meeste real-world sequenties de invloed van het verleden snel vervaagt. Het datapunt van tien jaar geleden heeft heel weinig te maken met de gegevens van vandaag, terwijl het datapunt van gisteren er veel mee te maken heeft. Door zich alleen te concentreren op deze kortetermijnverbindingen en de verre verbindingen te negeren, reduceerde zij de rekentijd van een onhaalbaar niveau naar iets dat lineair schaalt met de grootte van de gegevens. Dit betekent dat de nieuwe methode enorme datasets bijna even snel kan verwerken als de oude, gebrekkige methode, wat het praktisch maakt voor dagelijks gebruik.

Om haar uitvinding te testen, voerde de onderzoeker uitgebreide simulaties uit met behulp van Hidden Markov Models, een veelgebruikt type model voor sequentiële gegevens zoals spraakherkenning of biologische sequenties. Zij creëerde duizenden synthetische datasets waarbij het werkelijke aantal verborgen toestanden bekend was. Wanneer zij de standaardtool gebruikte, koos deze frequent te complexe modellen, waarbij bijvoorbeeld een model met drie verborgen toestanden werd gekozen terwijl de waarheid er slechts twee waren, of vier wanneer het er drie waren. Dit gebeurde omdat de standaardtool er niet in slaagde de complexiteit te zien die in de afhankelijkheden verborgen zat. In contrast hiermee identificeerde de nieuwe, covariantie-gecorrigeerde tool de ware model in meer dan vijfentachtig procent van de gevallen, zelfs toen de gegevens klein waren en de verbindingen tussen de punten sterk waren. Het slaagde erin om de drang tot overfitting te weerstaan en vond de juiste balans tussen eenvoud en nauwkeurigheid.

De onderzoeker paste haar methode ook toe op real-world data om te zien hoe deze presteerde buiten een gecontroleerde simulatie. Zij bekeken de beroemde wachttijden tussen de uitbarstingen van de Old Faithful geiser in Yellowstone National Park. Deze dataset is een klassiek voorbeeld van sequentieel gedrag, waarbij de tijd tussen uitbarstingen verbonden is met de duur van de vorige uitbarsting. De onderzoeker testte modellen met verschillende aantallen verborgen toestanden om te zien welke het gedrag van de geiser het best beschreef. De standaardtool gaf de voorkeur aan een model met meer verborgen toestanden, wat suggereerde dat het een complexer systeem was. De nieuwe tool koos echter een eenvoudiger model met slechts twee verborgen toestanden. Om te verifiëren welke juist was, splitste de onderzoeker de data, waarbij het eerste deel werd gebruikt om de modellen te bouwen en het tweede deel om ze te testen. Het eenvoudigere model dat door de nieuwe tool werd gekozen, voorspelde toekomstige uitbarstingen nauwkeuriger dan de complexe modellen die door de oude tool werden bevoordeeld, wat bewees dat de nieuwe methode succesvol de valstrik van overmatige complexiteit had vermeden.

In een tweede real-world test paste de onderzoeker de methode toe op financiële gegevens, specif kind de dagelijkse volatiliteit van de S&P 500 aandelenindex. Financiële markten staan bekend om "volatiliteitsclustering", waarbij perioden van hoge marktdruk de neiging hebben gevolgd te worden door meer stress, en rustige perioden rustige perioden volgen. Dit creëert langetermijn-afhankelijkheden die moeilijk te modelleren zijn. De onderzoeker merkte op dat de standaardtool niet gevoelig genoeg was voor deze diepe verbindingen. De nieuwe methode, met haar datagedreven benadering om te meten hoe ver de invloed van het verleden reikt, paste de berekeningen automatisch aan om rekening te houden met dit lange geheugen. Het selecteerde een bandbreedte, of een venster van invloed, die veel groter was dan wat in de simpelere simulaties werd gezien, waardoor de persistente aard van financieel risico correct werd gevangen. Dit toonde aan dat het instrument geen rigide formule is, maar een flexibel systeem dat zich aanpast aan het specifieke karakter van de gegevens die het analyseert.

De onderzoeker was zorgvuldig in het benoemen van de grenzen van haar werk. De nieuwe methode steunt op de aanname dat de invloed van het verleden uiteindelijk vervaagt, wat waar is voor veel systemen zoals het weer of aandelenmarkten, maar niet voor alle systemen. Het zou niet even goed werken voor gegevens met een "lang geheugen", waarbij een enkele gebeurtenis van decennia geleden nog steeds de huidige situatie kan beïnvloeden. Zij merkte ook op dat de methode de mogelijkheid vereist om de exacte waarschijnlijkheid van de gegevens te berekenen, wat moeilijk kan zijn voor sommige zeer complexe moderne modellen. Ondanks deze beperkingen biedt de studie een robuuste, theoretisch onderbouwde en computationeel efficiënte manier om modellen te selecteren voor de overgrote meerderheid van de sequentiële gegevensproblemen.

Door een fundamentele fout in de manier waarop statistische modellen worden geëvalueerd te corrigeren, biedt dit werk een betrouwbaarder pad voor wetenschappers en analisten die werken met tijdreeksgegevens. Het zorgt ervoor dat wanneer zij een model kiezen, zij een model kiezen dat de structuur van de gegevens echt begrijpt, in plaats van een model dat simpelweg de ruis heeft onthouden. Het nieuwe instrument verbetert niet alleen de cijfers; het verandert de manier waarop onderzoekers hun conclusies over de wereld kunnen vertrouwen, van het voorspellen van de volgende uitbarsting van een geiser tot het beoordelen van het risico op een financiële crash. Het vormt een belangrijke stap voorwaarts in het praktisch en principieel maken van Bayesiaanse modelselectie voor de onderling verbonden gegevens die de moderne wetenschap definiëren.