Predictive Distributions and the Transition from Sparse to Dense Functional Data

Dit artikel onderzoekt de convergentie van voorspellende verdelingen voor functionele hoofdcomponenten van schaars gesamplede longitudinale data naar de ware waarden bij overgang naar dichte sampling, en biedt een oplossing voor inconsistentie in puntvoorspellingen binnen functionele lineaire modellen.

De kern

Van Vage Schetsen naar Helder Beeld: Hoe we onzekerheid meten in data

Stel je voor dat je een schilderij probeert te maken van een persoon die door een mistige kamer loopt. Je kunt de persoon niet continu zien; je krijgt alleen af en toe een flits van licht die laat zien waar hij of zij op dat specifieke moment is. Soms krijg je maar twee of drie flitsen (dit noemen we spaarzame data), en soms krijg je honderden flitsen per seconde (dit noemen we dichte data).

De auteurs van dit paper, Alvaro Gajardo, Xiongtao Dai en Hans-Georg Müller, hebben een probleem opgelost dat statistici al jaren plagen: Hoe voorspel je het volledige pad van die persoon als je maar heel weinig flitsen hebt?

1. Het oude probleem: De "Punt" die niet klopt

Vroeger probeerden statistici om op basis van die paar flitsen één exacte lijn te trekken door de kamer. Ze probeerden een puntvoorspelling te doen: "Op tijdstip X zat de persoon precies op punt Y."

Het probleem is dat bij spaarzame data (weinig flitsen) deze exacte lijn eigenlijk onmogelijk goed te voorspellen is. Het is alsof je probeert de vorm van een wolk te tekenen op basis van twee stippen. Je kunt een lijn trekken, maar die lijn is willekeurig en niet betrouwbaar. In de statistiek noemen we dit "niet consistent": als je meer data zou hebben, zou je lijn niet per se dichter bij de waarheid komen.

2. De nieuwe oplossing: De "Wolk" van onzekerheid

De auteurs zeggen: "Stop met proberen om één exact punt te vinden. In plaats daarvan, voorspel de onzekerheid."

Stel je voor dat je in plaats van één lijn een wolk tekent.

• Bij spaarzame data (weinig flitsen) is die wolk heel groot en vaag. Het betekent: "De persoon zat ergens in dit grote gebied."
• Bij dichte data (veel flitsen) krimpt die wolk samen tot een klein stipje. Het betekent: "De persoon zat precies hier."

Dit paper introduceert het concept van Predictive Distributions (Voorspellende Verdelingen). In plaats van te zeggen "Het antwoord is 5", zeggen ze: "Het antwoord ligt waarschijnlijk ergens tussen 4 en 6, en hier is de kansverdeling van hoe waarschijnlijk dat is."

3. De Magische Transformatie: Van "Spaarzaam" naar "Dicht"

Het paper laat wiskundig zien wat er gebeurt als je van weinig data naar veel data gaat:

• De Krimp: Naarmate je meer metingen doet, krimpt die grote, vage wolk steeds meer.
• De Focus: Uiteindelijk, als je genoeg data hebt, verdwijnt de wolk bijna volledig en wordt het een perfect punt.

De auteurs gebruiken een wiskundige maatstaf (de Wasserstein-metriek) om te meten hoe snel die wolk krimpt. Het is alsof je een camera hebt die langzaam scherpstelt. Bij weinig data is het beeld wazig (grote wolk), maar bij veel data wordt het beeld kristalhelder (kleine wolk).

4. Een Praktisch Voorbeeld: Gezondheid en Leeftijd

Om te bewijzen dat hun methode werkt, hebben ze echte data gebruikt van de Baltimore Longitudinal Study of Aging.

• De situatie: Mensen kwamen niet elke dag langs om hun bloeddruk of BMI (lichaamsmassa-index) te meten. Soms was er een meting op 50-jarige leeftijd, en de volgende pas op 65.
• De vraag: Kunnen we voorspellen hoe de bloeddruk van een persoon zich ontwikkelt, alleen op basis van die sporadische metingen?
• Het resultaat: Met hun nieuwe methode kunnen ze nu een "voorspellende wolk" maken. Ze zeggen niet: "Op zijn 60ste had hij precies 120 mmHg." Ze zeggen: "Op zijn 60ste lag zijn bloeddruk waarschijnlijk tussen 115 en 125, met een bepaalde kansverdeling."

Dit is veel eerlijker en nuttiger voor artsen. Het geeft hen een idee van de onzekerheid. Als de wolk heel groot is, moeten ze voorzichtig zijn met hun conclusies. Als de wolk klein is, kunnen ze er zeker van zijn.

5. Waarom is dit belangrijk?

In de wereld van datawetenschap willen we vaak "het juiste antwoord" vinden. Maar bij complexe, langdurige studies (zoals het volgen van ziektes of economische trends) is het vaak onmogelijk om één perfect antwoord te geven als de data schaars is.

De boodschap van dit paper is: Accepteer onzekerheid en meet die.

• Oude manier: Probeer een foutieve exacte lijn te trekken (en faalt).
• Nieuwe manier: Teken een wolk die de onzekerheid weergeeft. Naarmate je meer data verzamelt, wordt die wolk kleiner en nauwkeuriger.

Samenvattend:
Stel je voor dat je een raadsel probeert op te lossen met weinig stukjes van de puzzel. In plaats van te raden hoe de hele puzzel eruit ziet (en waarschijnlijk fout te zitten), teken je een gebied waar de oplossing zou kunnen zitten. Hoe meer puzzelstukjes je vindt, hoe kleiner dat gebied wordt, tot je de oplossing eindelijk precies kunt zien. Dat is wat deze auteurs doen: ze maken van "gokken" een wetenschappelijke meting van "onzekerheid".

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Predictive Distributions and the Transition from Sparse to Dense Functional Data" in het Nederlands.

Titel: Voorspellende Verdelingen en de Overgang van Sparse naar Dichte Functionele Data

Auteurs: Alvaro Gajardo, Xiongtao Dai en Hans-Georg Müller

---

1. Probleemstelling

Functionele Data Analyse (FDA) wordt veel gebruikt voor longitudinale studies, waar metingen per onderwerp vaak spaarsam (sparse) zijn: er zijn slechts een paar onregelmatige tijdstippen beschikbaar per individu, en de data zijn verontreinigd met meetfouten.

De kern van het probleem ligt in de consistentie van puntvoorspellingen:

• In dichte designs (veel metingen per onderwerp) kunnen onderliggende trajecten en functionele hoofdcomponenten (FPCs) consistent worden hersteld via de Karhunen-Loève decompositie.
• In spaarse designs is het echter onmogelijk om consistente puntvoorspellingen te maken voor de functionele hoofdcomponenten ($\xi_{ik}$) of voor de respons in functionele lineaire modellen (FLM). De klassieke benadering (zoals PACE - Principal Analysis through Conditional Expectation) levert wel onbevooroordeelde schatters op, maar deze convergeren niet naar de ware, onwaarneembare scores naarmate het aantal onderwerpen ($n$) toeneemt, tenzij het aantal metingen per onderwerp ($m$) ook oneindig wordt.
• Dit creëert een fundamentele beperking voor uncertainty quantification (onzekerheidskwalificatie) in longitudinale studies.

2. Methodologie en Aanpak

De auteurs stellen een paradigmaverschuiving voor: in plaats van te focussen op puntvoorspellingen (het schatten van een enkel verwachte waarde), focussen ze op het schatten van voorspellende verdelingen (predictive distributions).

• Voorspellende Verdeling: Voor een onderwerp $i$ met spaarse observaties wordt de onzekere toestand van de functionele hoofdcomponenten $\xi_{iK}$ beschreven als een conditionele verdeling $P(\xi_{iK} | X_i, T_i)$. Onder Gaussische aannames is dit een multivariate normale verdeling.
• Overgang Sparse $\to$ Dicht: De studie analyseert hoe deze voorspellende verdelingen veranderen naarmate het aantal metingen per onderwerp ($m$) toeneemt (overgang van spaars naar dicht).
• Wasserstein-metriek: Om de kwaliteit en convergentie van deze verdelingen te kwantificeren, gebruiken de auteurs de 2-Wasserstein-metriek ($W_2$). Dit is een afstandsmaat tussen kansverdelingen dat zowel de locatie als de spreiding (variatie) van de verdeling in ogenschouw neemt.
• Schattingsprocedure:
  1. Schatting van de populatiegemiddelde en covariantiefuncties (via lokale lineaire gladmaking).
  2. Berekening van de beste lineaire voorspellers (BLUP) voor de FPCs.
  3. Constructie van de conditionele verdeling (mean en covariantie) voor de FPCs en voor de respons in het FLM.
  4. Analyse van de "schrinking" (krimp) van de covariantie van deze verdelingen naar een puntmassa (de ware score) naarmate $m \to \infty$.

3. Belangrijkste Bijdragen

1. Theoretische Inzicht in Consistentie: Het artikel bewijst dat terwijl puntvoorspellingen van FPCs in spaarse regimes niet consistent zijn, de voorspellende verdelingen wel consistent geschat kunnen worden.
2. Convergentiesnelheden: De auteurs leiden asymptotische convergentiesnelheden af voor de afstand tussen de geschatte en de ware voorspellende verdeling (gemeten in $W_2$).
   • Voor de overgang van spaars naar dicht wordt aangetoond dat de voorspellende verdeling convergeert naar een puntmassa op de ware, onwaarneembare score.
   • De snelheid van deze convergentie hangt af van het aantal metingen per onderwerp ($m$) en de eigenschappen van de eigenwaarden (eigenvalue decay) van het proces.
3. Toepassing op Functionele Lineaire Modellen (FLM): Het concept wordt uitgebreid naar het voorspellen van een scalair antwoord $Y$ in een FLM. De auteurs tonen aan dat men de voorspellende verdeling van het voorspelbare deel van de respons kan schatten, zelfs als de voorspellers spaars zijn.
4. Onzekerheidskwalificatie: De methologie biedt een theoretisch onderbouwde manier om onzekerheid te kwantificeren in longitudinale data, wat essentieel is voor betrouwbare inferentie.

4. Resultaten

• Propositie 1 & 2: Bewijzen dat de voorspelde FPCs convergeren naar de ware scores met een snelheid van $O_p(m^{-1/2})$ en dat de conditionele covariantie (de onzekerheid) krimpt met $O_p(m^{-1})$ naarmate het aantal metingen per onderwerp toeneemt.
• Stelling 3 & 4: Kwantificeren de krimp van de volledige functionele voorspellende verdeling naar de ware latente trajecten. De convergentiesnelheid wordt bepaald door de snelheid waarmee de eigenwaarden afnemen (polynomiaal of exponentieel). Bij polynomiale afname is de optimale snelheid bijvoorbeeld $O_p((\log n / n)^{1/9})$ in spaarse regimes, wat verbetert naar $O_p(m^{-1/3})$ in dichte regimes.
• Stelling 5 & 6: Toont aan dat de geschatte voorspellende verdelingen en de bijbehorende Wasserstein-discrepantie consistent zijn in het spaarse regime. De schatters convergeren naar de ware populatiewaarden.
• Simulaties en Toepassing:
  • Simulaties bevestigen dat de fouttermen en de covariantie-normen afnemen naarmate het design dichter wordt.
  • Een toepassing op de Baltimore Longitudinal Study of Aging (BMI en systolische bloeddruk) illustreert hoe voorspellende intervallen voor de bloeddruk, gebaseerd op spaars gemeten BMI-trajecten, de onzekerheid visualiseren. De intervallen worden smaller naarmate er meer data beschikbaar is.

5. Significatie en Conclusie

Deze studie biedt een fundamentele oplossing voor een langdurig probleem in de statistiek van functionele data: de onmogelijkheid om consistente puntvoorspellingen te maken bij spaarse data.

• Praktische Implicatie: Onderzoekers moeten stoppen met het rapporteren van puntvoorspellingen voor trajecten of scores in spaarse longitudinale studies, omdat deze inconsistent zijn. In plaats daarvan moeten ze voorspellende verdelingen (intervallen of dichtheden) rapporteren.
• Onzekerheidskwalificatie: De methode maakt het mogelijk om de onzekerheid die inherent is aan spaarse metingen formeel te kwantificeren en te visualiseren.
• Theoretische Basis: Het artikel levert de eerste rigoureuze asymptotische theorie voor het gedrag van voorspellende verdelingen bij de overgang van spaars naar dicht, inclusief convergentiesnelheden voor de Wasserstein-metriek.

Kortom, het artikel verschuift de focus van "wat is de beste schatting?" naar "hoe ziet de volledige onzekerheidsverdeling eruit?", wat leidt tot robuustere en theoretisch onderbouwde conclusies in de analyse van longitudinale data.