Assessment of Spatio-Temporal Predictors in the Presence of Missing and Heterogeneous Data

Deze paper introduceert een residual-correlatieanalyseframework dat met minimale aannames de optimaliteit van spatio-temporele deep learning-modellen evalueert en kwetsbare gebieden in ruimte en tijd lokaliseert, zelfs bij ontbrekende en heterogene data.

De kern

De "Ziekteverkenner" voor Voorspellende Computers: Een Simpele Uitleg

Stel je voor dat je een supersterke computer hebt die de toekomst voorspelt. Hij kijkt naar het verkeer in een stad of naar hoeveel zonne-energie een zonnepaneel produceert, en probeert te zeggen wat er morgen gaat gebeuren. Deze computers zijn vaak heel slim (ze gebruiken "deep learning"), maar hoe weet je of ze echt goed zijn?

Meestal kijken we naar het foutpercentage: "Hoeveel zat er naast de voorspelling?" Maar dit is als een dokter die alleen kijkt naar de koorts van een patiënt. Als de koorts laag is, denk je: "Alles goed!" Maar misschien heeft de patiënt wel een andere, verborgen ziekte die de koorts niet laat zien.

De auteurs van dit paper, Daniele Zambon en Cesare Alippi, hebben een nieuwe manier bedacht om te kijken of die computer echt slim is, zelfs als de data onvolledig of rommelig is. Ze noemen hun methode AZ-analyse.

Hier is hoe het werkt, vertaald in alledaagse taal:

1. Het Probleem: De "Stille" Fouten

Wanneer een computer een fout maakt, noemen we dat een residu (het verschil tussen wat er echt gebeurde en wat de computer dacht).

• De oude manier: Kijk naar de grootte van de fout. Is hij groot? Dan is de computer slecht. Is hij klein? Dan is hij goed.
• Het probleem: Soms zijn de fouten klein, maar ze zijn georganiseerd. Ze volgen een patroon. Als je fouten een patroon hebben, betekent dit dat de computer iets fundamenteels niet begrijpt. Het is alsof je elke dag een beetje te laat komt. Je komt niet heel laat (grote fout), maar het patroon (altijd te laat) zegt dat je je ritje niet goed hebt gepland.

2. De Oplossing: De "Correlatie-Detective"

De AZ-analyse kijkt niet naar hoe groot de fout is, maar naar of de fouten met elkaar praten.

• De Analogie: Stel je voor dat je een klaslokaal hebt vol leerlingen (sensoren) die een toets maken.
  • Als iedereen een willekeurige fout maakt, is dat normaal.
  • Maar als alle leerlingen in de eerste rij precies dezelfde fout maken, en alle leerlingen in de tweede rij een ander, maar ook consistent fout, dan is er iets mis met de lesmethode of de toets. De fouten "correleren".
• De AZ-analyse zoekt naar deze patronen in ruimte (welke sensoren) en tijd (wanneer).

3. Hoe Werkt het? (De "Grafische Netwerk" Benadering)

De wereld van sensoren is complex. Niet alles hangt met alles samen.

• Het Netwerk: De auteurs bouwen een digitaal "spinnenweb" (een grafiek) van de sensoren. Sommige sensoren staan dicht bij elkaar (ruimtelijk), andere volgen elkaar in de tijd (tijdelijk).
• De "Whiteness" Test: Ze gebruiken een wiskundige test (de AZ-whiteness test) om te checken of de fouten "witte ruis" zijn (volledig willekeurig).
  • Witte ruis: De computer heeft alles begrepen wat hij kon begrijpen. De fouten zijn puur geluk.
  • Geen witte ruis: De fouten hebben een patroon. De computer mist iets!

4. De Drie Vragen die het Beantwoordt

De AZ-analyse helpt je drie specifieke vragen te beantwoorden, zelfs als er data ontbreekt (zoals een kapotte sensor):

1. Is de computer überhaupt goed? (Heeft hij over het algemeen patronen gemist?)
2. Welke sensoren zijn problematisch? (Bijvoorbeeld: "De sensoren in het noorden van de stad maken altijd dezelfde fouten, terwijl de rest goed is.")
3. Wanneer gaat het mis? (Bijvoorbeeld: "Elke ochtend rond 07:00 uur, als het licht verandert, maakt de computer een specifiek type fout.")

5. Waarom is dit zo speciaal?

De echte kracht zit in de flexibiliteit.

• Onvolledige data: Vaak zijn sensoren kapot of sturen ze geen data. De meeste oude methoden haken dan af. De AZ-analyse kan hier gewoon mee omgaan, alsof je een puzzel oplost waarbij sommige stukjes ontbreken, maar je nog steeds het patroon ziet.
• Verschillende soorten data: Sensoren kunnen heel verschillend zijn (sommigen meten snelheid, anderen temperatuur). De AZ-analyse maakt daar geen probleem van.
• Geen strenge regels: Oude methoden eisten dat de data perfect verdeeld was (zoals een perfecte klokkromme). De AZ-analyse doet dat niet. Het werkt bijna altijd, zolang de gemiddelde fout maar rond nul ligt.

6. De Praktijk: Verkeer en Zonneschijn

In het paper testen ze dit op twee echte situaties:

• Verkeersvoorspelling: Ze ontdekten dat de computer fouten maakte op momenten dat data werd "ingevuld" (imputatie) omdat sensoren uitvielen. De fouten waren klein, maar het patroon was duidelijk. Ook zagen ze dat bepaalde straten (sensoren) systematisch slecht werden voorspeld.
• Zonne-energie: Hier zagen ze dat de computer het moeilijk had bij zonsopgang en zonsondergang. De fouten waren klein (want de zon staat laag), maar het patroon van de fouten toonde aan dat de computer de overgang niet goed begreep.

Conclusie

De AZ-analyse is als een diagnostische tool voor AI. In plaats van alleen te zeggen "Je hebt een score van 90%", zegt het: "Je hebt een score van 90%, maar je maakt elke dinsdagmorgen in de buurt van de brug dezelfde fout, en je begrijpt de sensoren in het zuiden niet goed."

Dit stelt ingenieurs in staat om hun modellen niet alleen te verbeteren, maar te weten waar en waarom ze moeten verbeteren. Het is een manier om de "zwarte doos" van deep learning een beetje doorzichtig te maken, zelfs als de data rommelig is.

Technische samenvatting

Probleemstelling

Diepe leermethodes (deep learning) presteren uitstekend bij het modelleren van complexe, grootschalige ruimtelijk-temporele data. Echter, het beoordelen van de kwaliteit en optimaliteit van deze modellen wordt steeds moeilijker, vooral omdat klassieke statistische aannames vaak niet meer gelden. Ruimtelijk-temporele data (zoals sensornetwerken) kenmerken zich door:

• Afhankelijkheden: Ruimtelijke en temporele correlaties.
• Complexiteit: Niet-lineaire dynamiek en tijdsvariatie.
• Data-issues: Ontbrekende waarnemingen (missing data) en heterogene sensoren (verschillende distributies, variabele sampling).

Traditionele evaluatiemethoden, zoals het gebruik van gemiddelde kwadratische fout (MSE) of absolute fout (MAE), zijn puur vergelijkend en geven geen inzicht in waar of waarom een model faalt. Ze meten alleen de grootte van de fout, niet de structuur ervan. Bestaande statistische tests voor residuen (zoals de Durbin-Watson test) vereisen strenge aannames (volledige data, gelijke distributies, synchrone sampling) die in de praktijk zelden worden voldaan. Er is dus behoefte aan een robuuste methode om de optimaliteit van modellen te beoordelen en specifieke gebieden in ruimte en tijd te lokaliseren waar verbetering mogelijk is.

Methodologie: AZ-analyse

De auteurs introduceren een nieuw raamwerk, de AZ-analyse, gebaseerd op een analyse van de correlatie van voorspellingsresiduen ($r_{t,v} = y_{t,v} - \hat{y}_{t,v}$). Het uitgangspunt is dat gecorreleerde residuen wijzen op structurele informatie die het model niet heeft vastgelegd.

Kerncomponenten:

1. Ruimtelijk-Temporele Graaf ($g^*$):
   De data wordt gemodelleerd als een multiplex-graaf die zowel ruimtelijke relaties (tussen sensoren) als temporele relaties (tussen tijdstippen) encodeert. Deze graaf is dynamisch en kan omgaan met ontbrekende sensoren of veranderende topologieën.
2. AZ-Witheidstest (AZ-whiteness test):
   Dit is een statistische test die de nullhypothese ($H_0$) toetst dat alle paren residuen ongecorreleerd zijn (witte ruis). De teststatistiek $C_\lambda(g^*)$ is gebaseerd op de tekens van inproducten van residu-vectorparen, wat de methode distributie-vrij maakt.
   • De parameter $\lambda \in [0, 1]$ weegt de bijdrage van ruimtelijke versus temporele correlaties.
   • De test vereist alleen dat de residuen gemiddeld nul zijn (gecentreerd), maar maakt geen aannames over de onderliggende distributie of identieke distributies.
3. Correlatiescores ($c_\lambda$):
   Om de teststatistiek vergelijkbaar te maken tussen subgrafen van verschillende groottes, wordt deze genormaliseerd tot een score $c_\lambda(s)$ in het interval $[-1, 1]$. Deze score kwantificeert de sterkte van de lokale correlatie.
4. Lokalisatiestrategie:
   In plaats van alleen een globale score te geven, wordt de analyse toegepast op specifieke subgrafen om drie vragen te beantwoorden:
   • Q1 (Globaal): Is er over het algemeen sprake van correlatie?
   • Q2 (Niveau van de sensor/node): Welke specifieke sensoren (groepen tijdsreeksen) vertonen sterke residu-correlatie?
   • Q3 (Tijdsinterval): In welke tijdsintervallen faalt het model?
   • Lokaal: Een combinatie van beide (ruimtelijk-temporele hotspots).

Belangrijkste Bijdragen

1. Nieuw Evaluatiekader: Een methode om heterogene tijdsreeksen met ontbrekende data te analyseren waarbij de residuen significante correlatie vertonen.
2. Lokalisatie van Falen: Het vermogen om specifieke tijdsintervallen en ruimtelijke regio's te identificeren waar het model onderpresteert, zelfs zonder kennis van de onderliggende data-distributie.
3. Robuustheid: De methode werkt met minimale aannames (alleen gecentreerde residuen) en is distributie-vrij, waardoor het geschikt is voor complexe, real-world scenario's met heterogene sensoren.
4. Complementaire Inzichten: Het biedt een onafhankelijke, metrische-agnostische evaluatie die inzichten levert die door traditionele foutmetingen (zoals MAE) worden gemist.

Resultaten

De methode is gevalideerd op zowel synthetische als real-world datasets:

• Synthetische Data:

  • De AZ-analyse slaagde erin om kunstmatig geïntroduceerde ruimtelijke en temporele correlaties correct te detecteren en te lokaliseren.
  • Het bleek effectief in de aanwezigheid van 20% ontbrekende data en data uit heterogene distributies (bijv. mengsels van Gaussische, Laplace en uniforme verdelingen).
  • Vergelijking met bestaande methoden (zoals Moran's I en k-lag autocorrelatie) toonde aan dat de AZ-scores vergelijkbare patronen detecteren, maar wel een geïntegreerde ruimtelijk-temporele analyse mogelijk maken.

• Verkeersvoorspelling (MetrLA dataset):

  • De analyse onthulde hoge correlaties in tijdsintervallen waar data was geïmputeerd (nabootsen van waarden), wat niet direct zichtbaar was in de MAE.
  • Het identificeerde specifieke sensoren (nodes) met lokale correlatiepatronen die door het model niet werden gevangen.
  • Het toonde aan dat voorspellingshorizonnen (kortetermijn vs. langetermijn) verschillende correlatiepatronen vertonen.

• Energieproductie (EngRAD dataset, zonne-energie):

  • De analyse detecteerde hogere correlaties tijdens schemering en dageraad, periodes waarin het model moeite heeft met de snelle veranderingen, ondanks een relatief lage absolute fout (MAE).
  • Het onthulde dat bij zeer lage variabiliteit in de data (bijv. stabiele zonneschijn), de correlatie soms hoog blijft, wat suggereert dat het model nog steeds suboptimaal is, zelfs als de fout klein lijkt.

Betekenis en Impact

De AZ-analyse vertegenwoordigt een significante vooruitgang in de evaluatie van diepe leermodellen voor ruimtelijk-temporele data:

• Diagnostisch Instrument: Het fungeert als een krachtig diagnostisch hulpmiddel voor practitioners om te bepalen of een model "optimaal" is (d.w.z. geen overgebleven patronen in de residuen) en waar verbetering nodig is.
• Toepasbaarheid: Door de minimale aannames is het breed toepasbaar in real-world scenario's waar data vaak onvolledig, heterogeen en niet-stationair is.
• Complementariteit: Het vult traditionele foutmetingen aan. Een model kan een lage MAE hebben maar toch structurele fouten vertonen die door correlatie-analyse worden blootgelegd.
• Richtinggevend: Het helpt bij het herontwerpen van modellen, het aanpassen van trainingsprocedures of het verbeteren van de verwerking van ontbrekende data, gebaseerd op concrete, gelokaliseerde inzichten.

Kortom, de paper biedt een robuust, schaalbaar en interpreteerbaar raamwerk om de grenzen van spatio-temporele voorspellingsmodellen te begrijpen en te overbruggen.