🤖 machine learning

Hierarchical Spatio-Temporal Transformer for Coherent Emergency Department Forecasting

Het artikel introduceert HierSTT, een hiërarchisch Transformer-gebaseerd framework dat de vraag op de spoedeisende hulp op ziekenhuis-, regionale en nationale niveaus gezamenlijk voorspelt om voorspellingscoherentie te waarborgen, waarbij significante verbeteringen in nauwkeurigheid worden aangetoond ten opzichte van bestaande niet-hiërarchische en reconciliatiemethoden op een nieuwe nationale Portugese dataset.

Oorspronkelijke auteurs: Filipa Lino, Bárbara Tavares, Carlos Santiago, Cláudia Soares, Manuel Marques

Gepubliceerd 2026-07-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Filipa Lino, Bárbara Tavares, Carlos Santiago, Cláudia Soares, Manuel Marques

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je het weer probeert te voorspellen. Als je alleen naar de temperatuur in je eigen achtertuin kijkt, zou je kunnen gokken dat het morgen gaat regenen. Maar als je ook naar de weerpatronen in het hele land kijkt, besef je dat er een enorme stormfront aankomt, wat betekent dat jouw achtertuin nat zal worden, en die van de volgende stad ook. In de wereld van data science is dit het verschil tussen het bekijken van één datapunt in isolatie versus het begrijpen van hoe al die punten samen in een grote, verbonden familie passen. Dit artikel bevindt zich in de hoek van de wetenschap genaamd "Time Series Forecasting" (tijdreeksvoorspelling), wat in feite de kunst is om het verleden van getallen te gebruiken om te raden wat er hierna zal gebeuren. Het bouwt voort op twee grote ideeën: "Hierarchical Time Series" (hiërarchische tijdreeksen), wat gewoon een chique manier is om te zeggen dat data is georganiseerd in niveaus (zoals een enkele winkel, een hele stad en het hele land), en "Transformers", wat superintelligente computermenselijke hersenen zijn die oorspronkelijk zijn ontworpen om taal te lezen, maar nu geweldig zijn in het herkennen van patronen in getallen. Waarom geven we erom? Omdat als we deze voorspellingen fout doen, ziekenhuizen misschien bedden of personeel tekortkomen, waardoor mensen te lang moeten wachten op hulp. Het goed krijgen van de wiskunde betekent tijd en geld besparen, en misschien zelfs levens redden.

Laten we het nu hebben over het probleem dat de auteurs, Filipa Lino en haar team, aanpakken. Spoedeisende Hulp (SEH) is als de voordeur van een ziekenhuis, en ze zijn altijd druk. Het voorspellen van hoeveel mensen door die deur zullen lopen, is een nachtmerrie omdat het van zoveel dingen afhangt: de dag van de week, het weer, het griepseizoen, en zelfs of een lokale sportclub een belangrijke wedstrijd heeft gewonnen. Meestal proberen ziekenhuizen hun eigen drukke dagen te voorspellen, en regionale zorgbestuurders proberen de behoeften van hun hele gebied te voorspellen, en nationale leiders proberen het totaal van het land te raden. Maar hier is de crux: ze doen dit vaak apart. Het is alsof je familie probeert een diner te plannen waarbij iedereen individueel raadt hoeveel eten hij nodig heeft, en de moeder vervolgens probeert alles bij elkaar op te tellen. Het resultaat? Een chaotische bende waarbij de totale hoeveelheid voedsel niet overeenkomt met de som van wat iedereen dacht nodig te hebben. De auteurs noemen dit "incoherente" voorspelling.

Om dit op te lossen, creëerde het team een nieuw computermodel genaamd HierSTT (Hierarchical Spatio-Temporal Transformer). Denk aan HierSTT als een supergeorganiseerde planner voor een familiediner. In plaats van iedereen afzonderlijk te laten gokken, fungeert dit model als een wijze gezinshoofd die eerst naar het grote plaatje kijkt. Het begint met het voorspellen van de vraag voor het hele land (het "Nationale Niveau"). Vervolgens gebruikt het dat grote plaatje om de voorspellingen voor de vijf grote regio's te sturen (het "Regionale Niveau"). Ten slotte gebruikt het de regionale plannen om de behoeften van elk van de 81 individuele ziekenhuizen te voorspellen. Het is een "top-down" benadering waarbij de grote voorspelling instructies fluistert naar de kleinere, wat ervoor zorgt dat als het nationale model zegt dat er 10.000 mensen zullen komen, de som van de ziekenhuisvoorspellingen daadwerkelijk 10.000 is.

Het model is gebouwd als een technologisch hoogstaande estafette. Aan de top gebruikt het een "Temporal Fusion Transformer" om de nationale trends te begrijpen, waarbij het kijkt naar zaken als feestdagen en sterftecijfers. Daarna geeft het de estafettestok door aan "Spatio-Temporal Transformers" voor de regio's en ziekenhuizen. Deze lagere modellen zijn speciaal omdat ze met elkaar kunnen praten; ze weten dat als Ziekenhuis A druk is, Ziekenhuis B in de buurt misschien ook druk zal zijn. Ze gebruiken ook een speciale "coherence-aware loss" (coherentie-bewuste verliesfunctie) tijdens hun training. Stel je een leraar voor die het huiswerk van een leerling nakijkt, niet alleen op basis van of het eindantwoord juist is, maar ook op basis van of de stappen wel kloppen. Als de ziekenhuisvoorspellingen niet optellen tot het regionale totaal, krijgt het model een "straf" en leert het dit te herstellen.

Het team testte dit op een echte dataset uit Portugal, die 81 ziekenhuizen over 5 regio's beslaat van januari 2021 tot april 2024. Ze vergeleken hun nieuwe model met ouderwetse methoden (zoals eenvoudige gemiddelden) en andere hippe AI-modellen die niet met elkaar communiceerden. De resultaten waren indrukwekkend. HierSTT verminderde de gemiddelde voorspellingsfout met ongeveer 32% vergeleken met het beste niet-hiërarchische deep learning model. Het kreeg niet alleen de getallen goed, maar hield ook de gezinswiskunde consistent. Terwijl andere modellen misschien heel goed waren in het raden van het nationale totaal maar verschrikkelijk waren in het raden van individuele ziekenhuizen (of andersom), was HierSTT consequent goed in alles. Het bewees dat door de AI te leren de familiehiërarchie en de verbindingen tussen verschillende niveaus te respecteren, je een veel duidelijker en betrouwbaarder beeld krijgt van wat er komen gaat. De auteurs suggereren dat deze aanpak een significante stap voorwaarts is, die laat zien dat we niet hoeven te kiezen tussen nauwkeurigheid en consistentie; we kunnen beide hebben.

Technische Samenvatting: Hiërarchische Spatio-Temporele Transformer voor Coherente Voorspellingen van Spoedeisende Hulp

1. Probleemdefinitie

Spoedeisende Hulp (SEH) afdelingen worden geconfronteerd met aanhoudende druk door onvoorspelbare patiëntvraag, seizoensgebonden pieken en niet-urgente bezoeken. Effectieve planning vereist nauwkeurige voorspellingen op meerdere besluitvormingsniveaus: ziekenhuizen hebben lokale schattingen nodig voor de personeelsplanning, regio's hebben voorspellingen nodig om eenheden te coördineren, en nationale autoriteiten vereisen systeembrede projecties.

Huidige benaderingen voorspellen de vraag op de SEH doorgaans geïsoleerd op een enkel niveau (bijv. een enkel ziekenhuis of een regio), waarbij de inherente hiërarchische structuur wordt genegeerd waarin ziekenhuizen aggregeren tot regio's, en regio's aggregeren tot het nationale systeem. Deze isolatie leidt tot incoherente voorspellingen, waarbij de som van de ziekenhuisniveau-voorspellingen niet overeenkomt met de regionale of nationale voorspellingen. Bovendien is de beschikbaarheid van gegevens heterogeen over de verschillende niveaus: ziekenhuisgegevens leggen operationele details vast, terwijl regionale en nationale niveaus bredere omgevings- en populatiesignalen bieden. Bestaande deep learning-modellen slagen er vaak niet in om deze hiërarchische afhankelijkheden en heterogene covariaten gezamenlijk te modelleren.

2. Methodologie: HierSTT

De auteurs stellen HierSTT voor (Hierarchical Spatio-Temporal Transformer), een deep learning-framework dat is ontworpen om de SEH-vraag gezamenlijk te voorspellen op ziekenhuis-, regionaal- en nationaal niveau, terwijl de hiërarchische coherentie wordt gewaarborgd.

Architectuur

Het model maakt gebruik van een top-down architectuur waarbij representaties op een hoger niveau de voorspellingen op een lager niveau sturen:

Nationaal Niveau: Gemodelleerd met een Temporal Fusion Transformer (TFT). Deze component vangt globale temporele patronen en heterogene covariaten op (bijv. mortaliteitscijfers, nationale vraag) met behulp van een LSTM-gebaseerde encoder-decoder met multi-head self-attention.
Regionaal en Ziekenhuisniveau: Gemodelleerd met Spatio-Temporele Transformer encoder-decoder modules. Deze componenten verwerken meerdere interagerende entiteiten (5 regio's, 81 ziekenhuizen).
- Encoder: Wisselt af tussen temporele self-attention (binnen elke entiteit over de 42-daagse geschiedenis) en spatiale self-attention (over entiteiten heen op elk tijdstip) om intra-entiteit patronen en inter-entiteit correlaties te leren.
- Decoder: Genereert voorspellingen voor de 28-daagse horizon. Cruciaal is dat deze voorspellingen op een hoger niveau (nationale voorspellingen conditioneren regionale decodering; regionale voorspellingen conditioneren ziekenhuisdecodering) als aanvullende inputs incorporeert via cross-attention mechanismen. Dit maakt het mogelijk dat schattingen op een lager niveau worden geconditioneerd op globale signalen.

Trainingsdoel

Om consistentie af te dwingen zonder de outputs hard te beperken, introduceren de auteurs een coherentie-bewuste verliesfunctie:
$\mathcal{L} = (1 - \alpha)(\mathcal{L}^{(n)} + \mathcal{L}^{(r)} + \mathcal{L}^{(h)}) + \alpha \mathcal{L}_{coh}$

$\mathcal{L}^{(\cdot)}$ vertegenwoordigt de directe voorspellingsverlies (Smooth L1) voor elk niveau.
$\mathcal{L}_{coh}$ is een coherentieverlies dat inconsistenties bestraft tussen geaggregeerde voorspellingen op lager niveau en voorspellingen op een hoger niveau (bijv. de som van ziekenhuisvoorspellingen versus de regionale voorspelling).
$\alpha$ balanceert nauwkeurigheid en coherentie.

Dataset

Het werk introduceert een nieuwe landelijke Portugese SEH-dataset die het volgende beslaat:

81 ziekenhuizen gegroepeerd in 5 Regionale Gezondheidsadministraties (RHA's).
Tijdsbestek: 1 januari 2021 tot 20 april 2024 (waarbij het begin van 2021 is uitgesloten om COVID-19-anomalieën te mitigeren).
Heterogene Covariaten:
- Ziekenhuis: Triage-niveaus, wachttijden, toegangswegen, status open/gesloten.
- Regionaal: Geaggregeerde vraag, luchtkwaliteit (AQI), temperatuur.
- Nationaal: Systeembrede vraag, mortaliteitscijfers.

3. Belangrijkste Bijdragen

Hiërarchisch Framework: Een Transformer-gebaseerd framework dat gelijktijdig de vraag over drie aggregatieniveaus voorspelt (ziekenhuis, regionaal, nationaal) in één enkel end-to-end model.
Coherentie-bewuste Training: Een nieuwe verliesfunctie die tijdens de training zorgt voor consistentie tussen de niveaus, waarmee verder wordt gegaan dan post-hoc reconciliatiemethoden.
Nieuwe Dataset: Een uitgebreide, real-world dataset van Portugese SEH-activiteit met heterogene covariaten die specifiek zijn voor elk administratief niveau.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op een 28-daagse voorspellingshorizon met behulp van 42 dagen aan historische data. HierSTT werd vergeleken met statistische baselines (ARIMA, ETS), niet-hiërarchische deep learning-modellen (LSTM, Transformer, TFT, N-BEATS) en hiërarchische reconciliatiemethoden (Top-Down, Bottom-Up, Middle-Out).

Voorspellingsnauwkeurigheid:
- HierSTT verminderde de gemiddelde Weighted Absolute Percentage Error (WAPE) met 32% ten opzichte van de beste niet-hiërarchische deep learning baseline.
- Op het regionale niveau verminderde het de MAE met ~38% en de RMSE met ~27% vergeleken met de beste niet-hiërarchische baseline.
- Op het ziekenhuisniveau verbeterde het de MAE met ~8% ten opzichte van N-BEATS.
- Op het nationale niveau behaalde het een prestatie die vergelijkbaar is met de standalone TFT, wat aantoont dat gezamenlijke training de nauwkeurigheid op een hoger niveau niet verslechtert.
Hiërarchische Coherentie:
- HierSTT behaalde de laagste Hierarchical Aggregation Error (HAgE) onder alle niet-reconciliatiemodellen, waarbij de coherentie aan de voorspellingszijde met ~13% werd verbeterd ten opzien van ARIMA.
- In tegenstelling tot reconciliatiemethoden die coherentie algebraïsch afdwingen (vaak ten koste van de nauwkeurigheid), leerde HierSTT om voorspellingen te produceren die zowel nauwkeurig als nagenoeg coherent waren.
- Het presteerde beter dan de reconciliatie-baselines op het gebied van Ground-Truth HAgE, wat aangeeft dat de lagere voorspellingen de geobserveerde hogere waarden nauwkeuriger aggregeren dan methoden die vertrouwen op post-hoc aanpassingen.

5. Betekenis en Claims

Het artikel beweert dat HierSTT het kritieke gat in SEH-voorspellingen aanpakt, waarbij bestaande methoden ofwel de hiërarchische structuren negeren, ofwel vertrouwen op post-hoc reconciliatie die geen cross-level afhankelijkheden leert tijdens de training.

Gezamenlijke Optimalisatie: Door de temporele dynamiek, heterogene covariaten en hiërarchische afhankelijkheden gezamenlijk te modelleren, bereikt HierSTT een superieur evenwicht tussen voorspellende nauwkeurigheid en coherentie.
Operationele Relevantie: Het framework ondersteunt besluitvorming op meerdere niveaus, waarbij wordt gewaarborgd dat lokale personeelsplannen (ziekenhuisniveau) consistent zijn met regionale en nationale middelenallocatiestrategieën.
Robuustheid: Het model vertoont stabiliteit over verschillende random seeds en gaat effectief om met de heterogeniteit van real-world gezondheidszorggegevens, inclusclusief operationele variabelen zoals de sluiting van ziekenhuizen.

De auteurs concluderen dat effectieve hiërarchische voorspelling vereist dat structurele beperkingen direct in het leerproces worden geïntegreerd in plaats van ze als een post-processing stap te behandelen, een principe dat wordt gevalideerd door de prestatiewinsten van HierSTT over alle evaluatiemetrieken.