Technische Samenvatting: Adaptieve Digitale Twins voor Voorspellende Besluitvorming

Probleemstelling

Moderne technische systemen, met name in civiele infrastructuur, staan voor aanzienlijke uitdagingen op het gebied van het bewaken van structurele integriteit en het beheren van operaties onder onzekerheid. Deze systemen zijn onderhevig aan materiaalveroudering, cyclische belasting en extreme gebeurtenissen, die vaak worden verergerd door klimaatverandering. Traditionele monitoringbenaderingen vertrouwen vaak op statische modellen of offline getrainde voorspellers die geen rekening houden met de dynamische en onzekere aard van evoluerende structurele condities. Bijgevolg lijden digitale twins (DT's) die deze dynamiek negeren aan verminderde personalisatie, lagere nauwkeurigheid en een afgenomen waarde voor besluitvorming.

Hoewel bestaande DT-kaders probabilistische grafische modellen (PGM's) en dynamische Bayesiaanse netwerken (DBN's) gebruiken om fysieke activa te koppelen aan virtuele representaties, gaan ze er vaak van uit dat overgangsdynamica stationair is. Deze aanname impliceert dat de waarschijnlijkheid dat een systeem van de ene toestand naar de andere gaat, vaststaat en a priori bekend is. In werkelijkheid kunnen overgangsdynamica echter niet-stationair zijn en afhankelijk zijn van evoluerende omgevingsomstandigheden of niet-gemodelleerde factoren. Het vertrouwen op vooraf berekende optimale beleidslijnen op basis van vaste overgangsmodellen kan leiden tot suboptimale beslissingen of zelfs systeemfalen als de initiële aannames afwijken van de werkelijkheid. Het kernprobleem dat wordt aangepakt, is hoe de waardenrealisatie van digitale twins kan worden versterkt door adaptiviteit in de toestands-overgangsmodellen in te voeren, waardoor het systeem in staat is om zijn begrip van dynamiek in real-time te leren en bij te werken.

Methodologie

Het voorgestelde kader integreert Online Bayesiaans Leren met Parametrische Markov Beslissingsprocessen (MDP's) binnen een architectuur van een Dynamisch Bayesiaans Netwerk (DBN).

1. Kader voor Probabilistische Grafische Modellen (PGM)

De interactie tussen het fysieke actief en zijn digitale twin wordt gemodelleerd met een DBN met beslissingsknopen. Het systeem wordt gedefinieerd door:

• Fysieke Toestand ($S_t$): De verborgen werkelijkheid van de structurele gezondheid.
• Digitale Toestand ($D_t$): Een categorische stochastische variabele die de afgeleide gezondheidsconditie voorstelt (schadepositie en -grootte).
• Observaties ($O_t$): Sensordata (bijv. trillingsopnames) die via Deep Learning (DL)-modellen worden geassimileerd om de overtuiging in $D_t$ bij te werken.
• Acties ($U_t$): Controlebeslissingen (bijv. onderhoud, verkeersbeperking) die de overgang van de digitale toestand beïnvloeden.
• Beloningen ($R_t$): Een functie die de nuttigheid van het actief-twinsysteem kwantificeert op basis van gezondheidsstatus en actiekosten.

De informatiestroom is bidirectioneel: fysiek-naar-digitaal via data-assimilatie (inferentie) en digitaal-naar-fysiek via controleacties (planning).

2. Online Leren van Overgangsdynamica

De kerninnovatie ligt in het behandelen van toestands-overgangswaarschijnlijkheden niet als vaste parameters, maar als stochastische variabelen die zijn uitgerust met geconjugeerde a-priori-verdelingen.

• Parametrisatie: Het overgangsmodel wordt geparametriseerd met behulp van een Dirichlet-Multinomiaal verdeling (of Beta-Bernoulli voor specifieke gevallen). Voor een gegeven actie $u$ worden de overgangswaarschijnlijkheden gemodelleerd als $\theta_{d,u} \sim \text{Dirichlet}(\alpha_{d,u})$.
• Bayesiaanse Updates: Naarmate nieuwe observatiedata en toestands-overgangen worden waargenomen, worden de hyperparameters ($\alpha$) van de Dirichlet-prior in gesloten vorm bijgewerkt. Dit stelt de digitale twin in staat om overgangsdynamica online te "leren", aan te passen aan niet-stationaire processen zonder dat een volledige hertraining van het onderliggende model nodig is.
• Toestands-Onafhankelijkheid: Om de rekenkundige haalbaarheid voor grote toestandsruimtes te waarborgen, hanteert het artikel een toestands-onafhankelijk overgangsmodel waarbij overgangswaarschijnlijkheden afhankelijk zijn van de actie en de stapgrootte (bijv. 0, 1 of 2 stappen van achteruitgang) in plaats van de specifieke starttoestand, hoewel het kader toestands-afhankelijke formuleringen ondersteunt.

3. Dynamische Controlebeleid via Versterkend Leren

In plaats van offline een enkel stationair beleid te berekenen, hanteert het kader Model-Based Reinforcement Learning (MBRL) om een MDP met een eindige horizon op te lossen.

• Herberekening van Beleid: Op elk tijdstip wordt het optimale controlebeleid $\pi^*_t$ herberekend op basis van het huidige (bijgewerkte) overgangsmodel.
• Doel: Het beleid maximaliseert de verwachte cumulatieve beloning over de resterende levensduur van de constructie, waarbij structurele veiligheid (gezondheidsbeloningen) en operationele kosten (actiebeloningen) in evenwicht worden gebracht.
• Algoritme: De oplossing maakt gebruik van waarde-iteratie (achterwaartse induktie) om de Bellman-optimaliteitsequaties op te lossen, wat resulteert in een tijdsafhankelijk optimaal beleid dat rekening houdt met de resterende planningshorizon.

Belangrijkste Bijdragen

1. Adaptieve Overgangsmodellering: Het artikel introduceert een methode om toestands-overgangswaarschijnlijkheden te behandelen als stochastische variabelen met geconjugeerde priors, waardoor hiërarchisch online leren van overgangsdynamica mogelijk wordt via moeiteloze Bayesiaanse updates. Dit versoepelt de stationariteitsaanname die gebruikelijk is in de huidige DT-literatuur.
2. Dynamische Beleidsoptimalisatie: De auteurs formuleren een parametrische MDP waarbij controlebeleid dynamisch wordt bijgewerkt met behulp van MBRL. Dit gaat verder dan vooraf berekende beleidslijnen op basis van vaste dynamica, waardoor de DT zijn besluitvormingsstrategie kan aanpassen naarmate het meer leert over het gedrag van het systeem.
3. Wiskundige Generalisatie: Het werk breidt eerdere kaders (bijv. [74]) uit naar een bredere klasse van kansverdelingen (specifiek Dirichlet-Multinomiaal), waardoor de aanpak toepasbaar is op een breder scala aan real-life, grootschalige systemen met complexe toestandsruimtes.
4. Geïntegreerd Kader: Het artikel biedt een complete computatiepijplijn, van offline training van DL-modellen voor toestandschatting tot online Bayesiaanse updates van overgangsmodellen en dynamische herberekening van beleid.

Resultaten

De methodologie werd beoordeeld via een case study met de Hörnefors-spoorbrug, een betonnen brug van 15,7 meter in Zweden. De studie simuleerde een levensduur van 60 tijdstappen met diverse controleacties: Niets Doen (DN), Operaties Beperken (RO), Klein Reparatiewerk (MR) en Perfecte Reparatiewerk (PR).

• Prestatieverbetering: In een cluster van 100 simulaties behaalde de adaptieve DT (met MBRL en precisie-updates) een 17% hogere cumulatieve beloning in vergelijking met een niet-adaptieve DT die een vast overgangsmodel en standaard Dynamisch Programmeren (DP) gebruikte.
• Robuustheid: Het adaptieve kader toonde nul falen (structurele instorting gedefinieerd als schade $\ge$ 80%) in alle simulaties. In tegenstelling hiermee waren niet-adaptieve beleidslijnen vatbaar voor falen wanneer het initiële prior-overgangsmodel slecht was afgestemd op de werkelijkheid.
• Volgnauwkeurigheid: De adaptieve DT behaalde een gemiddelde volgnauwkeurigheid van 93,6% (met een standaardafwijking van 4%) ten opzichte van de fysieke toestand van de werkelijkheid, vergelijkbaar met de niet-adaptieve tegenhanger (93,15%), wat bevestigt dat adaptiviteit de besluitvorming verbetert zonder de nauwkeurigheid van de toestandschatting te offeren.
• Convergentie: De posterior-verdelingen van de overgangswaarschijnlijkheden convergeren naar de onbekende dynamica van de werkelijkheid, waardoor de onzekerheid in de loop van de tijd aanzienlijk afneemt. Het systeem corrigeerde zichzelf succesvol wanneer de initiële priors onnauwkeurig waren.

Betekenis en Claims

Het artikel claimt dat adaptiviteit essentieel is voor de effectieve realisatie van digitale twins in de civiele techniek. Door de DT in staat te stellen overgangsdynamica online te leren, zorgt het kader ervoor dat de virtuele representatie gesynchroniseerd blijft met het fysieke actief, zelfs naarmate de omstandigheden veranderen.

De auteurs stellen dat deze aanpak verhoogde personalisatie, verhoogde robuustheid en verbeterde kosteneffectiviteit biedt. Specifiek maakt het vermogen om controlebeleid bij te werken op basis van verfijnde overgangsdynamica meer onderbouwde planning mogelijk, wat structureel falen voorkomt en onderhoudsplanningen optimaliseert. Het werk positioneert zichzelf als een stap richting autonome DT's die niet-stationaire omgevingen kunnen hanteren, en gaat verder dan simpele automatisering naar systemen die effectief kunnen reageren op veranderende omstandigheden in de loop van de tijd. De auteurs merken op dat hoewel de huidige studie zich richt op langdurige achteruitgang, toekomstig werk extreme gebeurtenissen en gedeeltelijke waarneembaarheid zal aanpakken, waardoor de toepasbaarheid van dit adaptieve kader verder wordt uitgebreid.