Transformer self-attention encoder-decoder with multimodal deep learning for response time series forecasting and digital twin support in wind structural health monitoring

Dit artikel introduceert een transformer-gebaseerde multimodale deep learning-methode voor het voorspellen van windgeïnduceerde respons en het ondersteunen van digitale tweeling-systemen voor de structurele gezondheidsmonitoring van de Hardanger-brug, waarbij het model zonder aannames over stationariteit nauwkeurige voorspellingen levert en afwijkingen detecteert als vroege waarschuwing voor structurele veranderingen.

De kern

De "Slimme Voorspeller" voor Bruggen

Stel je voor dat een grote brug, zoals de Hardanger-brug in Noorwegen, een levend wezen is dat constant beweegt door de wind. De onderzoekers van deze studie hebben een nieuwe, slimme computerprogramma (een AI-model) bedacht dat kan voorspellen hoe die brug gaat bewegen, nog voordat de wind er echt op slaat.

Het doel is niet alleen om te kijken hoe de brug beweegt, maar om schade te detecteren. Als de brug plotseling anders beweegt dan de computer had voorspeld, is dat een waarschuwingssignaal: "Hé, er is iets mis!"

Hoe werkt dit? De "Orkestleider" en de "Muzikanten"

Om dit te begrijpen, gebruiken we een analogie met een orkest:

1. De Wind is de Dirigent: De wind is de dirigent die de muziek (de beweging van de brug) bepaalt.
2. De Brug is het Orkest: De brug is het orkest dat reageert op de dirigent.
3. Het oude model (Alleen Acceleratie): Vroeger keken ingenieurs alleen naar de muzikanten (de brug) en probeerden ze te raden wat de dirigent zou doen. Ze dachten: "Als de muzikant nu hard speelt, zal hij straks ook hard spelen." Dit werkte niet goed als de dirigent plotseling van stijl veranderde (bijvoorbeeld van een zachte bries naar een storm).
4. Het nieuwe model (Multimodaal Transformer): Dit nieuwe AI-model is een slimme orkestleider die beide kanten ziet. Hij luistert naar de dirigent (de windmetingen) én kijkt naar de muzikanten (de trillingen van de brug) tegelijkertijd.

De "Transformer": Een Supergeheugen

De kern van dit nieuwe systeem is een technologie die Transformer heet.

• Vergelijking: Stel je voor dat je een lang verhaal leest. Een oude computer leest woord voor woord en vergeet snel wat er aan het begin stond. Een Transformer heeft echter een supergeheugen. Het kan zich herinneren wat er uren geleden gebeurde, en begrijpt hoe dat nu invloed heeft op wat er nu gebeurt.
• In dit geval "leest" de computer de geschiedenis van de wind en de trillingen, en gebruikt die kennis om de toekomstige beweging van de brug te voorspellen.

De "Digitale Tweeling": Een Spiegelbeeld

Het onderzoek introduceert ook het concept van een Digitale Tweeling.

• Vergelijking: Denk aan een perfecte, virtuele spiegelbeeld van de echte brug. Deze digitale brug "leeft" mee met de echte brug.
• Als de echte brug trilt, trilt de digitale brug ook. De computer vergelijkt voortdurend: "Hoe de digitale brug moet trillen" versus "Hoe de echte brug daadwerkelijk trilt".
• Als er een groot verschil is (bijvoorbeeld omdat een bout los is of er een scheur is), slaat de digitale tweeling alarm. Dit is een vroegtijdige waarschuwing voor schade.

Waarom is dit zo belangrijk?

1. Geen gissen meer: Oude methodes moesten aannames doen over hoe de wind zich gedraagt (bijvoorbeeld: "de wind is altijd stabiel"). In de echte wereld is de wind echter chaotisch en veranderlijk. Dit nieuwe model heeft geen van die aannames nodig; het leert gewoon uit de data.
2. Minder valse alarmen: Soms denkt een oud systeem dat er schade is, terwijl het gewoon een sterke windvlaag was. Omdat dit nieuwe model de wind kent, begrijpt het dat de brug normaal reageert op die wind. Alleen als de brug ongewoon reageert, slaat het alarm.
3. Werkt in de praktijk: De onderzoekers hebben dit getest met echte data van de Hardanger-brug in Noorwegen. Het bleek dat het model veel nauwkeuriger was dan de oude methodes, vooral bij het voorspellen van extreme bewegingen.

Samenvatting in één zin

Dit onderzoek presenteert een slimme, digitale "tweeling" die de wind en de brug tegelijkertijd in de gaten houdt, zodat we schade aan bruggen kunnen zien voordat het te laat is, zonder dat we de brug hoeven te slopen om te kijken of hij goed is.

Het is alsof je een brug een "smartwatch" geeft die niet alleen zijn hartslag meet, maar ook begrijpt of hij hard loopt of rustig wandelt, en direct waarschuwt als hij een hartaanval krijgt.

Technische samenvatting

Probleemstelling

Bij het monitoren van de structurele gezondheid (Structural Health Monitoring - SHM) van bruggen, met name onder invloed van wind, vormen onzekerheden en niet-stationaire omstandigheden een grote uitdaging. Traditionele methoden voor voorspelling van structurele respons en schadeopsporing maken vaak aannames over:

1. Stationariteit van de wind: Ze gaan uit van constante windstatistieken, wat in de realiteit zelden het geval is.
2. Normaal trillingsgedrag: Ze vereisen een goed gedefinieerd "normaal" gedrag om afwijkingen (schade) te detecteren.

Wanneer omgevings- of verkeerscondities veranderen, wordt het moeilijk om te onderscheiden of een verandering in trillingen het gevolg is van schade of van veranderende windcondities. Bestaande deep-learningmodellen missen vaak het vermogen om lange-termijn tijdsafhankelijkheden en complexe, niet-lineaire interacties tussen windexcitatie en structurele respons nauwkeurig te modelleren zonder handmatige kenmerkextractie.

Methodologie

De auteurs stellen een nieuw multimodaal Transformer encoder-decoder framework voor dat is ontworpen voor tijdreeksvoorspelling en vroege waarschuwing voor schade.

• Architectuur:
  • Encoder: Verwerkt historische windgegevens (snelheid, richting, turbulentie, temperatuur) en zet deze om in een geheugentensor ($M$) via zelf-attention mechanismen.
  • Decoder: Genereert voorspellingen voor de toekomstige structurele versnelling. Deze gebruikt twee mechanismen:
    • Masked self-attention: Om causale afhankelijkheden binnen de historische versnellingsdata te modelleren.
    • Cross-attention: Om de windgebaseerde geheugentensor ($M$) te integreren met de versnellingsdata. Dit stelt het model in staat om de causale invloed van specifieke windgebeurtenissen op de trillingen te "attenderen".
• Invoer en Uitvoer: Het model neemt historische vensters van wind- en versnellingdata in en voorspelt de versnelling voor een toekomstig venster (horizon $L_{pred}$).
• Aanpak: Het model leert direct uit ruwe of minimaal verwerkte signalen zonder expliciete aerodynamische of structurele fysieke modellen te hoeven opstellen. Het kan werken met alleen versnellingsdata (encoder omzeild) of met de combinatie van wind en versnelling (multimodaal).
• Validatie: Het model is getrainen en getest op real-world data van de Hardanger-brug in Noorwegen, beheerd door de Noorse Universiteit voor Wetenschap en Technologie (NTNU). De dataset bevat gesynchroniseerde metingen van ultrasonische anemometers en MEMS-versnellingsmeters.

Belangrijkste Bijdragen

1. Multimodaal Transformer Framework: De eerste toepassing van een multimodale encoder-decoder Transformer specifiek voor wind-structuur interactie, die cross-modale afhankelijkheden leert zonder handmatige kenmerken.
2. Geen Aannames over Stationariteit: Het model vereist geen aannames over stationaire wind of een vast "normaal" trillingspatroon, waardoor het robuuster is voor veranderende operationele omstandigheden.
3. Digitale Tweeling Component: Het biedt een adaptieve digitale tweeling die kan evolueren met de fysieke structuur door continue learning, wat essentieel is voor levenscyclusbeheer.
4. Lokale Schadedetectie: Het model kan lokaal worden getraind op data van een klein deel van de constructie, wat ideaal is voor het detecteren van lokale schade zonder een volledig model van de hele brug te hoeven kalibreren.

Resultaten

Het model werd vergeleken met een "acceleration-only" baseline (alleen versnellingdata) en een 1D Convolutional Neural Network (CNN) baseline. De resultaten tonen aanzienlijke verbeteringen:

• Tijdsdomein:
  • De multimodale versie reduceerde de piekfout ($\Delta_{Peak}$) aanzienlijk. Voor de verticale as ($z$-as) bij een horizon van 18 stappen daalde de fout van -41,6% (alleen versnelling) naar -4,4% (multimodaal).
  • De RMS-ratio (RMSR), een maat voor energiehouding, verbeterde van 0,60 naar 0,96 voor de $z$-as, wat aangeeft dat de multimodale model de energie van de trillingen bijna perfect behoudt.
• Frequentiedomein:
  • De multimodale model behield de bandenergie (BER) beter binnen de modale banden en toonde een lagere piekfout in de frequentierespons (MPE) vergeleken met de baseline.
• Risico en Residuen:
  • De foutresiduen van het multimodale model waren sterker geconcentreerd rond nul.
  • Er was een significante reductie in "tail-risk" (de kans op extreme fouten), wat betekent dat het model minder vaak grote voorspellingsfouten maakt, zelfs bij veranderende windcondities.
• Vergelijking met CNN: De Transformer-architectuur overtrof de CNN-baseline in alle richtingen ($x, y, z$) en voor alle voorspellingstijdsintervallen, dankzij het vermogen om lange-termijn afhankelijkheden te modelleren.

Betekenis en Conclusie

Dit onderzoek demonstreert dat Transformer-gebaseerde deep learning een krachtig hulpmiddel is voor de volgende generatie structureel gezondheidsmonitoring. De belangrijkste implicaties zijn:

• Betrouwbaarheid: Door winddata te integreren, kan het model onderscheid maken tussen trillingen veroorzaakt door extreme wind en trillingen veroorzaakt door structurele schade.
• Toepasbaarheid: Het systeem is lichtgewicht genoeg voor real-time implementatie op randapparaten (edge devices) en kan worden gebruikt voor continue adaptieve monitoring.
• Digitale Tweeling: Het biedt een fundamentele bouwsteen voor digitale tweelingen die niet statisch zijn, maar leren en zich aanpassen aan de veroudering en veranderende omstandigheden van de infrastructuur.

De studie concludeert dat deze aanpak een eenvoudige maar effectieve oplossing biedt voor het voorspellen van windexciterende respons en het detecteren van afwijkingen, met een brede toepasbaarheid die verder gaat dan alleen bruggen.