Technische Samenvatting: Modulaire Fundamentele Modellen voor Tijdreeksperceptie in Digital Twins

1. Probleemstelling

Engineering Digital Twins (DT's) en Prognostics and Health Management (PHM) systemen vereisen robuuste perceptiemodules die in staat zijn om bruikbare informatie te extraheren uit heterogene, niet-stationaire tijdreeksgegevens. Bestaande benaderingen kampen met drie primaire beperkingen:

1. Taakspecifiteit: Huidige methoden zijn vaak ontworpen voor een enkele taak, waardoor ze moeilijk te transfereren zijn naar verschillende operationele condities of activa.
2. Data-honger: Traditionele gesuperviseerde pipelines vereisen uitgebreide gelabelde data, wat schaars is in industriële omgevingen vanwege beperkte labeling en klassenimbalans.
3. Niet-stationariteit: Industriële systemen werken onder variërende regimes (belastingsfluctuaties, veroudering, omgevingsverstoringen), waardoor traditionele modellen moeite hebben met generalisatie.

Het artikel betoogt dat het bouwen van aparte, taakspecifieke modellen voor elk nieuw scenario kostbaar en onhoudbaar is. In plaats daarvan is een verenigde perceptielaag nodig die kennis van vooraf bestaande, heterogene bronnen kan benutten terwijl deze zich aanpast aan nieuwe, ongeziene domeinen met beperkt toezicht.

2. Methodologie

De auteurs stellen een Modulair Fundamenteel Model voor Tijdreeksverwerking (FM-TSP) voor. In tegen tegenstelling tot end-to-end architecturen, ontkoppelt dit framework expliciet de representatie-lering, de encoderselectie en de taakaanpassing. De architectuur bestaat uit drie hoofdonderdelen:

A. Collectie van Pretrained Encoders ($E$)

De basis is een bibliotheek van $M$ vooraf getrainde representatie-encoders ($E = \{E_1, \dots, E_M\}$).

• Trainingsstrategie: Elke encoder wordt onafhankelijk getraind met behulp van zelfgesuperviseerd leren (SSL) op heterogene datasets (bijv. trillingen, akoestiek, elektrische signalen, fysiologische signalen).
• Doelstellingen: De pretraining maakt gebruik van een duale doelstelling:
  1. Reconstructie: Een lichtgewicht decoder reconstrueert inputsegmenten met behulp van Huber-loss om robuustheid tegen uitschieters te garanderen.
  2. Contrastief Leren: Een contrastieve doelstelling (NT-Xent) dwingt invariantie af tegen gedeeltelijke signaalcorruptie (maskering), wat de latente ruimte reguleert.
• Specialisatie: Encoders worden getraind op diverse datasetsubsets en architecturen (MLP, CNN, Transformer) om een breed scala aan temporele dynamiek en fysieke regimes te vangen.

B. Gating en Selectiemechanisme ($G_{gate}$)

Om een nieuwe doel-dataset $Y$ te verwerken, gebruikt het model niet alle encoders. In plaats daarvan selecteert een gating-mechanisme dynamisch een subset van de meest relevante encoders ($E^*$). Deze selectie is gebaseerd op twee criteria:

1. Data-gelijkenis: Berekent de dissimilariteit tussen de doel-dataset en de pretraining-datasets met behulp van statistische en spectrale descriptoren (bijv. momenten, kwantielen, Fourier-coëfficiënten).
2. Structurele Correlatie: Evalueert of een encoder de lokale gelijkenisstructuur (naburige relaties) van de doelgegevens behoudt wanneer deze naar de latente ruimte wordt gemapt.
   Dit zorgt voor conditionele berekening, waarbij alleen encoders geactiveerd worden waarvan de geleerde representaties overeenkomen met het doeldomein.

C. Projectie en Aggregatie Module ($G_{agg}$)

De geselecteerde encoders produceren latente representaties in heterogene ruimtes.

• Projectie: Leerbare lineaire projectoren mappen deze heterogene outputs naar een gedeelde $d$-dimensionale latente ruimte. Een alignment-regularisatieterm (Maximum Mean Discrepancy, MMD) wordt toegepast tijdens de vroege fine-tuning om semantische consistentie tussen encoders te waarborgen.
• Aggregatie: Een Transformer-gebaseerde self-attention module verwerkt de geprojecteerde representaties als een sequentie van tokens. Dit stelt het model in staat om cross-encoder interacties en afhankelijkheden te vangen, waarbij kenmerken dynamisch worden hergewogen op basis van hun relevantie voor de specifieke downstream-taak.

D. Taakaanpassing ($T$)

Het framework ondersteunt meerdere downstream-taken (imputatie, voorspelling, virtuele sensoren) via lichtgewicht, taakspecifieke koppen. Tijdens de aanpassing blijven de vooraf getrainde encoders bevroren; alleen de projectoren, de aggregatiemodule en de taakkoppen worden bijgewerkt. Dit maakt efficiënt few-shot leren mogelijk.

3. Belangrijkste Bijdragen

• Modulaire Fundamentele Architectuur: Stelt een ontkoppeld framework voor waarbij representatie-lering wordt gescheiden van taakaanpassing, waardoor het mogelijk is om vooraf getrainde encoders te hergebruiken in diverse industriële scenario's.
• Twee-fasen Gating Mechanisme: Introduceert een gefundeerde encoderselectiestrategie gebaseerd op data-gelijkenis en structurele correlatie, wat verder gaat dan willekeurige of naïve aggregatie om computationele efficiëntie en relevantie te garanderen.
• Cross-Encoder Aggregatie: Demonstreert het nut van Transformer-gebaseerde self-attention bij het fuseren van heterogene representaties, waarbij het beter presteert dan eenvoudige concatenatie of mean pooling.
• Zelfgesuperviseerde Pretraining: Valideert een duale doelstelling SSL-aanpak (reconstructie + contrastief) voor het leren van robuuste, taakoogst-onafhankelijke tijdreeksrepresentaties van ongelabelde industriële data.

4. Experimentele Resultaten

Het framework werd geëvalueerd op de ETT (Electricity Transformer Temperature) benchmark en een real-world industriële casus.

Benchmark Evaluatie (ETT Dataset)

Het model werd getest op drie taken: Imputatie, Lange-termijn Voorspelling en Few-shot Voorspelling.

• Imputatie: FM-TSP behaalde prestaties die vergelijkbaar met of beter dan state-of-the-art modellen (PatchTST, iTransformer, DLinear) zijn, dankzij de directe link tussen de pretraining-reconstructiedoelstelling en de imputatie-taak.

• Lange-termijn Voorspelling: Het model bleef competitief met leidende baselines (DLinear, iTransformer), hoewel het iets achterbleef bij PatchTST. De auteurs schrijven dit toe aan het feit dat de encoders niet specifiek op de doel-ETT data zijn voorgetraind, wat een potentieel gebied voor verbetering is via een diversere encoder-bibliotheek.

• Few-shot Voorspelling: In scenario's met schaarse data (waarbij slechts 5% of 10% van de trainingsdata wordt gebruikt), behoorde FM-TSP tot de beste presteerders, wat de effectieve kennisoverdracht van heterogene pretraining-bronnen aantoont.

Industriële Casusstudie: Virtuele Sensor voor Rotor Temperatuur

Een virtuele sensor werd ontwikkeld om de rotor-temperatuur van een hydro-generator te schatten met behulp van operationele signalen, wat de moeilijkheid van directe meting aanpakt.

• Training: Het model werd getraind op één turbine-generator unit (TGU) en getest op andere.
• Prestaties: Het model volgde succesvol de grondwaarheid van de gemiddelde temperatuur.
• Onzekerheidskwantificatie: Door distributieparameters (gemiddelde en variantie) te voorspellen via een Beta-loss likelihood, leverde het model gekalibreerde onzekerheidsschattingen. Op de trainings-TGU was de dekking ~93,5% (dicht bij de nominale 95%). Op een andere TGU (transfer learning) daalde de dekking naar 65% door distributieverschuivingen, maar het model identificeerde nog steeds kritieke hoge-temperatuur events, wat cruciaal is voor veiligheidsbewaking.

5. Betekenis en Claims

Het artikel positioneert de FM-TSP als een schaalbare perceptielaag voor industriële Digital Twins en hybride model-data PHM-systemen. De betekenis ligt in:

• Schaalbaarheid: Door encoders te bevriezen en alleen lichtgewicht koppen te trainen, vermindert het framework de kosten voor het implementeren van modellen voor nieuwe taken of activa.
• Robuustheid tegen Data-schaarsheid: Het vermogen om zelfgesuperviseerde pretraining op heterogene data te benutten, stelt het systeem in staat effectief te functioneren in few-shot regimes waar gelabelde data beperkt is.
• Modulariteit: De architectuur ondersteunt incrementele ontwikkeling; nieuwe encoders kunnen aan de bibliotheek worden toegevoegd om nieuwe operationele regimes te dekken zonder het hele systeem opnieuw te trainen.
• Hybride Integratie: De auteurs beweren dat het framework dient als een data-gedreven component die natuurlijk geïntegreerd kan worden met natuurkundige modellen om de interpreteerbaarheid en robuustheid in veiligheidskritische toepassingen te verbeteren.

De auteurs concluderen dat hoewel het framework competitief is met state-of-the-art end-to-end modellen, de primaire waarde ligt in het bieden van een herbruikbare, modulaire fundering die de specifieke uitdagingen van niet-stationariteit en data-heterogeniteit aanpakt die inherent zijn aan engineering Digital Twins.