Technische Samenvatting: Een Schaalbaar Multi-Task Model voor Virtuele Sensoren

Probleemstelling

Virtuele sensoren maken gebruik van machine learning om doelsignalen te voorspellen op basis van beschikbare metingen, en bieden zo een kosteneffectief en betrouwbaar alternatief voor dure fysieke sensoren in kritieke toepassingen zoals autonoom rijden en gezondheidszorg. Echter, bestaande benaderingen lijden onder vier primaire beperkingen:

1. Gebrek aan Schaalbaarheid: Huidige methoden vertrouwen op geïsoleerde, applicatiespecifieke modellen die afzonderlijk worden getraind en onderhouden voor elke virtuele sensor, met handmatig geselecteerde inputsignalen door domeinexperts. Dit verhindert schaalbaarheid naar grote sensornetwerken.
2. Gemiste Synergieën: Geïsoleerde modellen kunnen geen gebruik maken van taaksynergieën tussen verschillende taken voor virtuele sensoren.
3. Inconsistente Benchmarks: Er is een gebrek aan consistente evaluatiestandaarden, waarbij slechts weinig werken gebruikmaken van standaard benchmarkdatasets.
4. Beperkingen van Foundation Modellen: Hoewel tijdreeks-foundationmodellen algemene oplossingen bieden, zijn ze rekenkundig duur en beperkt tot het voorspellen van inputsignalen. Ze kunnen geen nieuwe, onbekende signalen voorspellen op basis van andere metingen, waardoor ze incompatibel zijn met taken voor virtuele sensoren.

Methodologie

De auteurs stellen een unificerend, schaalbaar multi-task model voor dat gebaseerd is op een causale decoder-only transformer-architectuur. De kerninnovatie ligt in drie mechanismen die zijn ontworpen om taaksynergieën te benutten terwijl rekenkundige efficiëntie wordt behouden:

1. Selectieve Voorspelling van Virtuele Sensoren

Om virtuele sensoren (signalen die niet aanwezig zijn in de inputset) te voorspellen, maakt het model gebruik van een autoregressief mechanisme met prototype tokens.

• Tokenisatie: Inputtijdreeksen worden genormaliseerd, in patches verdeeld en ingebed in tokens.
• Prototype-invoeging: Om een specifieke virtuele sensor $j$ te voorspellen, wordt een prototype-token met een nulvector ingevoegd in de inputsequentie.
• Variabele-inbedding: Een geleerde variabele-inbeddingsvector $v'_j$ wordt toegevoegd aan het prototype-token. Dit leidt het neurale netwerk om relevante doelinformatie in het lege prototype te mappen, waardoor het model de specifieke virtuele sensor kan voorspellen op basis van beschikbare inputsignalen.
• Autoregressie: Het model voorspelt de volgende $p$ tijdstappen. In daaropvolgende stappen dient de eigen eerdere voorspelling van het model als nieuwe input voor de virtuele sensor, wat de realwereldimplementatie nabootst waarbij fysieke inputs beschikbaar zijn maar virtuele outputs moeten worden voorspeld.

2. Het Leren van Relevante Inputsignalen

In plaats van te vertrouwen op door experts geselecteerde inputs, leert het model de set relevante inputsignalen voor elke virtuele sensor end-to-end.

• Signaalrelevantie-Vectoren: Het model introduceert trainbare signaalrelevantie-vectoren $R' = \{r'_j\}$ voor elke virtuele sensor. Elke vector codeert de relevantie van alle beschikbare sensoren (inputs en andere virtuele sensoren).
• Aandacht-Bias: De relevantie-vectoren worden gebruikt om een kruis-relevantiematrix te berekenen via een uitwendig product, dat over de tijd wordt gedupliceerd en wordt toegepast als een statische bias bij de berekening van de aandachtscores in elke transformerlaag. Dit stelt het model in staat om globale, tijd-onafhankelijke signaalbelangrijkheid te leren.
• Uitlegbaarheid: Door deze vectoren te analyseren, biedt het model uitlegbaarheid over welke inputsignalen een specifieke voorspelling van een virtuele sensor aandrijven.

3. Efficiënte Versparring en Selectie

Om de rekenkundige beperkingen van grote sensornetwerken aan te pakken, maakt het model gebruik van gestructureerde sparsiteit:

• Drempelwaarde: Tijdens de late trainingsfasen en inferentie worden signaalrelevantie-vectoren verspard op basis van een drempelwaarde $r'_{thres}$. Onbelangrijke signalen worden gemaskeerd met $-\infty$, waardoor ze effectief uit het aandachtsmechanisme worden verwijderd.
• Dynamische Sensorselectie: Het model kan flexibel selecteren welke virtuele sensoren in één generatiestap moeten worden voorspeld. Bij het voorspellen van een subset van sensoren vraagt het model alleen de relevante sets inputsignalen op voor die specifieke sensoren, waardoor het aantal verwerkte tokens wordt geminimaliseerd.
• Trainingsstrategie: Om identieke gradiënten voor alle sensoren te voorkomen (wat zou leiden tot identieke inputsets), traint het model op een willekeurige subset van virtuele sensoren ($N_{train}$) per iteratie. Bovendien wordt Teacher Forcing gebruikt tijdens het trainen om geheugen- en rekenkosten te verlagen, waarbij een hybride aanpak (fine-tunen met Backpropagation Through Time) wordt verkend om foutaccumulatie te mitigeren.

Belangrijkste Bijdragen

1. Grootschalige Benchmark: De auteurs bieden de eerste grootschalige analyse van unificerende modellen voor virtuele sensoren op drie standaard benchmarks voor tijdreeksvoorspelling (Verkeer, Elektriciteit, Zonne-energie) en een applicatiespecifiek dataset voor CAN-bus in de automobielindustrie met meer dan 18 miljard tijdreeksstalen.
2. Unificerend Multi-Task Architectuur: Het voorgestelde model voorspelt gelijktijdig diverse virtuele sensoren, waarbij taaksynergieën en fundamentele kennis van tijdreeksen worden benut. Het schaalt moeiteloos naar honderden virtuele sensoren met een bijna constant aantal parameters.
3. Geleerde Relevantie en Uitlegbaarheid: Het model elimineert de behoefte aan expertkennis bij de inputselectie door relevante inputsignalen end-to-end te leren, waardoor uitlegbaarheid wordt toegevoegd aan het ontwerp van virtuele sensoren.
4. Efficiëntiemechanismen: Door selectieve voorspelling, geleerde relevantiemasking en versparring bereikt de architectuur aanzienlijke reducties in rekentijd en geheugengebruik.

Resultaten

De evaluatie toont aanzienlijke winsten in efficiëntie aan, terwijl de voorspellende kwaliteit wordt behouden of verbetert:

• Prestaties versus Geïsoleerde Modellen: In vergelijking met geïsoleerde modellen die zijn getraind voor enkele sensoren, genereert de unificerende aanpak superieure voorspellingen bij vergelijkbare inferentiesnelheden.
• Efficiëntiewinsten: Op de CAN-bus-dataset reduceert het unificerende model de rekentijd met maximaal 415× en de geheugeneisen met 951× in vergelijking met standaard multi-task benaderingen die geen versparring of selectieve voorspelling gebruiken.
• Schaalbaarheid: Het model behoudt stabiele voorspellende kwaliteit (lage standaardafwijking in MSE) bij schaling van enkele naar honderden virtuele sensoren, terwijl geïsoleerde modellen een lineaire toename in parameters zouden vereisen.
• Uitlegbaarheid: Kwalitatieve beoordeling op de CAN-bus-dataset bevestigt dat de geleerde sets inputsignalen overeenkomen met kennis van domeinexperts (bijvoorbeeld temperatuursensoren die vertrouwen op andere temperatuur- en debietsignalen).
• Transfer Learning: Het model kan efficiënt nieuwe virtuele sensoren introduceren in een reeds getraind model met slechts 10% van de trainingsdata, en bereikt prestaties die vergelijkbaar zijn met training vanaf nul.

Betekenis en Claims

Het artikel beweert het eerste unificerende model voor virtuele sensoren te presenteren dat succesvol de kloof overbrugt tussen applicatiespecifieke virtuele sensoren en tijdreeks-foundationmodellen. De betekenis hiervan ligt in:

• Praktische Implementatie: Door de rekenkundige en geheugeneisen drastisch te verminderen, maakt het model de implementatie van virtuele sensoren op randapparatuur en in grootschalige sensornetwerken mogelijk, waar huidige foundationmodellen te resource-intensief zijn.
• Eliminatie van Expert-瓶颈: Door het automatisch leren van inputrelevantie verwijdert de aanpak de afhankelijkheid van domeinexperts voor feature-selectie, waardoor het ontwerp van virtuele sensoren schaalbaarder en robuuster wordt.
• Benutting van Synergieën: Het toont aan dat taken voor virtuele sensoren kunnen profiteren van gedeelde kennis, waardoor voorspellende kwaliteit en efficiëntie gelijktijdig worden verbeterd.

De auteurs concluderen dat dit multi-task model nieuwe toepassingen voor virtuele sensoren ontsluit en bijdraagt aan meer ecologisch duurzame tijdreeksmodellering door de rekenkundige voetafdruk van grootschalige sensornetwerken te verminderen. Ze erkennen beperkingen met betrekking tot hyperparameterzoektocht vanwege de hoge kosten van het trainen van grootschalige modellen, en wijzen op potentie voor verdere optimalisatie.