🤖 machine learning

A Scalable Multi-Task Model for Virtual Sensors

Dieser Beitrag stellt ein skalierbares, multiklassenbasiertes maschinelles Lernmodell für virtuelle Sensoren vor, das durch die Nutzung von Synergieeffekten zwischen den Aufgaben und das automatische Erlernen relevanter Eingangsgrößen gleichzeitig diverse Signale mit verbesserter Effizienz und Genauigkeit vorhersagt und damit die rechnerischen und Skalierbarkeitsgrenzen bestehender isolierter oder auf Fundamentmodellen beruhender Ansätze überwindet.

Ursprüngliche Autoren: Leon Götz, Lars Frederik Peiss, Erik Sauer, Andreas Udo Sass, Thorsten Bagdonat, Stephan Günnemann, Leo Schwinn

Veröffentlicht 2026-05-07

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Leon Götz, Lars Frederik Peiss, Erik Sauer, Andreas Udo Sass, Thorsten Bagdonat, Stephan Günnemann, Leo Schwinn

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind der Ingenieur, der für eine massive, hochtechnologische Fabrik verantwortlich ist. Diese Fabrik verfügt über Tausende von Sensoren, die alles messen: Temperatur, Druck, Geschwindigkeit und Spannung. Doch es gibt ein Problem: Einige der wichtigsten Sensoren sind unglaublich teuer, brechen leicht oder existieren schlichtweg noch nicht.

Traditionell bauten Ingenieure zur Lösung dieses Problems einen separaten, maßgeschneiderten Roboter für jeden einzelnen fehlenden Sensor. Wenn Sie die Temperatur einer Batterie vorhersagen mussten, bauten Sie Roboter A. Wenn Sie die Geschwindigkeit eines Rades vorhersagen mussten, bauten Sie Roboter B.

Das Problem: Das ist so, als würde man für jedes einzelne Gericht auf einer Speisekarte einen anderen Koch einstellen. Es ist teuer, langsam, und die Köche sprechen nicht miteinander. Wenn Roboter A etwas über Wärme lernt, weiß Roboter B nichts davon. Außerdem benötigt man einen menschlichen Experten, der jedem Roboter genau sagt, welche anderen Sensoren er hören soll – was bei Tausenden von Robotern schwer richtig zu bekommen ist.

Die neue Lösung: Der „Super-Gehirn"-Koch

Die Autoren dieses Papiers schlagen einen anderen Ansatz vor: Einen Super-Gehirn-Koch, der jedes Gericht auf der Speisekarte sofort zubereiten kann.

Sie haben ein einzelnes, einheitliches KI-Modell entwickelt, das Hunderte verschiedener „virtueller Sensoren" (die fehlenden Messwerte) gleichzeitig vorhersagen kann. Hier ist, wie sie es mit einfachen Analogien zum Funktionieren gebracht haben:

1. Der Trick mit dem „leeren Teller" (Selektive Vorhersage)

Normalerweise sind KI-Modelle wie Schüler, die nur das wiederholen können, was sie gerade gehört haben. Wenn man sie auffordert, ein neues Signal vorherzusagen, das sie noch nie gesehen haben, geraten sie in Verwirrung.

Die Innovation: Die Autoren gaben ihrem Modell einen speziellen Trick. Wenn man es auffordert, einen bestimmten Sensor vorherzusagen (wie „Batterietemperatur"), beginnt es mit einem leeren Teller (einem Nullvektor). Dann bringt es ein spezielles Etikett auf diesen Teller an, auf dem steht: „Dies ist für die Batterietemperatur."
Wie es funktioniert: Das Modell betrachtet alle verfügbaren Daten (die Zutaten) und ermittelt, welche relevant sind, um diesen spezifischen Teller zu füllen. Es lernt, das Rauschen zu ignorieren und sich nur auf die Signale zu konzentrieren, die tatsächlich helfen, diese spezifische Temperatur vorherzusagen. Es ist wie ein Koch, der, wenn er nach einer Suppe gefragt wird, sofort die Gewürze ignoriert, die für das Steak bestimmt sind, und das richtige Gemüse holt.

2. Lernen, wem man zuhört (Kein Experte nötig)

Auf die alte Weise musste ein menschlicher Experte sich hinsetzen und sagen: „Roboter A, höre auf Sensor X und Sensor Y."

Die Innovation: Dieses neue Modell lernt von selbst, wem es zuhören soll. Es verfügt über einen eingebauten „Aufmerksamkeitsmechanismus", der wie ein Scheinwerfer wirkt. Während des Trainings ermittelt es, welche Eingangssignale für welche Ausgabe wichtig sind.
Das Ergebnis: Es erstellt eine einzigartige „Hörliste" für jeden virtuellen Sensor. Für eine Batterietemperatur hört es vielleicht auf den Kühlmittelfluss. Für das Motordrehmoment hört es auf den Pedaldruck. Dies geschieht automatisch und macht einen menschlichen Experten überflüssig, der die Eingaben manuell auswählt.

3. Der „intelligente Filter" (Effizienz)

Man könnte denken: „Wenn ein Modell alles macht, muss es riesig und langsam sein."

Die Innovation: Das Modell ist dank seines „intelligenten Filters" unglaublich effizient. Wenn man es auffordert, nur einen Sensor vorherzusagen, betrachtet es nicht alle Fabrikdaten. Es nutzt seine gelernte „Hörliste", um 99 % der Eingaben zu ignorieren und verarbeitet nur die wenigen, die wichtig sind.
Die Analogie: Stellen Sie sich eine Bibliothekarin vor, die ein bestimmtes Buch finden muss. Anstatt durch die gesamte Bibliothek zu laufen, weiß sie genau, welches Regal und welche Reihe sie aufsuchen muss. Sie überspringt den Rest. Dies macht das Modell 415-mal schneller und verbraucht 951-mal weniger Speicher als der Versuch, Hunderte separater Modelle auszuführen.

Die Ergebnisse: Eine Fabrik, die sich selbst betreibt

Das Team testete dieses „Super-Gehirn" mit realen Daten, einschließlich eines massiven Datensatzes aus einem Elektroauto (mit über 18 Milliarden Datenpunkten) sowie standardmäßigen Verkehrs- und Stromdatensätzen.

Skalierbarkeit: Sie zeigten, dass das Hinzufügen weiterer virtueller Sensoren (von 1 auf 512) das Modell nicht wesentlich größer oder langsamer machte. Es ist wie das Hinzufügen weiterer Gerichte zur Speisekarte, ohne weitere Köche einstellen zu müssen; der eine Koch wird einfach besser im Multitasking.
Qualität: Die Vorhersagen waren genauso gut oder sogar besser als die alte Methode, bei der separate Modelle für jeden Sensor verwendet wurden.
Erklärbarkeit: Da das Modell seine eigenen „Hörlisten" lernt, können wir es ansehen und sagen: „Ah, um die Batterietemperatur vorherzusagen, hört es auf den Kühlmittelfluss." Dies macht die KI transparent und vertrauenswürdig, was für sicherheitskritische Dinge wie Autos entscheidend ist.

Zusammenfassung

Anstatt für jeden fehlenden Sensor einen separaten, teuren und isolierten Roboter zu bauen, stellt dieses Papier ein flexibles, effizientes KI-System vor, das Hunderte fehlender Signale gleichzeitig vorhersagen kann. Es lernt, welche Daten es ignorieren und auf welche es sich konzentrieren soll, spart enorme Mengen an Rechenleistung und macht das System gleichzeitig leichter verständlich und skalierbar. Es verwandelt eine chaotische Fabrik aus Tausenden einzelner Roboter in ein einziges, hochorganisiertes und superschnelles Team.

Technischer Überblick: Ein skalierbares Multi-Task-Modell für virtuelle Sensoren

Problemstellung

Virtuelle Sensoren nutzen maschinelles Lernen, um Zielgrößen aus verfügbaren Messungen vorherzusagen, und bieten eine kosteneffiziente und zuverlässige Alternative zu teuren physikalischen Sensoren in kritischen Anwendungen wie dem autonomen Fahren und im Gesundheitswesen. Allerdings leiden bestehende Ansätze unter vier Hauptbeschränkungen:

Mangelnde Skalierbarkeit: Aktuelle Methoden basieren auf isolierten, anwendungsspezifischen Modellen, die für jeden virtuellen Sensor separat trainiert und gewartet werden, wobei die Eingangssignale von Domänenexperten manuell ausgewählt werden. Dies verhindert eine Skalierung auf große Sensornetzwerke.
Verpasste Synergien: Isolierte Modelle können keine Tasksynergien zwischen verschiedenen Aufgaben virtueller Sensoren nutzen.
Inkonsistente Benchmarks: Es fehlt an konsistenten Evaluierungsstandards, wobei nur wenige Arbeiten Standard-Benchmark-Datensätze verwenden.
Beschränkungen von Foundation-Modellen: Obwohl Zeitreihen-Foundation-Modelle allgemeine Lösungen bieten, sind sie rechenintensiv und auf die Vorhersage von Eingangssignalen beschränkt. Sie können keine neuen, unbekannten Signale aus anderen Messungen vorhersagen, was sie für Aufgaben virtueller Sensoren unvereinbar macht.

Methodik

Die Autoren schlagen ein einheitliches, skalierbares Multi-Task-Modell vor, das auf einer kausalen Decoder-only-Transformer-Architektur basiert. Die Kerninnovation liegt in drei Mechanismen, die darauf ausgelegt sind, Tasksynergien zu nutzen und gleichzeitig die Recheneffizienz zu wahren:

1. Selektive Vorhersage virtueller Sensoren

Um virtuelle Sensoren (Signale, die nicht im Eingangsset vorhanden sind) vorherzusagen, verwendet das Modell einen autoregressiven Mechanismus mit Prototyp-Token.

Tokenisierung: Eingangszeitreihen werden normalisiert, in Patches unterteilt und in Token eingebettet.
Prototyp-Einfügung: Um einen spezifischen virtuellen Sensor $j$ vorherzusagen, wird ein Prototyp-Token mit Nullvektor in die Eingangssequenz eingefügt.
Variablen-Embedding: Ein gelernter Embedding-Vektor für die Variable $v'_j$ wird zum Prototyp-Token addiert. Dies lenkt das neuronale Netzwerk so, dass relevante Zielinformationen in den leeren Prototyp abgebildet werden, wodurch das Modell den spezifischen virtuellen Sensor basierend auf den verfügbaren Eingangssignalen vorhersagen kann.
Autoregression: Das Modell sagt die nächsten $p$ Zeitschritte voraus. In nachfolgenden Schritten dient die eigene vorherige Vorhersage des Modells als neuer Input für den virtuellen Sensor, was die reale Bereitstellung nachahmt, bei der physikalische Eingaben verfügbar sind, virtuelle Ausgaben jedoch vorhergesagt werden müssen.

2. Erlernen relevanter Eingangssignale

Anstatt sich auf von Experten ausgewählte Eingaben zu verlassen, lernt das Modell die Menge relevanter Eingangssignale für jeden virtuellen Sensor end-to-end.

Signale-Relevanzvektoren: Das Modell führt trainierbare Signale-Relevanzvektoren $R' = \{r'_j\}$ für jeden virtuellen Sensor ein. Jeder Vektor kodiert die Relevanz aller verfügbaren Sensoren (Eingänge und andere virtuelle Sensoren).
Attention-Bias: Die Relevanzvektoren werden verwendet, um über ein äußeres Produkt eine Kreuz-Relevanzmatrix zu berechnen, die über die Zeit dupliziert und als statischer Bias bei der Berechnung der Attention-Werte in jeder Transformer-Schicht angewendet wird. Dies ermöglicht dem Modell, globale, zeitunabhängige Signalbedeutungen zu erlernen.
Erklärbarkeit: Durch die Analyse dieser Vektoren bietet das Modell Erklärbarkeit darüber, welche Eingangssignale eine spezifische Vorhersage eines virtuellen Sensors antreiben.

3. Effiziente Sparsifizierung und Selektion

Um die Rechenbeschränkungen großer Sensornetzwerke zu adressieren, verwendet das Modell strukturierte Sparsität:

Schwellenwertbildung: In späten Trainingsphasen und während der Inferenz werden Signale-Relevanzvektoren basierend auf einem Schwellenwert $r'_{thres}$ sparsifiziert. Unwichtige Signale werden mit $-\infty$ maskiert, wodurch sie effektiv aus dem Attention-Mechanismus entfernt werden.
Dynamische Sensorselektion: Das Modell kann flexibel auswählen, welche virtuellen Sensoren in einem einzelnen Generierungsschritt vorhergesagt werden sollen. Bei der Vorhersage einer Teilmenge von Sensoren fragt das Modell nur die relevanten Eingangssignalsets für diese spezifischen Sensoren ab, wodurch die Anzahl der verarbeiteten Token minimiert wird.
Trainingsstrategie: Um identische Gradienten für alle Sensoren zu vermeiden (was zu identischen Eingangssätzen führen würde), trainiert das Modell in jeder Iteration auf einer zufälligen Teilmenge virtueller Sensoren ( $N_{train}$ ). Zusätzlich wird während des Trainings Teacher Forcing eingesetzt, um Speicher- und Rechenkosten zu senken, wobei ein hybrider Ansatz (Feinabstimmung mit Backpropagation Through Time) untersucht wird, um die Akkumulation von Fehlern zu mindern.

Hauptbeiträge

Großskaliger Benchmark: Die Autoren liefern die erste großskalige Analyse einheitlicher Modelle virtueller Sensoren auf drei Standard-Zeitreihen-Vorhersage-Benchmarks (Verkehr, Strom, Solar) und einem anwendungsspezifischen Automobil-CAN-Bus-Datensatz mit über 18 Milliarden Zeitreihen-Stichproben.
Einheitliche Multi-Task-Architektur: Das vorgeschlagene Modell sagt gleichzeitig diverse virtuelle Sensoren voraus, nutzt Tasksynergien und grundlegendes Zeitreihenwissen. Es skaliert nahtlos auf Hunderte virtueller Sensoren mit einer nahezu konstanten Parameteranzahl.
Gelernte Relevanz und Erklärbarkeit: Das Modell eliminiert die Notwendigkeit von Expertenwissen bei der Eingabeselektion, indem es relevante Eingangssignale end-to-end lernt, wodurch Erklärbarkeit in das Design virtueller Sensoren integriert wird.
Effizienzmechanismen: Durch selektive Vorhersage, gelerntes Relevanz-Masking und Sparsifizierung erzielt die Architektur signifikante Reduktionen bei der Rechenzeit und dem Speicherverbrauch.

Ergebnisse

Die Evaluierung zeigt erhebliche Effizienzgewinne bei Beibehaltung oder Verbesserung der Vorhersagequalität:

Leistung im Vergleich zu isolierten Modellen: Im Vergleich zu isolierten Modellen, die für einzelne Sensoren trainiert wurden, erzeugt der einheitliche Ansatz überlegene Vorhersagen bei ähnlichen Inferenzgeschwindigkeiten.
Effizienzgewinne: Auf dem CAN-Bus-Datensatz reduziert das einheitliche Modell die Rechenzeit um bis zu 415× und die Speicheranforderungen um 951× im Vergleich zu Standard-Multi-Task-Ansätzen, die keine Sparsifizierung oder selektive Vorhersage nutzen.
Skalierbarkeit: Das Modell behält eine stabile Vorhersagequalität (geringe Standardabweichung im MSE) bei der Skalierung von wenigen auf Hunderte virtueller Sensoren bei, während isolierte Modelle einen linearen Anstieg der Parameter erfordern würden.
Erklärbarkeit: Eine qualitative Bewertung auf dem CAN-Bus-Datensatz bestätigt, dass die gelernten Eingangssignalsets mit dem Wissen von Domänenexperten übereinstimmen (z. B. Temperatursensoren, die sich auf andere Temperatur- und Durchflusssignale stützen).
Transferlernen: Das Modell kann neue virtuelle Sensoren effizient in ein bereits trainiertes Modell einführen, indem es nur 10 % der Trainingsdaten verwendet, und erreicht eine Leistung, die mit einem Training von Grund auf vergleichbar ist.

Bedeutung und Behauptungen

Die Arbeit behauptet, das erste einheitliche Modell für virtuelle Sensoren vorzustellen, das erfolgreich die Lücke zwischen anwendungsspezifischen virtuellen Sensoren und Zeitreihen-Foundation-Modellen schließt. Ihre Bedeutung liegt in:

Praktischer Bereitstellung: Durch die drastische Reduzierung von Rechen- und Speicheranforderungen ermöglicht das Modell den Einsatz virtueller Sensoren auf Edge-Geräten und in großskaligen Sensornetzwerken, wo aktuelle Foundation-Modelle zu ressourcenintensiv sind.
Beseitigung von Experten-Engpässen: Durch das automatische Erlernen der Eingangsrelevanz entfernt der Ansatz die Abhängigkeit von Domänenexperten für die Merkmalsauswahl und macht das Design virtueller Sensoren skalierbarer und robuster.
Nutzung von Synergien: Es wird gezeigt, dass Aufgaben virtueller Sensoren von geteiltem Wissen profitieren können, wodurch Vorhersagequalität und Effizienz gleichzeitig verbessert werden.

Die Autoren kommen zu dem Schluss, dass dieses Multi-Task-Modell neue Anwendungen für virtuelle Sensoren erschließt und durch die Verringerung des Rechenfußabdrucks großskaliger Sensornetzwerke zu einer umweltfreundlicheren Zeitreihenmodellierung beiträgt. Sie erkennen Einschränkungen bezüglich der Hyperparametersuche aufgrund der hohen Kosten des Trainings großskaliger Modelle an und deuten Potenzial für weitere Optimierungen an.