⚡ electrical engineering

VCR: Learning Valid Contextual Representation for Incomplete Wearable Signals

Das Papier schlägt VCR vor, ein selbstüberwachtes Framework, das eine orthogonale Tokenisierung nutzt, um gemeinsame Semantiken von modality-spezifischen Residuen zu entkoppeln, wodurch eine robuste Gesundheitsüberwachung aus unvollständigen Wearable-Signalen ermöglicht wird, indem nur inferierbare gemeinsame Komponenten rekonstruiert werden, um Halluzinationen zu verhindern.

Ursprüngliche Autoren: Yuxuan Weng, Wenhan Luo, Qijia Shao

Veröffentlicht 2026-05-20

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yuxuan Weng, Wenhan Luo, Qijia Shao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, die Gesundheit einer Person zu verstehen, indem Sie einem Chor lauschen. Der Chor besteht aus vier Sängern: einer singt den Herzschlag (PPG), einer die Schweißwerte (EDA), einer die Bewegung (ACC) und einer die Körpertemperatur (TEMP).

In einer perfekten Welt sind alle vier Sänger immer anwesend, und Sie können das vollständige Lied hören. Doch in der realen Welt gehen Dinge schief. Vielleicht geht der Schweißsensor kaputt, oder der Benutzer schaltet das Herzmonitor-Modul zum Batteriesparen ab, oder der Bewegungssensor löst sich. Plötzlich versuchen Sie, das Lied zu verstehen, wobei nur noch drei, zwei oder sogar nur ein Sänger übrig geblieben ist.

Die meisten aktuellen KI-Modelle versuchen, die „Lücken zu füllen", indem sie raten, wie die fehlenden Sänger hätten klingen können. Das Problem? Sie raten oft falsch. Sie erfinden Details, die nie existiert haben (wie eine bestimmte hohe Note, die der Schweißsänger tatsächlich nie gesungen hat), was die KI verwirrt und sie weniger zuverlässig macht. Dies wird als Halluzination bezeichnet.

Die Arbeit stellt VCR (Valid Contextual Representation) vor, eine neue Methode, um KI darauf zu trainieren, diese Gesundheits-Tracker zu hören, ohne verwirrt zu werden, wenn Sänger ausfallen.

So funktioniert VCR, unter Verwendung einfacher Analogien:

1. Der „Strenge Bibliothekar" (Orthogonaler Tokenizer)

Stellen Sie sich das Gehirn der KI als Bibliothek vor. Wenn der Chor singt, muss die KI die Noten in zwei getrennte Stapel sortieren:

Stapel A (Geteilte Geheimnisse): Noten, bei denen sich alle Sänger einig sind. Wenn beispielsweise der Herzschlag schnell ist, sich der Körper bewegt und der Schweiß zunimmt, ist dies ein gemeinsames „Stress"-Signal.
Stapel B (Solo-Auftritte): Noten, die nur einem einzelnen Sänger eigen sind. Zum Beispiel das spezifische „Rauschen" im Schweißsensor oder der einzigartige Rhythmus des Bewegungssensors.

Alte KI-Modelle versuchten, diese Stapel vermischt zu halten. VCR verwendet einen „Strenge Bibliothekar" (einen Orthogonalen Tokenizer), um diese Stapel physisch zu trennen. Es nutzt einen geometrischen Trick (wie ein starres Lineal), um sicherzustellen, dass der Stapel der „Geteilten Geheimnisse" und der Stapel der „Solo-Auftritte" sich niemals berühren. Sie sind mathematisch garantiert unabhängig.

2. Das „Kluge Ratespiel" (Vermeidung von Halluzinationen)

Hier kommt der Zaubertrick ins Spiel. Wenn ein Sänger fehlt (z. B. der Schweißsänger):

Alte KI: Versucht, das gesamte Lied zu erraten, einschließlich der einzigartigen „Solo-Auftritte" des fehlenden Sängers. Sie erfindet gefälschte Schweißdaten. Das ist schlecht, weil die KI Dinge rät, die sie unmöglich wissen kann.
VCR: Kennt die Regeln. Es sagt: „Ich kann das einzigartige Schweißrauschen nicht erraten, weil dieser Sänger weg ist. Aber ich kann die 'Geteilten Geheimnisse' erraten, weil die anderen Sänger (Herzschlag, Bewegung, Temperatur) diese Teile immer noch singen."

VCR versucht nur, die Geteilten Geheimnisse wiederherzustellen, die aus den verbleibenden Sängern ableitbar sind. Es weigert sich, die „Solo-Auftritte" des fehlenden Sängers zu erraten. Dies verhindert, dass die KI gefälschte Daten erfindet (Halluzinationen), und hält ihr Verständnis in der Realität verankert.

3. Das „Flexible Team" (Missing-Aware MoE-Rückgrat)

Sobald die Noten sortiert sind, gelangen sie zu einem „Gehirn", das aus einem Mixture of Experts (MoE) besteht. Stellen Sie sich dies als ein Team von Spezialisten vor.

Wenn die Herzschlag- und Bewegungssänger anwesend sind, übernimmt ein bestimmter Spezialist die Führung.
Wenn der Temperatursänger fehlt, springt ein anderer Spezialist ein, der weiß, wie man ohne diesen Input arbeitet.

Anstatt ein riesiges Gehirn zu zwingen, alles auf einmal zu versuchen (was verwirrt wird, wenn Daten fehlen), verwendet VCR einen Router, um die Aufgabe an den spezifischen Experten zu senden, der am besten für die aktuelle Kombination verfügbarer Sensoren geeignet ist.

Warum dies wichtig ist (Die Ergebnisse)

Die Autoren testeten VCR mit realen Gesundheitsdaten für Aufgaben wie:

Emotionserkennung: Wissen, ob jemand gestresst oder glücklich ist.
Aktivitätserkennung: Wissen, ob jemand geht, läuft oder schläft.
Schlafphasenanalyse: Herausfinden, ob jemand sich im Tiefschlaf oder im leichten Schlaf befindet.
VO2-Vorhersage: Schätzen, wie viel Sauerstoff der Körper verbraucht.

Sie stellten fest, dass VCR besser funktioniert als alle vorherigen Methoden, selbst wenn:

Alle Sensoren funktionieren: Es ist immer noch das genaueste.
Ein Sensor fehlt: Es verliert kaum an Leistung.
Mehrere Sensoren fehlen: Es bleibt robust, während andere Modelle völlig versagen.

Das Fazit

VCR ist wie ein kluger Zuhörer, der genau weiß, was er hören kann und was nicht. Anstatt eine Geschichte zu erfinden, um die Stille zu füllen, konzentriert es sich nur auf die Fakten, die noch hörbar sind. Dies macht es zu einem viel zuverlässigeren Werkzeug für tragbare Gesundheitsgeräte und stellt sicher, dass die Gesundheitseinblicke auch dann genau und vertrauenswürdig bleiben, wenn ein Sensor kaputtgeht oder ein Benutzer einen ausschaltet.

Technische Zusammenfassung: VCR: Lernen valider kontextueller Repräsentationen für unvollständige Wearable-Signale

1. Problemstellung

Wearables ermöglichen eine kontinuierliche, nicht-invasive Gesundheitsüberwachung durch multimodale Signale (z. B. PPG, EDA, ACC, TEMP). Deren Einsatz in der realen Welt wird jedoch durch zwei gekoppelte Herausforderungen behindert:

Knappheit an Labels: Nachgelagerte Gesundheitsaufgaben (Emotionserkennung, Schlafphasenklassifikation, Aktivitätserkennung) leiden unter einem Mangel an gelabelten Daten.
Fehlen von Modalitäten: Sensoren fallen häufig aufgrund von Hardwarebeschränkungen, Nutzerverhalten (z. B. Deaktivierung von PPG zur Stromsparung) oder Gerätegrenzen aus. Dies führt zu „strukturellem Fehlen", bei dem eine gesamte Modalität für ein bestimmtes Zeitfenster fehlt.

Bestehende selbstüberwachte Lernansätze (SSL) gehen bei der Vorverarbeitung oft von der vollständigen Verfügbarkeit aller Modalitäten aus. Bei der Anpassung an Szenarien mit fehlenden Daten versuchen aktuelle Methoden typischerweise, das gesamte fehlende Signal zu rekonstruieren. Die Autoren argumentieren, dass dies fehlerhaft ist, da modalspezifische Details (z. B. spezifische Rauschmuster oder einzigartige physiologische Drifts) oft aus den verbleibenden Sensoren nicht identifizierbar sind. Ein Modell, das gezwungen wird, diese nicht beobachtbaren Details zu rekonstruieren, neigt zu „Halluzinationen" – der Generierung plausibler, aber nicht fundierter Daten, die Rauschen in die gelernten Repräsentationen injizieren und somit die Robustheit verschlechtern.

2. Methodik: Das VCR-Framework

Die Autoren schlagen VCR (Valid Contextual Representation) vor, ein zweistufiges, selbstüberwachtes Framework, das darauf ausgelegt ist, Repräsentationen zu erlernen, die gegenüber dem Fehlen von Modalitäten robust sind, ohne nicht beobachtbare Details zu halluzinieren.

A. Orthogonaler Tokenizer (Stufe 1)

Die erste Stufe konzentriert sich auf die Entflechtung. Die Kernhypothese besagt, dass die latente Information jeder Modalität in zwei Teile zerlegt werden kann:

Gemeinsame Semantik ( $s$ ): Information, die über Modalitäten hinweg korreliert ist (z. B. Herzfrequenzmuster, die sowohl im PPG als auch im ACC sichtbar sind).
Modalspezifische Residuen ( $p$ ): Einzigartige Informationen, die nicht aus anderen Sensoren ableitbar sind (z. B. Hautimpedanz-Drift im EDA).

Um eine strikte Trennung zu erzwingen und Informationsleckagen zu verhindern, setzt VCR einen geometrisch orthogonalen Tokenizer ein:

Korrektur & Whitening: Ein leichter residualer Adapter korrigiert die Encoder-Einbettungen, gefolgt von einem Whitening-Prozess, um eine Identitäts-Kovarianzmatrix zu approximieren.
Orthogonale Projektion: Eine lernbare Parametermatrix wird einer QR-Zerlegung unterzogen, um eine orthonormale Basis zu bilden. Diese Basis definiert einen Projektionsoperator $P$ , der die Einbettung strikt in einen gemeinsamen Unterraum ($s = Ph$) und einen spezifischen Residualraum ( $p = (I-P)h$ ) trennt.
Statistische Unabhängigkeit: Unter der Annahme gaußverteilter latenter Repräsentationen gewährleistet diese geometrische Orthogonalität die statistische Unabhängigkeit ( $I(s; p) \approx 0$ ).
Hybride Optimierung: Der Tokenizer wird trainiert mittels:
- Cross-Modal Contrastive Loss: Wird nur auf $s$ angewendet, um gemeinsame Semantik über Modalitäten hinweg auszurichten.
- Intra-Modal Rekonstruktion: Wird nur auf $p$ angewendet, um einzigartige Details zu bewahren.
- Whitening-Regularisierung: Um die Unabhängigkeitsbedingung aufrechtzuerhalten.

B. Missing-Aware MoE-Backbone (Stufe 2)

Die zweite Stufe verarbeitet die Token vom Tokenizer, um kontextuelle Repräsentationen unter variierenden Verfügbarkeitsmustern zu erlernen.

Architektur: Ein spärliches Mixture-of-Experts (MoE)-Backbone. Lernbare Partitionseinbettungen werden injiziert, um die Modalitätsursprung und den Komponententyp ( $s$ vs. $p$ ) jedes Tokens explizit zu identifizieren.
Routing: Der Router aktiviert dynamisch verschiedene Experten basierend auf dem beobachteten Modalitätensatz, sodass sich das Modell auf spezifische Modalitätskombinationen spezialisieren kann, ohne durch fehlende Daten gestört zu werden.
Trainingsziele (Maskierte Rekonstruktion):
- Zufälliges Maskieren: Standard-Patch-Maskierung auf verfügbaren Modalitäten, um sowohl $s$ als auch $p$ zu rekonstruieren.
- Strukturelles Maskieren: Ganze Modalitäten werden entfernt. Entscheidend ist, dass das Rekonstruktionsziel validitätsbewusst ist:
  - Wenn eine Modalität fehlt, rekonstruiert das Modell nur ihre gemeinsame Komponente ( $s$ ) und schließt die nicht ableitbare spezifische Komponente ( $p$ ) explizit aus.
  - Wenn mehrere Modalitäten fehlen, wird die Rekonstruktion für diese Modalitäten vollständig übersprungen, da selbst gemeinsame Komponenten nicht ableitbar sein können.
- Dieses Design verhindert, dass das Modell gezwungen wird, nicht beobachtbare Details zu halluzinieren.

3. Hauptbeiträge

Validitätsbewusstes Lernen: Die Einführung eines orthogonalen Tokenizers, der gemeinsame und spezifische Komponenten strukturell entflechtet. Dies ermöglicht ein Rekonstruktionsziel, das nur auf ableitbare Informationen abzielt und Halluzinations-ähnliche Ergänzungen effektiv mindert.
Missing-Aware MoE-Backbone: Eine spärliche Architektur mit lernbaren Partitionseinbettungen, die die Berechnung an diverse Muster der Modalitätsverfügbarkeit anpasst und das Rauschen vermeidet, das durch Null-Padding oder spezielle Token entsteht.
Zweistufige Informationsbewahrung: Eine Trainingsstrategie, die zunächst die Integrität der Information durch Entflechtung und kontrastives Ausrichten bewahrt und dann robuste kontextuelle Semantik durch maskierte latente Rekonstruktion erlernt, wodurch eine Dominanz durch modalitäten mit hoher Varianz vermieden wird.

4. Experimentelle Ergebnisse

VCR wurde auf einem umfassenden Benchmark evaluiert, der vier Datensätze (WESAD, DaLiA, AAUWSS, WEEE) und vier Aufgaben (Emotionserkennung, Aktivitätserkennung, Schlafphasenklassifikation, VO2-Vorhersage) umfasste.

Leistung bei vollständiger Modalität: VCR übertraf sowohl überwachte Baselines (ResNet, ViT, FlexMoE) als auch vortrainierte selbstüberwachte Baselines (SimCLR, LSM, LSM-2 usw.) bei allen Aufgaben. Dies zeigt, dass Robustheit gegenüber Fehlenden nicht auf Kosten der Leistung geht, wenn alle Sensoren verfügbar sind.
Fehlen einer einzelnen Modalität: In Szenarien, in denen ein Sensor entfernt wurde, erzielte VCR in 65 von 88 berichteten Metriken die beste oder zweitbeste Leistung. Bemerkenswert ist, dass VCR bei fehlenden kritischen Sensoren wie ACC eine signifikant höhere Leistung beibehielt als die Baselines und damit einen graceful Degradation zeigte, im Gegensatz zu den starken Einbrüchen bei anderen Methoden.
Fehlen mehrerer Modalitäten: VCR blieb über alle Kombinationen von 2 oder 3 fehlenden Modalitäten hinweg robust und rangierte konsistent in den Top-1 oder Top-2 gegenüber den Baselines.
Halluzinationsanalyse: Eine Fallstudie, die VCR mit LSM-2 (welches vollständige Rohsignale rekonstruiert) verglich, zeigte, dass LSM-2 bei der Rekonstruktion fehlender Daten größere Verschiebungen der Repräsentation und semantische Inkonsistenzen verursachte. Die strikte Trennung von $s$ und $p$ durch VCR verhinderte diese Verschiebungen und bestätigte, dass die Vermeidung der Rekonstruktion nicht ableitbarer Details die Gültigkeit der Repräsentation bewahrt.
Verifizierung der Entflechtung: Eine quantitative Analyse mit dem Hilbert-Schmidt Independence Criterion (HSIC) zeigte, dass VCR eine signifikant geringere Abhängigkeit zwischen $s$ und $p$ erreichte als Baselines mit weichen Constraints wie FOCAL.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass VCR einen neuen Standard für das Vortrainieren multimodaler Wearable-Modelle setzt, indem es die Gültigkeit der Repräsentation priorisiert. Die Autoren argumentieren, dass die gängige Praxis, gesamte fehlende Signale zu rekonstruieren, grundlegend fehlerhaft ist, da sie Modelle zwingt, nicht beobachtbare Details zu erraten, was zu Halluzinationen führt, die die nachgelagerte Leistung verschlechtern.

Durch die Erzwingung einer strikten geometrischen Entflechtung und die Begrenzung der Rekonstruktionsziele auf ableitbare gemeinsame Komponenten bietet VCR eine strukturelle Grundlage für robustes Lernen. Das Framework wird als allgemeine Lösung präsentiert, die über verschiedene Gesundheitsüberwachungsaufgaben und Sensorkonfigurationen hinweg effektiv bleibt und die kritische Lücke zwischen idealisiertem Training mit vollen Sensoren und der Realität unvollständiger Wearable-Daten schließt. Die Autoren weisen darauf hin, dass sich die aktuelle Evaluation zwar auf einen Gerätetyp (Empatica E4) konzentriert, die modalitätsunabhängige Natur des Frameworks jedoch ein Potenzial für eine breitere Generalisierung aufweist, was eine Richtung für zukünftige Arbeiten bleibt.