Technische Samenvatting: VCR: Leren van Geldige Contextuele Representatie voor Onvolledige Draagbare Signalen

1. Probleemstelling

Draagbare apparaten bieden continue, niet-invasieve gezondheidsmonitoring via multimodale signalen (bijv. PPG, EDA, ACC, TEMP). Echter, de implementatie in de echte wereld wordt gehinderd door twee gekoppelde uitdagingen:

1. **Schaarste aan Labels:**下游 gezondheidsopgaven (emotieherkenning, slaapstadiëring, activiteitsherkenning) lijden onder een gebrek aan gelabelde data.
2. Ontbrekende Modaliteiten: Sensoren vallen frequent uit door hardwarebeperkingen, gebruikersgedrag (bijv. PPG uitschakelen om energie te besparen) of apparaatbeperkingen. Dit resulteert in "structureel ontbreken", waarbij een hele modaliteit ontbreekt voor een bepaald tijdsvenster.

Bestaande zelftoezichthoudende leerbenaderingen (SSL) gaan vaak uit van volledige beschikbaarheid van modaliteiten tijdens het vooropleiden. Wanneer deze worden aangepast aan scenario's met ontbrekende data, proberen huidige methoden doorgaans het hele ontbrekende signaal te reconstrueren. De auteurs betogen dat dit gebrekkig is, omdat modaliteitsspecifieke details (bijv. specifieke ruispatronen of unieke fysiologische drifts) vaak niet identificeerbaar zijn vanuit de overgebleven sensoren. Een model dwingen tot het reconstrueren van deze niet-baarspekbare details stimuleert "hallucinatie"—het genereren van plausibele maar ongegronde data die ruis injecteert in de geleerde representaties, waardoor de robuustheid verslechtert.

2. Methodologie: Het VCR-kader

De auteurs stellen VCR (Valid Contextual Representation) voor, een tweestaps, zelftoezichthoudend kader dat is ontworpen om representaties te leren die robuust zijn tegen het ontbreken van modaliteiten, zonder niet-baarspekbare details te hallucineren.

A. Orthogonale Tokenizer (Fase 1)

De eerste fase richt zich op ontkoppeling. De kernhypothese is dat de latente informatie van elke modaliteit kan worden gescheiden in:

• Gedeelde Semantiek ($s$): Informatie die gecorreleerd is over modaliteiten heen (bijv. hartslagpatronen zichtbaar in zowel PPG als ACC).
• Modaliteitsspecifieke Residuen ($p$): Unieke informatie die niet kan worden afgeleid uit andere sensoren (bijv. huidimpedantie-drift in EDA).

Om strikte scheiding af te dwingen en informatielekken te voorkomen, hanteert VCR een Geometrisch Orthogonale Tokenizer:

• Rectificatie & Whitening: Een lichtgewicht residu-adapter rectificatie encoder-embeddings, gevolgd door een whitening-proces om een identiteitscovariantiematrix te benaderen.
• Orthogonale Projectie: Een leerbare parametermatrix ondergaat een QR-decompositie om een orthonormale basis te vormen. Deze basis definieert een projectie-operator $P$ die de embedding strikt scheidt in een gedeelde deelruimte ($s = Ph$) en een specifieke residu-deelruimte ($p = (I-P)h$).
• Statistische Onafhankelijkheid: Onder de aanname van Gaussisch verdeelde latente representaties, zorgt deze geometrische orthogonaliteit voor statistische onafhankelijkheid ($I(s; p) \approx 0$).
• Hybride Optimalisatie: De tokenizer wordt getraind met behulp van:
  • Cross-Modal Contrastieve Verlies: Alleen toegepast op $s$ om gedeelde semantiek over modaliteiten heen af te stemmen.
  • Intra-Modal Reconstructie: Alleen toegepast op $p$ om unieke details te behouden.
  • Whitening Regularisatie: Om de onafhankelijkheidsvoorwaarde te handhaven.

B. Ontbrekende-bewuste MoE-ruggengraat (Fase 2)

De tweede fase verwerkt de tokens van de tokenizer om contextuele representaties te leren onder variërende beschikbaarheidspatronen.

• Architectuur: Een schaarse Mixture-of-Experts (MoE)-ruggengraat. Leerbaar partitionerings-embeddings worden geïnjecteerd om de modaliteitsoorsprong en componenttype ($s$ vs. $p$) van elke token expliciet te identificeren.
• Routing: De router activeert dynamisch verschillende experts op basis van de waargenomen modaliteitsset, waardoor het model zich kan specialiseren in specifieke modaliteitscombinaties zonder interferentie van ontbrekende data.
• Trainingsdoelen (Gemaskeerde Reconstructie):
  • Willekeurige Maskering: Standaard patch-maskering op beschikbare modaliteiten om zowel $s$ als $p$ te reconstrueren.
  • Structurele Maskering: Hele modaliteiten worden verwijderd. Cruciaal is dat het reconstructiedoel validiteitsbewust is:
    • Als één modaliteit ontbreekt, reconstrueert het model alleen zijn gedeelde component ($s$), en sluit het expliciet de niet-afleidbare specifieke component ($p$) uit.
    • Als meerdere modaliteiten ontbreken, wordt reconstructie voor die modaliteiten volledig overgeslagen, aangezien zelfs gedeelde componenten mogelijk niet afleidbaar zijn.
  • Dit ontwerp voorkomt dat het model wordt gedwongen om niet-baarspekbare details te hallucineren.

3. Belangrijkste Bijdragen

1. Validiteitsbewust Leren: De introductie van een orthogonale tokenizer die structureel gedeelde en specifieke componenten ontkoppelt. Dit maakt een reconstructiedoel mogelijk dat alleen gericht is op afleidbare informatie, waardoor hallucinatie-achtige aanvullingen effectief worden tegengegaan.
2. Ontbrekende-bewuste MoE-ruggengraat: Een schaarse architectuur met leerbare partitionerings-embeddings die de berekening aanpast aan diverse modaliteits-beschikbaarheidspatronen, waardoor de ruis die wordt geïntroduceerd door zero-padding of speciale tokens wordt vermeden.
3. Tweestaps Informatiebehoud: Een trainingsstrategie die eerst de integriteit van de informatie behoudt via ontkoppeling en contrastieve afstemming, en vervolgens robuuste contextuele semantiek leert via gemaskeerde latente reconstructie, waardoor dominatie door modaliteiten met hoge variantie wordt vermeden.

4. Experimentele Resultaten

VCR werd geëvalueerd op een uitgebreide benchmark die vier datasets (WESAD, DaLiA, AAUWSS, WEEE) en vier taken (emotiedetectie, activiteitsherkenning, slaapstadiëring, VO2-predictie) omvatte.

• Prestaties bij Volledige Modaliteiten: VCR presteerde beter dan zowel toezichthoudende baselines (ResNet, ViT, FlexMoE) als vooraf getrainde zelftoezichthoudende baselines (SimCLR, LSM, LSM-2, enz.) over alle taken, wat aantoont dat robuustheid tegen ontbrekende data niet ten koste gaat van de prestaties wanneer alle sensoren beschikbaar zijn.
• Ontbrekende Enkele Modaliteit: In scenario's waarbij één sensor werd verwijderd, behaalde VCR de beste of tweede beste prestatie in 65 van de 88 gerapporteerde metrieken. Opmerkelijk is dat wanneer kritieke sensoren zoals ACC ontbraken, VCR aanzienlijk hogere prestaties behield dan de baselines, wat een soepele degradatie laat zien in vergelijking met de scherpe dalingen die bij andere methoden worden waargenomen.
• Ontbrekende Meerdere Modaliteiten: VCR bleef robuust over alle combinaties van 2 of 3 ontbrekende modaliteiten, en behaalde consistent een Top-1 of Top-2 ranking ten opzichte van de baselines.
• Hallucinatie-analyse: Een case-study waarin VCR werd vergeleken met LSM-2 (dat volledige ruwe signalen reconstrueert), toonde aan dat LSM-2 grotere representatieschommelingen en semantische inconsistenties induceerde bij het reconstrueren van ontbrekende data. De strikte scheiding van $s$ en $p$ in VCR voorkwam deze schommelingen, wat bevestigt dat het vermijden van reconstructie van niet-afleidbare details de validiteit van de representatie behoudt.
• Verificatie van Ontkoppeling: Kwantitatieve analyse met behulp van het Hilbert-Schmidt Onafhankelijkheidscriterium (HSIC) toonde aan dat VCR een significant lagere afhankelijkheid tussen $s$ en $p$ bereikte in vergelijking met baselines met zachte beperkingen zoals FOCAL.

5. Betekenis en Claims

Het artikel stelt dat VCR een nieuwe standaard vestigt voor het vooropleiden van multimodale draagbare modellen door prioriteit te geven aan representatievaliditeit. De auteurs betogen dat de gebruikelijke praktijk om volledige ontbrekende signalen te reconstrueren fundamenteel gebrekkig is, omdat het modellen dwingt om niet-baarspekbare details te raden, wat leidt tot hallucinaties die de downstream-prestaties verslechteren.

Door strikte geometrische ontkoppeling af te dwingen en reconstructiedoelen te beperken tot afleidbare gedeelde componenten, biedt VCR een structurele basis voor robuust leren. Het kader wordt gepresenteerd als een algemene oplossing die effectief blijft over diverse gezondheidsmonitoringstaken en sensorconfiguraties heen, en zo de kritieke kloof aanpakt tussen geïdealiseerde training met volledige sensoren en de realiteit van onvolledige draagbare data. De auteurs merken op dat hoewel de huidige evaluatie zich richt op één apparaattype (Empatica E4), de modaliteit-agnostische aard van het kader potentie suggereert voor bredere generalisatie, wat een richting blijft voor toekomstig werk.