Predicting Trajectories of Long COVID in Adult Women: The Critical Role of Causal Disentanglement

Probleemstelling

De voorspelling van de ernst en het beloop van Post-Acute Sequelae van SARS-CoV-2 (PASC), ook wel bekend als Long COVID, vormt een kritieke uitdaging voor de volksgezondheid, met name bij vrouwen. Een specifiek probleem is de diagnostische overlap tussen PASC-symptomen en natuurlijke hormonale overgangen, zoals de menopauze. Symptomen zoals slapeloosheid, gewrichtspijn en vasomotorische instabiliteit komen zowel voor bij Long COVID als bij de menopauze of andere comorbiditeiten (zoals diabetes).

Dit creëert een "signaal-ruis"-probleem: bestaande modellen attribueren vaak ten onrechte basale gezondheidsfactoren of hormonale veranderingen aan virale pathologie. Dit leidt tot diagnostische ambiguïteit en vertekende voorspellingen. Er is behoefte aan een model dat in staat is om echte causale ziektemerkers te onderscheiden van "ruis" veroorzaakt door veroudering of hormonale veranderingen.

Methodologie

De auteurs hebben een gespecialiseerd Causal-Disentangled Regressor-model ontwikkeld, gebaseerd op een Large Language Model (LLM), specifiek Qwen-2.5-0.5B. Het doel is om de ernst van PASC drie maanden in de toekomst te voorspellen door statische klinische profielen te integreren met longitudinale draagbare (wearable) data.

Data:

• Cohort: 1.155 vrouwen (gemiddelde leeftijd 61 jaar) uit de NIH RECOVER-dataset.
• Data-modi:
  • Statische demografische en klinische gegevens (comorbiditeiten, menopauze-status).
  • Vier weken longitudinale wearable-data (hartactiviteit, slaaparchitectuur, fysieke activiteit).
  • Klinische geschiedenis en PASC-scores.

Architectuur en Technieken:
Het model gebruikt een Causal-Disentangled architectuur om de latente ruimte expliciet te partitioneren in twee vectoren:

1. Causale Feature ($x_o$): Vangt invariante symptomen die direct gekoppeld zijn aan PASC-pathologie (bijv. "brain fog", malaise).
2. Confounder Feature ($x_c$): isoleert "ruis" zoals menopauze-status, diabetes of linguïstische artefacten.

De kerncomponenten van de methode zijn:

• Attention-Based Feature Disentanglement: Een Disentanglement Attention Layer (Softmax(MLP(h))) leert om de latent representatie $h$ te bifactoriseren in causale en verstorende gewichten ($\alpha_o$ en $\alpha_c$).
• Environment Mixing: Om het model te dwingen om niet te vertrouwen op spurious correlaties, worden tijdens het training "counterfactual" representaties gegenereerd door causale features van patiënt $i$ te combineren met confounder features van patiënt $j$. Dit dwingt de regressie-head om de PASC-score uitsluitend te voorspellen op basis van het causale signaal.
• InfoNCE-based Contrastive Mix Loss: Een verliesfunctie die de onafhankelijkheid en kwaliteit van de ontkoppelde features garandeert door de gemengde representatie te aligneren met de originele klinische graaf, zodat causale informatie dominant blijft.
• Multi-Head Regression: Drie voorspellingshoofden (causaal, confounder, en gecombineerd) worden gesuperviseerd tegen de ground-truth PASC-score om te leren welke inputcomponenten echt voorspellend zijn.

Belangrijkste Resultaten

De prestaties werden vergeleken met een XGBoost-baseline over vijf verschillende random seeds.

• Voorspellende Prestaties:
  • XGBoost: Toonde superieure regressiemetrics (RMSE: 4,76 ± 0,16; MAE: 3,51 ± 0,08) en zeer lage variantie, wat wijst op een stabiele convergentie op globale datasetkenmerken.
  • Causal Inference Network: Bereikte een vergelijkbare classificatie-accuraatheid (0,867 ± 0,044) en een superieure precisie (0,836 ± 0,116). De regressiemetrics waren iets lager (RMSE: 5,35), wat een bewuste keuze is van het model om omgevingsconfounders te straffen ten gunste van causale paden.
• Saliëntie-analyse (Causale Toewijzing):
  • Het model slaagde erin om directe pathologische indicatoren (zoals "benauwdheid" en "malaise") te identificeren met een maximale saliëntie van 1,00.
  • Confounders zoals "menopauze" en "diabetes" kregen een lage saliëntie (< 0,27), wat aangeeft dat het model deze factoren succesvol onderdrukte als niet-oorzakelijke ruis.
  • Administratieve tokens en linguïstische vullers werden genegeerd (saliëntie < 0,17).

Bijdragen

1. Causal Disentanglement in LLMs: De paper introduceert een architectuur die de latent space van een LLM expliciet ontkoppelt om causale ziektemerkers te isoleren van biologische en omgevingsruis.
2. Integratie van Wearable Data: Het succesvol combineren van vier weken longitudinale draagbare data (hartslag, slaap) met klinische tekstuele data voor een robuuste voorspelling.
3. Klinische "Eerlijkheid": Het model biedt een meer klinisch zuivere representatie van de ziekte door factoren te filteren die anders zouden leiden tot overdiagnose of verkeerde attributie, in plaats van alleen te optimaliseren op de laagste numerieke foutmarge.
4. Geslachtspecifiek Inzicht: Het biedt een raamwerk dat specifiek is ontworpen voor de complexe interactie tussen Long COVID en hormonale overgangen bij vrouwen.

Betekenis en Conclusie

De studie toont aan dat standaard machine learning-modellen (zoals XGBoost) uitstekend zijn voor het schatten van ruwe scores, maar dat causaliteit-gebaseerde LLM-architecturen essentieel zijn voor klinische interpretatie en diagnose.

Door de "signal-to-noise" uitdaging aan te pakken via causal disentanglement, kan het model onderscheid maken tussen echte virale pathologie en natuurlijke biologische veranderingen (zoals de menopauze). Dit resulteert in een robuuster kader voor het voorspellen van het herstelverloop bij volwassen vrouwen, waarbij de voorspellingen gebaseerd zijn op daadwerkelijke pathologie in plaats van statistische correlaties met veroudering of comorbiditeiten. Dit is een belangrijke stap naar nauwkeurigere, geslachtspecifieke behandelrichtlijnen voor Long COVID.